Twitter自身URL规范化问题导致其PR归零

在最近两次PR更新期间,Twitter PR值由9直降到0,并且众多页面不被谷歌Robot抓取,这让众人哗然!虽然现在已经恢复。但是这到底是怎么回事呢?

猜测原因可能,一是无论任何情况下Twitter首页PR为零,大家肯定是说Google有问题,而不是Twitter有问题,虽然其实确实是Twitter自己造成的。二是,在Google+推出的同时,Google与Twitter合作合同到期了,不能直接通过API抓数据了,这时候Twitter PR降为零,大家恐怕心里会嘀咕,这Google真是过了河马上就拆桥啊,Google不想背这个黑锅。

昨天看到SEL上Vanessa Fox的一篇文章,解释了为什么Twitter的一些技术失误导致Google抓取URL规范化、PR计算等一系列问题。

首先,Twitter PR及众多页面不被抓取是由自身技术引起的,跟谷歌的搜索机制没有关系。

导致twitter此次动荡的有五大技术问题:

(1)robots设置问题

twitter在设置Robots时,针对带WWW和不带WWW设置了两个Robots标准。如下所示:(A为不带www的Robots设置,B为带WWW的Robots设置)

A:The file at twitter.com/robots.txt looks as follows:

#Google Search Engine Robot
User-agent: Googlebot
# Crawl-delay: 10 — Googlebot ignores crawl-delay ftl
Allow: /*?*_escaped_fragment_
Disallow: /*?
Disallow: /*/with_friends

#Yahoo! Search Engine Robot
User-Agent: Slurp
Crawl-delay: 1
Disallow: /*?
Disallow: /*/with_friends

#Microsoft Search Engine Robot
User-Agent: msnbot
Disallow: /*?
Disallow: /*/with_friends

# Every bot that might possibly read and respect this file.
User-agent: *
Disallow: /*?
Disallow: /*/with_friends
Disallow: /oauth
Disallow: /1/oauth

B:the file at www.twitter.com/robots.txt file looks as follows:

User-agent: *
Disallow: /

twitter针对带www和不带www设置了两个不同的Robots标准,这样就可以看出:

1、针对带WWW和不带WWW的网站,搜索引擎按照Robots标准,返回的搜索结果不相同,同时也不规范。

2、twitter在阻止搜索引擎抓取带WWW的网址。

3、通过封锁带www的网站,即使将其301重定向到不带www的网站,那也是徒劳无功!

4、由于带www和不带www的都有外部链接,但是带www的阻止搜索引擎抓取,那么对于提升twitter网站整体权重来说,该外部链接的价值并没有得到有效利用!

(2)302重定向问题

twitter.com / vanessafox使用了302重定向到twitter.com /#!/ vanessafox。众所周知,302重定向为暂时性转移,会抓取新内容而保存旧网址,并且原来的链接不会全部转移!

(3)没有遵守谷歌AJAX抓取标准

Twitter的网址是AJAX和使用#!,告诉谷歌从服务器获取_escaped_fragment_版本的URL。由于没有使用301重定向,导致失去了很多相关URL页面,没有将AJAX和重定向很好地结合起来。

(4)速率限制

在HTTP标头可以看见速率限制。

HTTP/1.1 200 OKDate: Mon, 18 Jul 2011 20:48:44 GMTServer: hiStatus: 200 OKX-Transaction: 1311022124-32783-45463X-RateLimit-Limit: 1000

(5)网址不规范

twitter.com / VanessaFox显示搜索结果,是twitter.com / vanessafox。这两个URL导致了同一个地方。这是造成又一次的PageRank稀释,重复,和规范化问题。这里最好的办法是正常化的网址一个变化(最简单的方法是选择全部小写),然后301重定向所有变化。另外,Twitter的可以简单地添加的rel =规范属性指定规范版本的所有网页 。

从Twitter以上的一些自身技术设置漏洞大家可以吸取点教训,得到点经验:

(1)设置Robots一定要统一,集中权重,以防走失。

(2)302重定向没有301重定向好

(3)必须遵守谷歌AJAX抓取标准

(4)不要在HTTP标头限制速率

(5)网址要规范,统一,URL标准化(或者叫URL规范化),不能掺杂在一起随意乱用!

可以不经允许随意转载,分享:广州SEO,移动互联网营销 » Twitter自身URL规范化问题导致其PR归零

分享的每套dede模板,整站带数据源码,wordpress模板,整站源码下载,帝国cms模板,带数据帝国cms网站,淘宝客源码,女性网站模板等源码的下载链接地址请咨询QQ索取。
赞 (0)
分享到: 更多