您的服务器是否把Googlebot当作普通的网站访问者?
尽管Googlebot尽力表现的像一个普通用户,但有一些服务器可能还是会感到困惑而以比较奇怪的方式进行回应。比如,当用户以Googlebot为user-agent进行访问时,虽然您的服务器在大多数时间里都可以完美无暇地工作,但是有一些运行IIS的服务器会返回服务器错误(或者其他一些和发生服务器错误相关的操作)。在网站管理员支持论坛里,我们曾经碰到过IIS服务器返回500错误(服务器错误)和404错误(文件找不到)出现在"网络抓取"诊断部分的情况,还有提交网站地图(Sitemap)文件时出现302错误。如果您的服务器重定向到错误页面,您应该确保我们可以抓取这个错误页面,并且确保服务器返回正确的错误代码。当您做好这些以后,我们就可以在网站管理员工具里显示这些错误。
如果您的网站托管在运行MicrosoftIIS的服务器上,请记住,自然情况下网址是区分大小写的(我们也是如此处理他们的)。这包括那些出现在robots.txt文件里的网址。如果您的服务器以不区分网址大小写的形式工作,您应该小心处理这一部分。例如,"disallow:/paris"将阻止我们访问/paris,而不是/Paris。
您的网站是否存在一些系统性的已损坏的链接?
现代内容管理系统(CMS)经常会导致一些问题,而这些问题往往能够影响大批的网页。有时候这些问题很直接,当您在浏览这些页面时就可以发现;有时候,靠您自己很难发现这些问题。如果某个类似上述的问题产生了大量损坏的链接,它们一般会显示在您网站管理员工具帐户的"网络抓取"诊断部分(列出那些正常返回404代码的已损坏的网址)。在最近的一个个案中,一个网站的RSSfeed出了一个小的编码错误,结果导致超过60,000个坏的网址显示在该网站的网站管理员工具帐户里。您一定能理解,我们更愿意将时间花在抓取内容而不是这些404错误页面上:)。
深圳超越激光网站首页设计效果图