发表者：Sean Harding，网站管理员工具小组原文：Speaking the language of robots
发表于：2008年3月27日星期四，下午1:27我们都知道

谷歌机器人是非常友好的。就像所有的友好的搜索引擎机器人一样，他耐心地听取我们的意见并且尊重我们的意愿不去爬行任何我们不希望它爬行的网站部分。我们可以仅仅给他一个robots.txt文件说明什么是我们希望他做的，然后他就会愉快地遵从。但是如果我们迫不得已只能与谷歌机器人直接交流呢？毕竟，不是所有的人都熟悉robots.txt文件的语言。这就是我们为什么如此高兴地向您介绍一款专属于您的搜索引擎机器人翻译工具：网站管理员工具中的robots.txt生成器。它旨在为您提供一个既简单又互动的方式去建立一个robots.txt文件。它的操作非常简单，您只需输入您不希望搜索引擎机器人爬行的文件和目录即可。或者，如果您需要的话，您可以为特定的搜索引擎机器人或您网站的特定区域建立更加细致的规则。

当您完成了对生成器的配置之后，您可以利用我们的 robots.txt分析工具检测新生成的robots.txt文件的效果。如果测试无误，您只需将生成的文件保存在您网站的根目录下即可。除此之外，这里还有一些关于robots.txt文件的重要事实希望您能牢记：

• 不是所有的搜索引擎都支持robots.txt文件的所有扩展Robots.txt生成器可以生成谷歌机器人能够理解和识别的文件，而且绝大多数搜索引擎机器人也都能够正确识别。但是，一些例外情况也是存在的，或许有一些搜索引擎机器人不能完全识别生成器生成的所有特性。
• Robots.txt文件仅仅是一个请求尽管在主要搜索引擎上极为少见，搜索引擎中还是有一些肆无忌惮的搜索引擎机器人会无视robots.txt的内容，对禁止访问的网站区域也进行爬行。如果您有一些需要进行彻底保护的敏感信息，您应该设置访问密码来对它们加以保护，而不是仅仅依赖于robots.txt文件。

我们希望这个新工具能够帮助您将自己的意愿与谷歌机器人和其他访问您网站的搜索引擎机器人进行更顺畅的沟通。如果您想了解更多关于robots.txt文件的情况，请访问我们的帮助中心。如果您想就robots.txt和搜索引擎机器人的有关问题与其他网站管理员进行交流的话，请访问我们的谷歌网站管理员支持论坛。

转载自谷歌中文网站管理员博客