使用Robots.txt文件的重要性

如果您有有是真正地伟大的主题词富有的内容的吸引一个设计好和很好优化的网站访客和查寻引擎，但是您是缺掉的是非常重要的事。您是否知道什么那是？那是Robots.txt文件。

当它允许蜘蛛或履带牵引装置准许或禁止爬行网站或一个特殊网页的所有页， Robots.txt文件有许多重要。有时人们有在他们的网站上的一些机要数据，并且通过使用robots.txt文件他们可以制约履带牵引装置或蜘蛛不爬行或不标注特殊页，因此没人在那页可能到达，并且这样关于那页的机要数据将是安全的。

当去爬行网站或网页搜索引擎蜘蛛或者履带牵引装置时经常寻找称Robots.txt文件的专用文件，因为通过robots.txt文件搜索引擎蜘蛛或履带牵引装置来知道关于那个网站哪些网页必须爬行或标注，并且哪些网页必须忽略。

Robots.txt文件是在网站的根目录必须安置的一个简单的文本文件。例如：

Robots.txt文件必须象

http://www.abc.com/robots.txt

创造Robots.txt文件：

如上所述， robots.txt文件是一个简单的文本文件，并且您能通过打开象笔记薄的简单的文本编辑程序创造它。在robots.txt文件或命令提及的数据叫“记录”。

纪录包括一个特殊搜索引擎的信息，并且每个纪录有二个领域您提及的用户代理机器人或蜘蛛名字和其他领域是禁止也许是一个或更多的线您必须提及页或文件必须被忽略的那的地方。例如：

用户代理： googlebot
禁止： /cgi-bin/

在上面例子robots.txt文件允许“是爬行的主要搜索引擎谷歌搜索引擎蜘蛛网站每页除了文件的从“cgi容器”目录的googlebot”。手段googlebot必须忽略所有文件从“cgi容器”目录。

并且，如果您输入象如下：

用户代理： googlebot
禁止： /support

因为robots.txt文件有指示对googlebot不爬行所有文件从支持目录， Googlebot不会爬行任何文件从支持目录。

万一您事假禁止领域空白然后它将表明对googlebot爬行网站的所有文件。无论如何，但是您必须有每个用户代理的一个禁止领域。

所有上面例子仅是为googlebot，但是，如果您想要赋予同样权力所有其他搜索引擎的蜘蛛然后使用星号(*)而不是googlebot在用户代理领域。例如：

用户代理： *
禁止： /cgi-bin/

在上面例子中*代表所有搜索引擎蜘蛛，并且上面robots.txt的文件允许所有搜索引擎蜘蛛爬行网站的每页除了文件的从“cgi容器”目录。意味从不同的查寻引擎的所有蜘蛛必须忽略所有文件从“cgi容器”目录。

如果您想要知道用户代理名字对于其他查寻引擎那么您能通过检查找到它在您的记录文件请求到robots.txt。经常，应该赋予所有搜索引擎蜘蛛同样权力。在那个案件，使用用户代理： *如上所述。

Webexcel解答(被证明的ISO 9001:2000) 软件开发公司和 SEO公司

主题词标记：机器人，搜索引擎营销， SEO

类别