Robots.txt 句法检查

写robots.txt 文件是相对地直接的。但是, 它的平静
相当共同得到某一句法错误的小零件, 和然后对发现
机器人漫步了到处您的站点由于它。

这个robots.txt 句法检查检查site’s 的内容robots.txt
反对那包含在 最新的机器人文本规格, 与提供一起
警告在不广泛部署对新特点的用途。