Robots.txt 句法檢查

寫robots.txt 文件是相對地直接的。但是, 它的平靜
相當共同得到某一句法錯誤的小零件, 和然後對發現
機器人漫步了到處您的站點由於它。

這個robots.txt 句法檢查檢查site’s 的內容robots.txt
反對那包含在 最新的機器人文本規格, 與提供一起
警告在不廣泛部署對新特點的用途。