Contrôleur de syntaxe de Robots.txt

L'inscription des dossiers de robots.txt est relativement franche. Cependant, son distillateur
assez commun pour obtenir une certaine petite pièce du mal de syntaxe, et puis à la trouvaille
qu'un robot a erré partout votre emplacement en raison de lui.

Ce contrôleur de syntaxe de robots.txt vérifie le contenu d'un site’s robots.txt
contre cela contenu dans les dernières spécifications des textes de robots, avec fournir
avertissements sur l'utilisation des nouveaux dispositifs qui ne sont pas encore largement déployés.