Robots.txt syntaxiscontroleur

Schrijven van robots.txt- dossiers is vrij ongecompliceerd. Nochtans, zijn nog
vrij gemeenschappelijk om één of ander klein deel van de verkeerde syntaxis te krijgen, en dan te vinden
dat een robot helemaal over uw plaats wegens het heeft gewandeld.

Deze robots.txt syntaxiscontroleur controleert de inhoud van een site’s robots.txt
tegen dat in de recentste specificatie van de robotstekst, samen met het verstrekken
waarschuwingen op het gebruik van nieuwe eigenschappen die nog niet wijd worden opgesteld.