Контролер синтаксиса Robots.txt

Писание архивов robots.txt относительно straightforward. Однако, своя тишина
справедливо обще получить некоторую малую часть неправды синтаксиса, и после этого к находке
что робот бродяжничал повсюду ваше место из-за его.

Этот контролер синтаксиса robots.txt проверяет содержание site’s robots.txt
против того, котор содержат в самая последняя спецификация текста роботов, вместе с обеспечивать
предупреждения на пользе новых характеристик пока широко не раскрыны.