Если вы имеете вебсайт добра конструированный и наилучшим образом оптимизированный с содержанием ключевого слова богатым для того чтобы привлечь визитеров и двигателей, то поиска которое действительно больш но вы пропавши что-то которое очень важно. Вы знаете чего то? То архив Robots.txt.
архив Robots.txt имеет серии важности по мере того как он позволяет спайдерам или crawlers позволить или disallow вползти все страницы вебсайта или определенного webpage. Иногда люди имеют некоторые конфиденциальные данные на их вебсайте и путем использование архива robots.txt они могут ограничить crawlers или спайдер для того чтобы не вползти или не индексировать что определенная страница поэтому никто могут достигнуть на той странице и в этих данных по путя конфиденциальных на той странице будет безопасен.
Пока идущ для того чтобы вползти вебсайт или спайдеры или crawlers двигателя поиска webpage часто ищите специальный архив который вызван архивом Robots.txt потому что до двигатель поиска архива robots.txt спайдеры или crawlers приходят знать о которые страницы паутины того вебсайта должны вползти или индексировать и которые страницы паутины должны проигнорировать.
архив Robots.txt просто архив текста который необходимо поместить в директории корня вебсайта. Например:
архив Robots.txt должен быть как как
http://www.abc.com/robots.txt
Создавать архив Robots.txt:
Как упомянуто выше, архив robots.txt просто архив текста и вы можете создать его путем раскрывать просто редактор текста как блокнот. Данные или команда упомянутые в архиве robots.txt вызваны как «записывает».
Показатель включает информацию определенного двигателя поиска и каждый показатель имеет агент потребителя 2 полей где вы упоминаете что имя роботов или спайдера и другое поле disallow линии которые могут быть одними или больше где вы должны упомянуть то которое страницы или архивы должны быть проигнорированы. Например:
Потребител-агент: googlebot
Disallow: /cgi-bin/
В вышеуказанном robots.txt примера архив позволяет «googlebot» которое спайдер двигателя поиска главного двигателя Google поиска, котор нужно вползти каждая страница вебсайта за исключением архивов от директории «cgi-ящика». Googlebot середин должно проигнорировать все архивы от директории «cgi-ящика».
И если вы входите в как ниже:, то
Потребител-агент: googlebot
Disallow: /support
Googlebot не вползет любой архив от директории поддержки по мере того как архив robots.txt имеет инструкции к googlebot не вползти любой архив от директории поддержки.
В случае если вы разрешение disallow пробел поля после этого оно покажет к googlebot для того чтобы вползти все архивы вебсайта. Но во всяком случае вы должны иметь поле disallow для каждого агента потребителя.
Все выше пример были только для googlebot но если вы хотите дать такие же права к всему, то спайдеры другого двигателя поиска тогда используют звездочку (*) вместо googlebot в поле агента потребителя. Например:
Потребител-агент: *
Disallow: /cgi-bin/
В вышеуказанном примере * представляет все спайдеры двигателя поиска и архив robots.txt вышеуказанный позволяет всем спайдерам двигателя поиска вползти каждая страница вебсайта за исключением архивов от директории «cgi-ящика». Значит что все спайдеры от различных двигателей поиска должны проигнорировать все архивы от директории «cgi-ящика».
Если вы хотите знать имена агента потребителя для других двигателей поиска после этого, то вы можете найти оно в ваших архивах журнала путем проверять для запросов к robots.txt. Наиболее часточасто, все спайдеры двигателя поиска следует дать такие же права. в таком случае, Потребител-агент пользы: * как упомянуто выше.
Разрешения Webexcel (аттестованное 9001:2000 ISO) компания разработки программного обеспечения и компания SEO
Бирки ключевого слова: роботы, маркетинг двигателя поиска, SEO
Отсутствие реакций к «важности использования архива Robots.txt»
Пожалуйста ждите
Выйдите ответ