Si vous avez un site Web bien projeté et bien optimisé avec le contenu riche de mot-clé à attirer les visiteurs et les moteurs de recherche qui est vraiment grand mais vous êtes absents quelque chose qui est très importante. Savez-vous ce que est ce ? C'est dossier de Robots.txt.

le dossier de Robots.txt a un bon nombre d'importance pendant qu'il permet à des araignées ou à des chenilles de laisser ou rejeter ramper toutes les pages d'un site Web ou d'une page Web particulière. Parfois les gens ont quelques données confidentielles sur leur site Web et en employant le dossier de robots.txt ils peuvent limiter les chenilles ou l'araignée pour ne pas ramper ou ne pas indexer que la page particulière ainsi personne ne peut atteindre à cette page et de cette façon les données confidentielles à cette page seront bloquées.

Tout en allant ramper un site Web ou des araignées ou des chenilles d'un Search Engine de page Web recherchez souvent un dossier spécial qui s'appelle le dossier de Robots.txt parce que par le Search Engine de dossier de robots.txt les araignées ou les chenilles viennent pour savoir quelles pages Web de ce site Web doivent ramper ou indexer et quelles pages Web doivent ignorer.

le dossier de Robots.txt est un dossier simple des textes qui doit être placé dans le répertoire racine d'un site Web. Par exemple :

le dossier de Robots.txt doit être comme As

http://www.abc.com/robots.txt

Création du dossier de Robots.txt :

Comme mentionné ci-dessus, le dossier de robots.txt est un dossier simple des textes et vous pouvez le créer en ouvrant un éditeur de texte simple comme le bloc - notes. Les données ou une commande mentionnée dans le dossier de robots.txt s'appellent comme « enregistre ».

Un disque inclut l'information d'un Search Engine particulier et chaque disque ont l'agent d'utilisateur de deux champs où vous mentionnez que le nom de robots ou d'araignée et tout autre champ est rejettent les lignes qui peuvent être un ou plusieurs où vous devez mentionner cela que des pages ou les dossiers doivent être ignoré. Par exemple :

Utilisateur-agent : googlebot
Rejetez : /cgi-bin/

Dans robots.txt ci-dessus d'exemple le dossier permet le « googlebot » qui est l'araignée de Search Engine du Search Engine principal Google à ramper chaque page du site Web excepté des dossiers à partir de l'annuaire de « cgi-casier ». Le googlebot de moyens doivent ignorer tous les dossiers à partir d'annuaire de « cgi-casier ».

Et si vous entrez comme ci-dessous :

Utilisateur-agent : googlebot
Rejetez : /support

Googlebot ne rampera pas aucun dossier à partir d'annuaire de soutien car le dossier de robots.txt a des instructions au googlebot de ne pas ramper n'importe quel dossier à partir d'annuaire de soutien.

Au cas où vous congé rejetteriez le blanc de champ puis il indiquera au googlebot pour ramper tous les dossiers du site Web. Mais en tous cas vous devez avoir un champ de rejet pour chaque agent d'utilisateur.

Les tous exemple ci-dessus étaient seulement pour le googlebot mais si vous voulez donner les mêmes droits au tout les araignées de l'autre Search Engine puis emploient l'astérisque (*) au lieu du googlebot dans le domaine d'agent d'utilisateur. Par exemple :

Utilisateur-agent : *
Rejetez : /cgi-bin/

Dans l'exemple ci-dessus * représente toutes les araignées de Search Engine et le dossier de robots.txt ci-dessus permet à toutes les araignées de Search Engine de ramper chaque page du site Web excepté des dossiers à partir d'annuaire de « cgi-casier ». Signifie que toutes les araignées de différents moteurs de recherche doivent ignorer tous les dossiers à partir d'annuaire de « cgi-casier ».

Si vous voulez savoir des noms d'agent d'utilisateur pour d'autres moteurs de recherche puis vous pouvez le trouver dans vos fichiers de consignation par la vérification les demandes à robots.txt. Le plus souvent, toutes les araignées de Search Engine devraient être données les mêmes droits. dans ce cas, employez l'Utilisateur-agent : * comme mentionné ci-dessus.

Solutions de Webexcel (9001:2000 d'OIN certifié) une compagnie de développement de logiciel et une compagnie de SEO

Étiquettes de mot-clé : robots, vente de Search Engine, SEO

Poteaux relatifs

• Wordpress SEO - Blog amical de Search Engine (0)
• Pourquoi les étiquettes de Nofollow sont non pertinentes et nocives pour les nouveaux Bloggers (0)
• Ce qui est le filtre de -30 de Google (0)
• Ce qui est chapeau noir et chapeau blanc SEO (0)
• Transformez votre emplacement en chéri de Search Engine sans briser le pair de banque (0)