Se você tem um Web site bem-desenvolvida e bem aperfeiçoado com índice rico da palavra-chave a atrair os visitantes e os motores da busca que é realmente grande mas você faltam algo que é muito importante. Você sabe o que aquele é? Aquela é lima de Robots.txt.
a lima de Robots.txt tem lotes da importância enquanto permite que as aranhas ou as esteiras rolantes reservem ou recusem rastejar todas as páginas de um Web site ou de um Web page particular. Às vezes os povos têm alguns dados confidenciais em seu Web site e usando a lima de robots.txt podem restringir as esteiras rolantes ou a aranha para não rastejar ou não posicionar que a página particular assim que ninguém podem alcangar nessa página e desta maneira os dados confidenciais nessa página serão seguros.
Ao ir rastejar um Web site ou aranhas ou esteiras rolantes de um Search Engine do Web page procure frequentemente uma lima especial que seja chamada lima de Robots.txt porque com o Search Engine da lima de robots.txt as aranhas ou as esteiras rolantes vêm saber sobre que Web pages desse Web site têm que rastejar ou posicionar e que Web pages têm que ignorar.
a lima de Robots.txt é uma lima de texto simples que deva ser coloc no diretório de raiz de um Web site. Por exemplo:
a lima de Robots.txt deve estar como como
http://www.abc.com/robots.txt
Criando a lima de Robots.txt:
Como mencionado acima, a lima de robots.txt é uma lima de texto simples e você pode criá-la abrindo um editor de texto simples como o bloco de notas. Os dados ou um comando mencionados na lima de robots.txt são chamados como grava .
Um registro inclui a informação de um Search Engine particular e cada registro tem o agente de usuário de dois campos onde você menciona que o nome dos robôs ou da aranha e o outro campo são recusam as linhas que podem ser umas ou várias onde você tem que mencionar aquele que as páginas ou as limas têm que ser ignoradas. Por exemplo:
Usuário-agente: googlebot
Recuse: /cgi-bin/
Em robots.txt acima do exemplo a lima permite o googlebot que é a aranha do Search Engine do Search Engine principal Google a rastejar cada página do Web site exceto de limas do diretório do cgi-escaninho . O googlebot dos meios tem que ignorar todas as limas do diretório do cgi-escaninho .
E se você entra como abaixo:
Usuário-agente: googlebot
Recuse: /support
Googlebot não rastejará nenhuma lima do diretório da sustentação porque a lima de robots.txt tem instruções ao googlebot para não rastejar toda a lima do diretório da sustentação.
Caso que você licença recusa o espaço em branco do campo então indicará ao googlebot para rastejar todas as limas do Web site. Mas em todo caso você deve ter um campo da recusa para cada agente de usuário.
Os todos exemplo acima eram somente para o googlebot mas se você quer dar as mesmas direitas ao todo o as aranhas do outro Search Engine a seguir usam o asterisco (*) em vez do googlebot no campo do agente de usuário. Por exemplo:
Usuário-agente: *
Recuse: /cgi-bin/
No exemplo acima * representa todas as aranhas do Search Engine e a lima de robots.txt acima permite que todas as aranhas do Search Engine rastejem cada página do Web site exceto de limas do diretório do cgi-escaninho . Significa que todas as aranhas dos motores diferentes da busca têm que ignorar todas as limas do diretório do cgi-escaninho .
Se você quer saber nomes de agente do usuário para outros motores da busca então você pode encontrá-lo em suas limas de registro verific para ver se há pedidos a robots.txt. O mais frequentemente, todas as aranhas do Search Engine devem ser dadas as mesmas direitas. nesse caso, use o Usuário-agente: * como mencionado acima.
Soluções de Webexcel (9001:2000 do ISO certificado) uma companhia da programação de software e uma companhia de SEO
Tag da palavra-chave: robôs, mercado do Search Engine, SEO
Nenhumas respostas à importância de usar a lima de Robots.txt
Espere por favor
Deixe uma resposta