Advanced XML Sitemap Sugestões: 4 Páginas para excluir um arquivo TXT Robots

Um arquivo TXT Robots trabalha em conjunto com um sitemap XML para se comunicar com os robôs de motores de busca, também conhecido como motor de pesquisa aranhas ou bots. Estes são scripts automáticos que viajam a World Wide Web com o propósito de indexação de conteúdo. Enquanto um sitemap XML diz que os robôs que páginas web que você quer ter indexados, um arquivo TXT Robots faz o oposto, listando o conteúdo da web que você não quer robôs para visitar, porque você quer excluí-los de motores de busca. Seu arquivo TXT Robôs podem não permitir o acesso ao seu site inteiro, determinadas pastas ou páginas web específicas. O arquivo pode ser criado usando o bloco de notas no Windows ou TextEdit no Mac, e deve ser guardado na raiz do seu domínio
.

Existem 4 tipos principais de conteúdo da web que você gostaria de excluir dos motores de busca usando um Robots arquivo TXT:

1. In-Progress conteúdo

Imagine que você está renovando um grande website. Quando você espiar os arquivos do site, você descobre que ela está cheia de páginas da web desatualizados e pior ainda, páginas que trazem os erros ou redirecionar quando as pessoas tentam acessá-los. Estes devem ser excluídos do seu Sitemap XML e acrescentou ao seu arquivo TXT Robôs, então os motores de busca não irá acidentalmente índice e enviar o tráfego para eles. Não há nada mais frustrante para um usuário da web do que pensar que já vem sobre a informação exata de que necessitam, apenas para descobrir que a página não existe mais, na verdade. Se você está trabalhando em todo o seu site por um tempo, você ainda pode usar o arquivo TXT Robots para não permitir o acesso a todo o seu site, então os robôs dos buscadores não visitar o seu site em tudo.

2. Privada conteúdo

Como um negócio, é provável que você tem ou está pensando em postar conteúdo especial para as pessoas que pagam ou registe-se. Da mesma forma, você pode proteger por senha partes do seu site apenas para certos membros de sua equipe para ver. Obviamente, você não quer que qualquer uma dessas páginas que aparecem nos motores de busca para todo o mundo ver. Ao excluir essas páginas do seu Sitemap XML e inseri-los em seu arquivo TXT Robots, você envia uma mensagem clara aos motores de busca que as páginas são privados e não devem ser exibidos como pontos de entrada pública para o seu site.

3 . Baixa Prioridade conteúdo

Considerando como motor de pesquisa aranhas são programas automáticos, você não pode esperar que eles use o bom senso quando fizerem o check out seu site. Eles tomam suas decisões com base em cálculos, para que eles não conscientemente sabe o que as páginas web que você considera mais importantes que outros. Por razões que vão desde tráfego para ligações externas, uma página trivial como a sua política de privacidade pode ser aparecer no topo dos resultados do motor de busca para determinadas palavras-chave. Se você não quer que certas páginas para ser a sua primeira impressão para os clientes e clientes potenciais, você deve mudar suas configurações de prioridade em seu Sitemap XML e, em seguida, incluí-los em seu arquivo TXT Robots.

4. Duplicar conteúdo

Os motores de busca penalizar sites para conteúdo duplicado porque os spammers costumava usar essa tática para tentar enganar o sistema. Isto significa que você está em apuros, se você oferecer aos seus telespectadores uma cópia da mesma página web para a impressão, use HTTP seguro (HTTPS) e menos segura (http normal) versões das mesmas páginas, ou ter diferentes URLs que apontam para a mesmo item loja de e-commerce, por exemplo. Certifique-se que os motores de busca sabe que você não está enganando-as de propósito, identificando claramente a página canônica (ou preferencial) em seu Sitemap XML e listando todas as duplicatas em seu arquivo TXT para robôs exclusão Restaurant  .;