Gerador de robots.txt

O arquivo robots.txt é muito importante para as ferramentas de busca, pois é através dele que se torna possível bloquear determinados conteúdos que não deverão ser indexados pelos buscadores. Se você quer que o Google ou qualquer outro mecanismo de busca indexe todo o seu conteúdo, não deve-se utilizar o arquivo robots.txt.

Atenção:


Preencha os campos abaixo para gerar um arquivo robots.txt:
Padrão para todos os Robôs:
Robôs de Busca do Google: Googlebot
Robôs de Busca do Yahoo: Yahoo! Slurp
Robôs de Busca do MSN: MSNBot
Robôs de Busca Multimídia Google Image: googlebot-image
Robôs de Busca Multimídia Yahoo MM: yahoo-mmcrawler
Robôs de Busca Multimídia MSN PicSearch: psbot
Diretórios Bloqueados:







Agora crie um arquivo chamado robots.txt e salve esse código nesse novo arquivo e basta enviar esse arquivo robots.txt para seu diretorio padrão (www, HTDocs, public_html).