Gerador e testador de robots.txt
Monte o robots.txt do seu site (com bloqueio de robôs de IA, se quiser) e teste se um robô pode ou não visitar um endereço, pela regra oficial.
O que é o robots.txt?
É um arquivo de texto na raiz do site (exemplo.com.br/robots.txt) que diz aos robôs, como o do Google, o do Bing e os de inteligência artificial, quais partes do site eles podem visitar. Antes de ler qualquer página, o robô educado lê esse arquivo e segue o que ele pede. Desde 2022 a regra de leitura é oficial: a RFC 9309.
O que ele faz
Organiza o trabalho dos robôs: tira da busca o painel administrativo, a API, o carrinho e páginas repetidas, aponta onde está o sitemap e pode pedir que os robôs de IA não usem o seu conteúdo.
O que ele não faz
Não é tranca: é um pedido público, e robô mal-intencionado ignora. Também não tira página do Google: se alguém linkar para ela, o endereço pode aparecer na busca mesmo bloqueado. Para isso existe o noindex. E nunca liste caminhos secretos aqui: qualquer pessoa lê o arquivo.
Robôs de IA: treino, busca e "a pedido"
As empresas de IA usam robôs diferentes para coisas diferentes. Bloquear os de treino não tira o seu site da busca comum nem da busca dos assistentes. Os que buscam "a pedido" do usuário (quando alguém cola o seu link no chat) podem ignorar o robots.txt, segundo as próprias empresas. A lista foi conferida na documentação de cada uma (links no fim da página).
| Robô | Empresa | Para que serve |
|---|---|---|
Googlebot | Busca comum | |
Bingbot | Microsoft | Busca comum |
Applebot | Apple | Busca comum |
GPTBot | OpenAI | Treino de IA |
ClaudeBot | Anthropic | Treino de IA |
Google-Extended | Treino de IA | |
Applebot-Extended | Apple | Treino de IA |
meta-externalagent | Meta | Treino de IA |
CCBot | Common Crawl | Treino de IA |
OAI-SearchBot | OpenAI | Busca dos assistentes de IA (cita e linka o site) |
Claude-SearchBot | Anthropic | Busca dos assistentes de IA (cita e linka o site) |
PerplexityBot | Perplexity | Busca dos assistentes de IA (cita e linka o site) |
meta-webindexer | Meta | Busca dos assistentes de IA (cita e linka o site) |
ChatGPT-User | OpenAI | A pedido do usuário (pode ignorar o robots.txt) |
Claude-User | Anthropic | A pedido do usuário (pode ignorar o robots.txt) |
Perplexity-User | Perplexity | A pedido do usuário (pode ignorar o robots.txt) |
meta-externalfetcher | Meta | A pedido do usuário (pode ignorar o robots.txt) |
E o sitemap.xml?
É o mapa do site: um arquivo XML com a lista das páginas que você quer que os buscadores conheçam, com a data da última mudança. O robots.txt aponta onde ele está (linha Sitemap). Ele não sai daqui porque precisa da lista real das páginas do seu site: quem gera é o próprio site (WordPress, Astro, Next e afins têm plugin ou recurso pronto) ou um programa que percorre o site. Daqui do navegador não dá para percorrer outro site, e esta ferramenta não manda nada para servidor nenhum.
robots.txt
Testar
Cole um robots.txt (o gerado acima já vem aqui), escolha o robô e o endereço. A resposta segue a RFC 9309: vale o grupo do robô (ou o "*"), e dentro dele a regra mais específica.
O que reparar
Ao usar as ferramentas, você concorda com os termos de uso.