--- title: "robots.txt na era da IA: como liberar ou bloquear cada robô | Grupo Marfre" description: "Modelo de robots.txt para IA com os robôs de treino, busca e usuário de OpenAI, Anthropic, Perplexity, Google e outras. Duas versões prontas e comentadas." canonical: https://grupomarfre.com.br/sites-agenticos/robots-txt-para-ia/ alternate_html: https://grupomarfre.com.br/sites-agenticos/robots-txt-para-ia/ language: pt-BR last_updated: 2026-10-27 type: guia --- # robots.txt na era da IA: como liberar ou bloquear cada robô **Resposta rápida:** Liste no robots.txt cada robô de IA com a regra que vale para ele. Treino (GPTBot, ClaudeBot, Google-Extended) pode ficar bloqueado sem tirar o site da busca. Bloquear a busca tem custo: a OpenAI diz que o site sai das respostas de busca do ChatGPT, e a Anthropic, que a visibilidade pode cair. Alguns robôs de usuário podem ignorar o arquivo, e na Perplexity e na Amazon a mudança leva até cerca de 24 horas. O robots.txt na raiz do domínio indica, robô por robô, o que cada empresa de IA pode ler. Dá para liberar tudo ou bloquear só o treino dos modelos e manter liberados os robôs de busca. Abaixo estão os nomes dos robôs, dois modelos comentados e os limites do arquivo. ## Quais robôs cada empresa usa? Cada empresa separa até três funções: robô de treino, que coleta conteúdo para os modelos; robô de busca, que indexa para as respostas; e robô de usuário, que busca a página na hora, a pedido de alguém. Os nomes abaixo vêm da documentação de cada empresa, conferida em 27/10/2026 (a da Meta, em 23/10/2026). Para entender a divisão, veja [robô de treino, de busca e de usuário](https://grupomarfre.com.br/sites-agenticos/treino-busca-e-usuario/). | Empresa | Treino | Busca | Usuário | | --- | --- | --- | --- | | OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User | | Anthropic | ClaudeBot | Claude-SearchBot | Claude-User | | Perplexity | nenhum declarado | PerplexityBot | Perplexity-User | | Google | Google-Extended (token) | Googlebot | Google-Agent | | Apple | Applebot-Extended (token) | Applebot | não listado | | Amazon | Amazonbot | Amzn-SearchBot | Amzn-User | | Meta | meta-externalagent | meta-webindexer | meta-externalfetcher | | Mistral | MistralAI-Training | MistralAI-Index | MistralAI-User | | Common Crawl | CCBot (repositório aberto, usado também para treinar modelos) | não se aplica | não se aplica | Dois detalhes. Google-Extended e Applebot-Extended não são robôs: são tokens do robots.txt. O Google-Extended define se o conteúdo pode treinar o Gemini e servir de grounding no app Gemini e no Vertex AI; o Applebot-Extended, se o que o Applebot coletou pode treinar os modelos generativos da Apple. E a OpenAI tem ainda o OAI-AdsBot, que só confere a página de destino de anúncios enviados ao ChatGPT e não treina modelo. ## Versão 1: como liberar tudo? Para liberar tudo, escreva `Allow: /` em cada robô, inclusive os de treino. Serve para quem quer máxima presença e aceita que o conteúdo entre em treino. Na prática, um robots.txt vazio já libera, mas a lista explícita documenta a decisão. ``` ## Versão 1: libera treino, busca e usuário User-agent: GPTBot # OpenAI, treino User-agent: OAI-SearchBot # OpenAI, busca do ChatGPT User-agent: ChatGPT-User # OpenAI, a pedido do usuário User-agent: ClaudeBot # Anthropic, treino User-agent: Claude-SearchBot # Anthropic, busca User-agent: Claude-User # Anthropic, a pedido do usuário User-agent: PerplexityBot # Perplexity, busca User-agent: Perplexity-User # Perplexity, a pedido do usuário User-agent: Google-Extended # Google, token de treino e grounding do Gemini User-agent: Applebot # Apple, rastreio User-agent: Applebot-Extended # Apple, token de treino User-agent: Amazonbot # Amazon User-agent: Amzn-SearchBot # Amazon, busca User-agent: Amzn-User # Amazon, a pedido do usuário User-agent: meta-webindexer # Meta AI, citação User-agent: meta-externalagent # Meta, treino User-agent: MistralAI-Index # Mistral, busca User-agent: MistralAI-User # Mistral, a pedido do usuário User-agent: MistralAI-Training # Mistral, treino User-agent: CCBot # Common Crawl Allow: / Sitemap: https://www.exemplo.com.br/sitemap.xml ``` ## Versão 2: como bloquear o treino e liberar a busca? Bloqueie com `Disallow: /` só os robôs de treino e deixe `Allow: /` nos de busca e de usuário. Segundo a documentação, isso é possível em OpenAI, Anthropic, Apple, Amazon, Meta, Mistral e Google (via Google-Extended). Mais detalhes em [não quero que a IA treine com meu conteúdo](https://grupomarfre.com.br/sites-agenticos/ia-sem-treinar-com-meu-conteudo/). ``` ## Versão 2: bloqueia treino, libera busca e usuário User-agent: GPTBot # OpenAI, treino User-agent: ClaudeBot # Anthropic, treino User-agent: Google-Extended # treino e grounding do Gemini; não afeta a Busca User-agent: Applebot-Extended # Apple, treino (o Applebot continua) User-agent: Amazonbot # Amazon, pode treinar modelos User-agent: meta-externalagent # Meta, treino User-agent: MistralAI-Training # Mistral, treino User-agent: CCBot # Common Crawl, escolha sua Disallow: / User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Applebot User-agent: Amzn-SearchBot User-agent: Amzn-User User-agent: meta-webindexer User-agent: MistralAI-Index User-agent: MistralAI-User Allow: / Sitemap: https://www.exemplo.com.br/sitemap.xml ``` Bloquear OAI-SearchBot tem custo: segundo a OpenAI, o site deixa de aparecer nas respostas de busca do ChatGPT e fica só como link de navegação. Já a Anthropic avisa que bloquear Claude-SearchBot ou Claude-User pode reduzir a visibilidade. Para decidir caso a caso, leia [liberar ou bloquear os robôs de IA](https://grupomarfre.com.br/sites-agenticos/liberar-ou-bloquear-robos-de-ia/). ## O robots.txt é cadeado? Não, é um pedido. Alguns robôs de usuário agem a mando de uma pessoa e podem ignorá-lo: a OpenAI diz que, no ChatGPT-User, as regras podem não se aplicar, e a Perplexity diz que o Perplexity-User geralmente as ignora. A Amazon diz que o Amzn-User pode não seguir todas as regras, e a Meta diz que o meta-externalfetcher e o facebookexternalhit podem ignorá-lo. Já a Anthropic diz que os três robôs dela, inclusive o Claude-User, respeitam o robots.txt. Para barrar de verdade é preciso regra de servidor ou firewall. Cuidado: um firewall mal configurado também derruba os robôs de busca que você quer liberar, como explica [seu firewall pode estar bloqueando robôs de IA](https://grupomarfre.com.br/sites-agenticos/firewall-bloqueando-robo-de-ia/). A Anthropic alerta que bloquear por IP pode não funcionar como opt-out, porque impede o robô de ler o robots.txt. O Common Crawl avisa que há robôs se passando por CCBot. ## Como publicar e conferir a mudança? Salve o arquivo atual, publique o novo na raiz do domínio e confira com curl se a versão nova está no ar. Depois espere: Perplexity e Amazon falam em até cerca de 24 horas para a mudança valer, e a Meta também, segundo observação do Grupo Marfre. 1. Copie o robots.txt atual. Na Shopify, o template `robots.txt.liquid` substitui o arquivo gerado, e a documentação manda salvar a saída atual antes. No Wix, editar o robots.txt é recurso avançado e o suporte não ajuda nas mudanças. 2. Publique o novo arquivo em `/robots.txt`. 3. Confira o que está no ar: ``` curl -s https://www.exemplo.com.br/robots.txt ``` Leia o arquivo inteiro e confira o grupo todo de cada robô: a linha `Allow` ou `Disallow` vem depois da última linha `User-agent` do grupo, que nos modelos acima fica várias linhas abaixo do nome procurado. 4. Aguarde 24 horas antes de concluir que um robô da Perplexity, da Amazon ou da Meta ignorou a regra. Das outras empresas, as fontes consultadas não informam o prazo. ## Como o Grupo Marfre trabalha isso O Grupo Marfre publica robots.txt liberando busca e usuário de cada empresa de IA e confere que nenhum WAF barra esses robôs. A prova é feita em produção, com curl. O Grupo Marfre não promete citação: controla o site e as fontes, e a escolha é do modelo. Nos middlewares do Grupo Marfre, o Google-Extended não entra na lista de user-agents, porque é token do robots.txt e não aparece como user-agent. ## Perguntas frequentes ### Bloquear o GPTBot tira meu site do ChatGPT? Não. O GPTBot é o robô de treino da OpenAI. A presença na busca do ChatGPT depende do OAI-SearchBot, que deve continuar liberado. ### O Google-Extended muda minha posição no Google? Não. Segundo o Google, ele não afeta a inclusão do site na Busca nem é sinal de ranking. Controla o uso do conteúdo no treino do Gemini e no grounding do app Gemini e do Vertex AI. ### Preciso bloquear o CCBot? Depende da sua decisão sobre treino. O Common Crawl mantém um repositório aberto de dados da web, usado por muita gente, inclusive para treinar modelos. Para bloquear, use `User-agent: CCBot` com `Disallow: /`. ### Quanto tempo leva para a mudança valer? Perplexity e Amazon falam em até cerca de 24 horas, e a Meta também, segundo observação do Grupo Marfre. Teste de novo depois desse prazo antes de achar que a regra falhou. ## Fontes consultadas - [platform.openai.com/docs/bots](https://platform.openai.com/docs/bots) - [support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) - [docs.perplexity.ai/guides/bots](https://docs.perplexity.ai/guides/bots) - [developers.google.com/search/docs/crawling-indexing/google-common-crawlers](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers) ## Leia também ### [Robô de treino, de busca e de usuário: as três famílias](https://grupomarfre.com.br/sites-agenticos/treino-busca-e-usuario/) Robô de treino, de busca e de usuário: entenda as três famílias de robôs de IA, o que muda ao bloquear cada uma e como liberar busca sem liberar treino. ### [Lista dos robôs de IA em 2026: quem é quem](https://grupomarfre.com.br/sites-agenticos/lista-de-robos-de-ia/) Lista dos robôs de IA em 2026: 26 nomes de OpenAI, Anthropic, Google, Meta e outras, com função, regra no robots.txt e link da documentação oficial. ### [Liberar ou bloquear os robôs de IA? Como decidir](https://grupomarfre.com.br/sites-agenticos/liberar-ou-bloquear-robos-de-ia/) Liberar ou bloquear robôs de IA? Decida pelo objetivo: quem vende serviço libera busca e usuário; quem vive de conteúdo exclusivo bloqueia só o treino. ### [Seu firewall pode estar bloqueando robôs de IA sem você saber](https://grupomarfre.com.br/sites-agenticos/firewall-bloqueando-robo-de-ia/) Firewall (WAF) e proteção anti-bot podem barrar GPTBot, PerplexityBot e outros mesmo com robots.txt liberado. Veja como achar o bloqueio e testar com curl -A. ### [Google-Extended: o controle de IA do Google no robots.txt](https://grupomarfre.com.br/sites-agenticos/google-extended/) Google-Extended é token do robots.txt, não robô. Controla treino do Gemini e grounding, mas não afeta a Busca nem tira o site da Visão Geral por IA. ### [Cabeçalho Link (RFC 8288): como o agente descobre a versão em Markdown](https://grupomarfre.com.br/sites-agenticos/cabecalho-link-rfc-8288/) Cabeçalho Link (RFC 8288): como apontar o espelho .md, o llms.txt e o sitemap por HTTP, com formato, exemplo e teste com curl, sem baixar o HTML. --- ## Sobre o Grupo Marfre Grupo Marfre Automação e Tecnologia LTDA (CNPJ 49.685.676/0001-55): agência de marketing digital e inteligência artificial com base em Contagem/MG, que atende o Brasil inteiro de forma remota. - Endereço: Alameda das Cotovias, 75, Cabral, Contagem - MG, Brasil - WhatsApp: (31) 93618-7272, https://wa.me/5531936187272 - E-mail: contato@grupomarfre.com.br - Instagram: https://instagram.com/marfregrupo - Serviços: gestão de tráfego pago (Meta Ads e Google Ads), site agêntico (site pronto pra assistentes de IA lerem), site que vira contato, SEO e Google, IA no WhatsApp, CRM e automação - Serviço de site agêntico: https://grupomarfre.com.br/servicos/site-agentico/ · serviço de gestão de tráfego: https://grupomarfre.com.br/servicos/gestao-de-trafego/ - Guias: https://grupomarfre.com.br/sites-agenticos/ e https://grupomarfre.com.br/gestao-de-trafego/ - Método em 4 etapas: Diagnóstico, Estratégia, Execução, Otimização - Segmentos já atendidos: clínica, consultório, advocacia, loja, igreja - Preço e escopo não são publicados: são definidos por diagnóstico, caso a caso - Todas as páginas em Markdown: https://grupomarfre.com.br/llms.txt · conteúdo completo: https://grupomarfre.com.br/llms-full.txt Página HTML equivalente: https://grupomarfre.com.br/sites-agenticos/robots-txt-para-ia/