--- title: "Robô de treino, de busca e de usuário: as três famílias | Grupo Marfre" description: "Robô de treino, de busca e de usuário: entenda as três famílias de robôs de IA, o que muda ao bloquear cada uma e como liberar busca sem liberar treino." canonical: https://grupomarfre.com.br/sites-agenticos/treino-busca-e-usuario/ alternate_html: https://grupomarfre.com.br/sites-agenticos/treino-busca-e-usuario/ language: pt-BR last_updated: 2026-10-27 type: guia --- # Robô de treino, de busca e de usuário: as três famílias **Resposta rápida:** Os robôs de IA se dividem em três famílias: treino (coletam conteúdo para ensinar modelos), busca (montam o índice que alimenta as respostas) e usuário (visitam a página na hora, a pedido de alguém). Cada família tem regra própria no robots.txt, embora parte dos robôs de usuário possa ignorá-la. Na régua do Grupo Marfre, o ponto de partida é liberar busca e usuário e decidir sobre treino. Cada empresa de IA publica mais de um robô, e cada robô faz um trabalho diferente. Os trabalhos se repetem de uma empresa para outra e formam três famílias: **treino**, **busca** e **usuário**. Entender a família de cada robô é o que permite escolher o que liberar, em vez de aceitar tudo ou bloquear tudo. Na régua do Grupo Marfre, o ponto de partida é liberar busca e usuário, que leem a página para montar as respostas, e decidir separadamente sobre o treino. Para consultar robô por robô, veja a [lista dos robôs de IA](https://grupomarfre.com.br/sites-agenticos/lista-de-robos-de-ia/). ## Por que as empresas separaram os robôs? Porque cada uso é uma decisão diferente do dono do site. Treinar um modelo ensina a IA com o seu texto. Indexar para busca torna a página uma possível fonte de resposta. Visitar a pedido de um usuário é ler a página na hora, quando alguém pergunta ou pede. Com robôs separados, a escolha deixa de ser tudo ou nada. Esse padrão aparece na documentação de OpenAI, Anthropic, Apple, Amazon, Meta e Mistral. No Google, o controle de treino é o token [Google-Extended](https://grupomarfre.com.br/sites-agenticos/google-extended/), que não é um robô, vale também para o uso como "grounding" no app Gemini e no Vertex AI e, segundo o Google, não afeta a inclusão do site na Busca. Há uma ressalva na OpenAI: com GPTBot e OAI-SearchBot liberados, a empresa pode usar um rastreio só para os dois usos. ## O que acontece ao bloquear cada família? Bloquear treino sinaliza que o conteúdo não deve ser usado para ensinar modelos. Bloquear busca ou usuário mexe na presença da página nas respostas, e o efeito muda conforme a empresa: a OpenAI diz que o site deixa de aparecer nas respostas de busca do ChatGPT, e a Anthropic diz que pode reduzir a visibilidade. A tabela resume o que cada documentação oficial afirma. | Família | Exemplo | Ao bloquear | | --- | --- | --- | | Treino | GPTBot (OpenAI) | A OpenAI trata como indicação de que o conteúdo não deve ser usado em treino. | | Treino | ClaudeBot (Anthropic) | Sinaliza que o material futuro do site fica fora dos dados de treino. | | Busca | OAI-SearchBot (OpenAI) | O site não aparece nas respostas de busca do ChatGPT, só como link de navegação. | | Busca | Claude-SearchBot (Anthropic) | Pode reduzir a visibilidade e a precisão nas respostas do Claude. | | Usuário | Claude-User (Anthropic) | Impede a busca feita a pedido do usuário e pode reduzir a visibilidade. | | Usuário | ChatGPT-User (OpenAI) | A OpenAI avisa que as regras do robots.txt podem não se aplicar. | Repare que bloquear o GPTBot não mexe no OAI-SearchBot. São robôs com regras próprias no robots.txt. ## Como cada empresa divide as famílias? Cada empresa usa nomes próprios, mas o desenho é parecido. A tabela mostra o robô de cada família conforme a documentação de cada uma. | Empresa | Treino | Busca | Usuário | | --- | --- | --- | --- | | OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User | | Anthropic | ClaudeBot | Claude-SearchBot | Claude-User | | Perplexity | nenhum (a doc diz que o PerplexityBot não é usado para treinar modelos) | PerplexityBot | Perplexity-User | | Apple | Applebot-Extended | Applebot | não listado | | Amazon | Amazonbot (pode treinar IA da Amazon) | Amzn-SearchBot | Amzn-User | | Meta | meta-externalagent | meta-webindexer | meta-externalfetcher | | Mistral | MistralAI-Training | MistralAI-Index | MistralAI-User | Quatro detalhes que a tabela não mostra: - O Applebot-Extended não rastreia nada. Ele só define se o que o Applebot coletou pode treinar os modelos generativos da Apple. - A OpenAI tem ainda o OAI-AdsBot, que valida a página de destino de anúncio enviado ao ChatGPT e não treina modelo. Fica fora das três famílias. - A Meta tem também o `meta-externalads` (anúncios) e o `facebookexternalhit` (prévia de link compartilhado). - O CCBot, do Common Crawl, não é de nenhuma empresa de IA. A fundação mantém um repositório aberto de dados da web, usado por muita gente, inclusive para treinar modelos. ## Quais robôs de usuário podem ignorar o robots.txt? Os robôs de usuário agem a pedido de uma pessoa, e não como rastreio automático. Por isso várias empresas avisam que o robots.txt pode não valer para eles: ChatGPT-User, Perplexity-User, Amzn-User, meta-externalfetcher e facebookexternalhit. Segundo a documentação, o Perplexity-User "geralmente ignora" as regras. O Amzn-User pode não seguir todas. A Anthropic é a exceção entre os exemplos: diz que seus robôs respeitam o robots.txt, inclusive o Claude-User. Na prática, o robots.txt não é uma trava confiável para essa família. Se uma página não pode ser lida por ninguém, o caminho é controle de acesso. Cuidado também com o inverso: um [firewall bloqueando robô de IA](https://grupomarfre.com.br/sites-agenticos/firewall-bloqueando-robo-de-ia/) sem você saber derruba busca e usuário de uma vez. A Anthropic ainda avisa que bloquear por IP pode não funcionar como opt-out, porque impede o robô de ler o robots.txt. O Common Crawl, por sua vez, alerta que existem robôs se passando por CCBot, e o guia [como saber se o robô de IA é verdadeiro](https://grupomarfre.com.br/sites-agenticos/como-verificar-robo-de-ia-verdadeiro/) explica a checagem. ## Qual combinação liberar? Na régua do Grupo Marfre, liberar busca e usuário e decidir sobre treino. Busca e usuário são as famílias que leem a página para montar as respostas das IAs. Treino é uma decisão à parte, sobre o uso do conteúdo para ensinar modelos. Segundo a documentação, dá para bloquear treino e liberar busca em OpenAI, Anthropic, Apple, Amazon, Meta, Mistral e Google. Exemplo de robots.txt que libera busca e usuário e bloqueia treino: ``` ## Busca e usuário: liberados User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Amzn-SearchBot User-agent: Amzn-User User-agent: MistralAI-Index User-agent: MistralAI-User User-agent: meta-webindexer User-agent: Applebot Allow: / ## Treino: bloqueado (decisão do dono do site; Google-Extended também tira o grounding no Gemini e no Vertex AI) User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: MistralAI-Training User-agent: Amazonbot User-agent: CCBot Disallow: / ``` Para pôr isso em prática: 1. Decida primeiro sobre o treino, com a ajuda do guia [não quero que a IA treine com meu conteúdo](https://grupomarfre.com.br/sites-agenticos/ia-sem-treinar-com-meu-conteudo/). 2. Ajuste o arquivo e confira a sintaxe em [robots.txt na era da IA](https://grupomarfre.com.br/sites-agenticos/robots-txt-para-ia/). 3. Publique e rode `curl -s https://www.exemplo.com.br/robots.txt` (endereço fictício) para ver se o arquivo no ar é o que você escreveu. 4. Espere até cerca de 24 horas: Perplexity e Amazon informam esse prazo. Na Meta, bloquear treino sem sumir da Meta AI significa `Disallow` só no `meta-externalagent`. Liberar não garante citação nem recomendação: a escolha das fontes é de cada modelo. E bloquear treino é um pedido registrado no robots.txt, não uma barreira técnica. ## Perguntas frequentes ### Bloquear o GPTBot tira meu site do ChatGPT? Não por si só. O GPTBot é o robô de treino. A presença nas respostas de busca do ChatGPT depende do OAI-SearchBot, que tem regra própria no robots.txt. ### O ChatGPT-User obedece ao robots.txt? A documentação da OpenAI diz que as regras do robots.txt podem não se aplicar a ele, porque as visitas são iniciadas por um usuário. Ele também não decide se o conteúdo aparece na busca do ChatGPT. ### Preciso bloquear o CCBot? Depende da sua decisão sobre treino. O Common Crawl mantém um repositório aberto, usado por muita gente, inclusive para treinar modelos. O bloqueio é `User-agent: CCBot` seguido de `Disallow: /`. ### Bloquear treino afeta Siri e Meta AI? Para a Meta, bloquear só o `meta-externalagent` mantém o site como fonte citável pelo `meta-webindexer`. Na Apple, o Applebot-Extended só define o uso para treino do que o Applebot coletou. ## Fontes consultadas - [platform.openai.com/docs/bots](https://platform.openai.com/docs/bots) - [support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) - [docs.perplexity.ai/guides/bots](https://docs.perplexity.ai/guides/bots) - [developers.facebook.com/docs/sharing/webmasters/web-crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers) ## Leia também ### [Lista dos robôs de IA em 2026: quem é quem](https://grupomarfre.com.br/sites-agenticos/lista-de-robos-de-ia/) Lista dos robôs de IA em 2026: 26 nomes de OpenAI, Anthropic, Google, Meta e outras, com função, regra no robots.txt e link da documentação oficial. ### [robots.txt na era da IA: como liberar ou bloquear cada robô](https://grupomarfre.com.br/sites-agenticos/robots-txt-para-ia/) Modelo de robots.txt para IA com os robôs de treino, busca e usuário de OpenAI, Anthropic, Perplexity, Google e outras. Duas versões prontas e comentadas. ### [Liberar ou bloquear os robôs de IA? Como decidir](https://grupomarfre.com.br/sites-agenticos/liberar-ou-bloquear-robos-de-ia/) Liberar ou bloquear robôs de IA? Decida pelo objetivo: quem vende serviço libera busca e usuário; quem vive de conteúdo exclusivo bloqueia só o treino. ### [Não quero que a IA treine com meu conteúdo: o que bloquear sem sumir das respostas](https://grupomarfre.com.br/sites-agenticos/ia-sem-treinar-com-meu-conteudo/) Como bloquear o treino de IA no robots.txt sem sumir das respostas: lista de robôs a bloquear, os que manter liberados e um robots.txt pronto para copiar. ### [Google-Extended: o controle de IA do Google no robots.txt](https://grupomarfre.com.br/sites-agenticos/google-extended/) Google-Extended é token do robots.txt, não robô. Controla treino do Gemini e grounding, mas não afeta a Busca nem tira o site da Visão Geral por IA. ### [Amazonbot, Amzn-SearchBot e Amzn-User: os robôs da Amazon](https://grupomarfre.com.br/sites-agenticos/amazonbot/) Amazonbot, Amzn-SearchBot e Amzn-User: a função de cada robô da Amazon, qual pode treinar IA e como liberar ou bloquear cada um no robots.txt. --- ## Sobre o Grupo Marfre Grupo Marfre Automação e Tecnologia LTDA (CNPJ 49.685.676/0001-55): agência de marketing digital e inteligência artificial com base em Contagem/MG, que atende o Brasil inteiro de forma remota. - Endereço: Alameda das Cotovias, 75, Cabral, Contagem - MG, Brasil - WhatsApp: (31) 93618-7272, https://wa.me/5531936187272 - E-mail: contato@grupomarfre.com.br - Instagram: https://instagram.com/marfregrupo - Serviços: gestão de tráfego pago (Meta Ads e Google Ads), site agêntico (site pronto pra assistentes de IA lerem), site que vira contato, SEO e Google, IA no WhatsApp, CRM e automação - Serviço de site agêntico: https://grupomarfre.com.br/servicos/site-agentico/ · serviço de gestão de tráfego: https://grupomarfre.com.br/servicos/gestao-de-trafego/ - Guias: https://grupomarfre.com.br/sites-agenticos/ e https://grupomarfre.com.br/gestao-de-trafego/ - Método em 4 etapas: Diagnóstico, Estratégia, Execução, Otimização - Segmentos já atendidos: clínica, consultório, advocacia, loja, igreja - Preço e escopo não são publicados: são definidos por diagnóstico, caso a caso - Todas as páginas em Markdown: https://grupomarfre.com.br/llms.txt · conteúdo completo: https://grupomarfre.com.br/llms-full.txt Página HTML equivalente: https://grupomarfre.com.br/sites-agenticos/treino-busca-e-usuario/