--- title: "CCBot: o Common Crawl e por que ele importa pra IA | Grupo Marfre" description: "CCBot é o robô do Common Crawl, repositório aberto da web usado também pra treinar IA. Veja como liberar ou bloquear no robots.txt e evitar falsos CCBot." canonical: https://grupomarfre.com.br/sites-agenticos/ccbot-common-crawl/ alternate_html: https://grupomarfre.com.br/sites-agenticos/ccbot-common-crawl/ language: pt-BR last_updated: 2026-10-27 type: guia --- # CCBot: o Common Crawl e por que ele importa pra IA **Resposta rápida:** O CCBot é o robô do Common Crawl, fundação sem fins lucrativos que mantém um repositório aberto de dados da web. Muita gente usa esse acervo, inclusive pra treinar modelos de IA. Pra bloquear, basta \`User-agent: CCBot\` com \`Disallow: /\` no robots.txt. A fundação avisa que existem robôs falsos usando o nome CCBot. O CCBot não pertence a uma empresa de IA. Ele é o robô do Common Crawl, uma fundação sem fins lucrativos que mantém um repositório aberto de dados da web. Esse acervo é usado por muita gente, inclusive pra treinar modelos de linguagem. Por isso o CCBot entra na decisão de quem não quer ceder conteúdo pra treino. A decisão de liberar ou bloquear é sua e cabe em duas linhas de robots.txt. O cuidado maior é outro: existem robôs que se passam por CCBot, então o nome no user-agent não prova quem visitou o site. ## Ficha técnica | Campo | Valor | | --- | --- | | Empresa | Common Crawl (fundação sem fins lucrativos) | | Nome no robots.txt | CCBot | | Função | Coletar páginas da web pra um repositório aberto, usado por muita gente, inclusive pra treino de modelos | | Respeita o robots.txt? | A documentação oficial indica o robots.txt como forma de bloqueio (`User-agent: CCBot` + `Disallow: /`) | | Exemplo de user-agent | `CCBot/2.0` | | Como conferir a origem | consulte a documentação oficial | | Documentação oficial | [https://commoncrawl.org/ccbot](https://commoncrawl.org/ccbot) | ## Por que o Common Crawl importa pra IA? Ele importa porque é uma fonte aberta que qualquer pessoa pode usar. Segundo a documentação do Common Crawl, esse repositório é usado por muita gente, inclusive pra treinar modelos. A consequência prática: pelas fontes consultadas, o CCBot alimenta um acervo de dados, e não a busca de um assistente. A busca do ChatGPT, por exemplo, usa o OAI-SearchBot, que tem regra própria. Na [classificação por famílias](https://grupomarfre.com.br/sites-agenticos/treino-busca-e-usuario/), ele fica mais perto do treino e da coleta de acervo do que da busca. A [lista dos robôs de IA](https://grupomarfre.com.br/sites-agenticos/lista-de-robos-de-ia/) mostra onde ele se encaixa entre os demais. ## Como liberar ou bloquear o CCBot no robots.txt? Cada robô tem a sua linha. Mexer no CCBot não altera as regras de GPTBot, OAI-SearchBot ou qualquer outro. Pra liberar: ``` User-agent: CCBot Allow: / ``` Pra bloquear: ``` User-agent: CCBot Disallow: / ``` Se ainda não há regra nenhuma pro CCBot, ele cai na regra geral (`User-agent: *`). O passo a passo completo está em [robots.txt na era da IA](https://grupomarfre.com.br/sites-agenticos/robots-txt-para-ia/). ## Como saber se o CCBot que visitou é verdadeiro? O Common Crawl avisa que há robôs se passando por CCBot. O user-agent é um texto que qualquer script pode copiar, então o nome sozinho não prova a origem; a página oficial do Common Crawl é o lugar de conferir como verificar uma visita. O robots.txt, por sua vez, só barra quem decide obedecer. Um teste que você roda agora: 1. Procure `CCBot` nos logs do servidor ou da hospedagem. 2. Anote o IP, o horário e o caminho que cada visita pediu. 3. Compare o comportamento com o descrito na página oficial. 4. Se o tráfego parecer abusivo, trate como suspeito e barre no firewall. O método geral está em [como saber se o robô de IA é verdadeiro ou falso](https://grupomarfre.com.br/sites-agenticos/como-verificar-robo-de-ia-verdadeiro/). ## Vale bloquear o CCBot? Bloqueie se a sua posição é manter o conteúdo fora de treino de modelos. Bloquear treino e liberar busca é possível em OpenAI, Anthropic, Apple, Amazon, Meta, Mistral e Google (via Google-Extended), porque cada uma separa os robôs por função. Para quem faz essa escolha, o CCBot entra na mesma lista de bloqueio. Um exemplo de robots.txt que barra os robôs de treino, sem tocar nos de busca: ``` User-agent: CCBot Disallow: / User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: meta-externalagent Disallow: / User-agent: Google-Extended Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: MistralAI-Training Disallow: / User-agent: Amazonbot Disallow: / ``` No exemplo, o `Google-Extended` controla, além do treino do Gemini, o uso do conteúdo como grounding no app Gemini e no Vertex AI; segundo o Google, ele não afeta a Busca. Segundo a documentação da OpenAI, bloquear o GPTBot indica que o conteúdo não deve ser usado em treino, enquanto o OAI-SearchBot é o robô que faz o site aparecer nos resultados de busca do ChatGPT. Por isso, liberar a busca continua sendo uma linha separada. Antes de fechar tudo, leia [liberar ou bloquear os robôs de IA](https://grupomarfre.com.br/sites-agenticos/liberar-ou-bloquear-robos-de-ia/) e [como evitar o treino sem sumir das respostas](https://grupomarfre.com.br/sites-agenticos/ia-sem-treinar-com-meu-conteudo/). As fontes consultadas não dizem o que acontece com o que o acervo já coletou antes do bloqueio. ## Perguntas frequentes ### O CCBot é o mesmo robô que o GPTBot? Não. O CCBot é do Common Crawl, uma fundação sem fins lucrativos. O GPTBot é da OpenAI. Cada um tem a sua regra no robots.txt e precisa ser bloqueado separadamente. ### Bloquear o CCBot tira meu site do ChatGPT? Não pelo CCBot. A busca do ChatGPT depende do OAI-SearchBot, que é outro robô e tem regra própria. Bloquear o CCBot não altera essa regra. ### Um acesso com user-agent CCBot prova que foi o Common Crawl? Não. O Common Crawl avisa que há robôs se passando por CCBot, e o user-agent pode ser copiado por qualquer um. Confira o comportamento nos logs e, se for abusivo, barre no firewall. ### Preciso bloquear o CCBot? Só se você não quer o conteúdo no acervo aberto usado também pra treino de modelos. Se isso não é problema pro seu negócio, liberar ou deixar na regra geral é uma escolha válida. ## Fontes consultadas - [commoncrawl.org/ccbot](https://commoncrawl.org/ccbot) - [platform.openai.com/docs/bots](https://platform.openai.com/docs/bots) - [developers.google.com/search/docs/crawling-indexing/google-common-crawlers](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers) ## Leia também ### [robots.txt na era da IA: como liberar ou bloquear cada robô](https://grupomarfre.com.br/sites-agenticos/robots-txt-para-ia/) Modelo de robots.txt para IA com os robôs de treino, busca e usuário de OpenAI, Anthropic, Perplexity, Google e outras. Duas versões prontas e comentadas. ### [Robô de treino, de busca e de usuário: as três famílias](https://grupomarfre.com.br/sites-agenticos/treino-busca-e-usuario/) Robô de treino, de busca e de usuário: entenda as três famílias de robôs de IA, o que muda ao bloquear cada uma e como liberar busca sem liberar treino. ### [Lista dos robôs de IA em 2026: quem é quem](https://grupomarfre.com.br/sites-agenticos/lista-de-robos-de-ia/) Lista dos robôs de IA em 2026: 26 nomes de OpenAI, Anthropic, Google, Meta e outras, com função, regra no robots.txt e link da documentação oficial. ### [Como saber se o robô de IA é verdadeiro ou falso](https://grupomarfre.com.br/sites-agenticos/como-verificar-robo-de-ia-verdadeiro/) Como saber se um robô de IA é verdadeiro: user-agent se falsifica, então confira o IP na lista oficial ou o DNS reverso. Passo a passo nos logs. ### [Liberar ou bloquear os robôs de IA? Como decidir](https://grupomarfre.com.br/sites-agenticos/liberar-ou-bloquear-robos-de-ia/) Liberar ou bloquear robôs de IA? Decida pelo objetivo: quem vende serviço libera busca e usuário; quem vive de conteúdo exclusivo bloqueia só o treino. ### [Amazonbot, Amzn-SearchBot e Amzn-User: os robôs da Amazon](https://grupomarfre.com.br/sites-agenticos/amazonbot/) Amazonbot, Amzn-SearchBot e Amzn-User: a função de cada robô da Amazon, qual pode treinar IA e como liberar ou bloquear cada um no robots.txt. --- ## Sobre o Grupo Marfre Grupo Marfre Automação e Tecnologia LTDA (CNPJ 49.685.676/0001-55): agência de marketing digital e inteligência artificial com base em Contagem/MG, que atende o Brasil inteiro de forma remota. - Endereço: Alameda das Cotovias, 75, Cabral, Contagem - MG, Brasil - WhatsApp: (31) 93618-7272, https://wa.me/5531936187272 - E-mail: contato@grupomarfre.com.br - Instagram: https://instagram.com/marfregrupo - Serviços: gestão de tráfego pago (Meta Ads e Google Ads), site agêntico (site pronto pra assistentes de IA lerem), site que vira contato, SEO e Google, IA no WhatsApp, CRM e automação - Serviço de site agêntico: https://grupomarfre.com.br/servicos/site-agentico/ · serviço de gestão de tráfego: https://grupomarfre.com.br/servicos/gestao-de-trafego/ - Guias: https://grupomarfre.com.br/sites-agenticos/ e https://grupomarfre.com.br/gestao-de-trafego/ - Método em 4 etapas: Diagnóstico, Estratégia, Execução, Otimização - Segmentos já atendidos: clínica, consultório, advocacia, loja, igreja - Preço e escopo não são publicados: são definidos por diagnóstico, caso a caso - Todas as páginas em Markdown: https://grupomarfre.com.br/llms.txt · conteúdo completo: https://grupomarfre.com.br/llms-full.txt Página HTML equivalente: https://grupomarfre.com.br/sites-agenticos/ccbot-common-crawl/