--- title: "Crawler e user-agent: como um robô se identifica | Grupo Marfre" description: "Crawler é o robô que lê sites; user-agent é o nome que ele informa. Veja um exemplo, por que a string pode ser falsa e como verificar por IP e DNS reverso." canonical: https://grupomarfre.com.br/sites-agenticos/crawler-e-user-agent/ alternate_html: https://grupomarfre.com.br/sites-agenticos/crawler-e-user-agent/ language: pt-BR last_updated: 2026-10-27 type: guia --- # Crawler e user-agent: como um robô se identifica **Resposta rápida:** Crawler é um programa que percorre páginas da web seguindo links e baixando o conteúdo. User-agent é o texto que ele envia em cada pedido para dizer quem é, como GPTBot/1.4. Esse texto pode ser copiado por qualquer um, então a prova de identidade vem do endereço IP e do DNS reverso. Crawler (ou robô de rastreamento) é o programa que visita páginas, segue os links e baixa o que encontra. User-agent é o nome que esse programa informa a cada pedido ao seu servidor. É a primeira pista de quem está lendo o site, mas não é prova. Entender a diferença evita dois erros: liberar ou bloquear um robô pelo nome sem checar quem ele é, e concluir que um acesso "do ChatGPT" no log é realmente do ChatGPT. ## O que é um crawler? Crawler é um programa automático que pede páginas a um servidor, lê o conteúdo e descobre novos endereços pelos links. Cada empresa de IA usa mais de um robô, e nem todos rastreiam. A OpenAI, por exemplo, tem quatro, segundo a documentação dela: GPTBot e OAI-SearchBot rastreiam; o ChatGPT-User só busca a página quando um usuário pede e não é usado para rastrear a web de forma automática; o OAI-AdsBot só visita páginas enviadas como anúncio. A separação entre treino, busca e usuário está em [robô de treino, de busca e de usuário](https://grupomarfre.com.br/sites-agenticos/treino-busca-e-usuario/). ## O que é o user-agent e como ele aparece? User-agent é um cabeçalho HTTP em que o cliente se apresenta ao servidor. É também o nome que você usa no robots.txt para dar regras a cada robô. Na documentação da OpenAI, os exemplos são `GPTBot/1.4`, `OAI-SearchBot/1.4` e `ChatGPT-User/1.0`. O Common Crawl usa `CCBot/2.0`. No log do servidor, o trecho aparece no fim da linha. Exemplo fictício (IP de documentação): ``` 203.0.113.10 - - [27/Oct/2026:10:15:02 -0300] "GET /servicos/ HTTP/1.1" 200 5120 "-" "GPTBot/1.4" ``` Para ver o que o seu site entrega a um robô, simule o nome com o curl: ``` curl -A "GPTBot/1.4" https://www.exemplo.com.br/ ``` ## Por que o user-agent pode ser falso? Porque o cabeçalho é só texto, e qualquer script pode escrever o que quiser nele. Um raspador de conteúdo pode se apresentar como robô de IA para passar por filtros. O próprio Common Crawl avisa que há robôs se passando por CCBot. Por isso, bloquear ou liberar só pelo nome protege pouco: barra quem é honesto e deixa passar quem mente. ## Como verificar se o robô é verdadeiro? Compare o endereço IP do pedido com uma fonte que só a empresa dona do robô controla. Há dois caminhos oficiais: 1. **Lista de IPs publicada.** A OpenAI mantém um arquivo por robô: openai.com/gptbot.json, /searchbot.json, /chatgpt-user.json e /adsbot.json. Se o IP do log não está na lista do robô que ele alega ser, o acesso é falso. 2. **DNS reverso.** A Apple informa que o Applebot se identifica por DNS reverso em `*.applebot.apple.com` (ou pela lista de IPs). Rode a consulta reversa do IP, confira o domínio e faça a consulta direta do nome para ver se volta ao mesmo IP: ``` host 203.0.113.10 host nome-retornado.exemplo.com ``` A conferência do IP de volta é boa prática geral, não uma regra citada pela Apple. O passo a passo completo está em [como saber se o robô de IA é verdadeiro](https://grupomarfre.com.br/sites-agenticos/como-verificar-robo-de-ia-verdadeiro/), e a leitura dos acessos em [como ver quais robôs de IA visitaram seu site](https://grupomarfre.com.br/sites-agenticos/logs-de-robos-de-ia/). ## Perguntas frequentes ### Qual a diferença entre crawler e user-agent? Crawler é o programa que rastreia. User-agent é o nome que ele declara em cada pedido. O texto de um mesmo crawler pode variar (a OpenAI avisa que, quando o robô busca o robots.txt, a marca `robots.txt` pode vir na string), e um programa qualquer pode copiar o nome de outro. ### Bloquear o user-agent no robots.txt basta? Só funciona para robôs que obedecem ao arquivo. A OpenAI diz que, para o ChatGPT-User, as regras do robots.txt podem não se aplicar. As regras e as exceções estão em [robots.txt na era da IA](https://grupomarfre.com.br/sites-agenticos/robots-txt-para-ia/). ### Posso confiar no nome que aparece no log? Não como prova. Trate o nome como pista e confirme pelo IP ou pelo DNS reverso antes de tomar decisões, como bloquear ou liberar um robô. ### O CCBot é um robô de IA? É o robô do Common Crawl, fundação sem fins lucrativos que mantém um repositório aberto de dados da web. Muita gente usa esses dados, inclusive para treinar modelos. Veja mais em [CCBot e o Common Crawl](https://grupomarfre.com.br/sites-agenticos/ccbot-common-crawl/). ## Fontes consultadas - [platform.openai.com/docs/bots](https://platform.openai.com/docs/bots) - [support.apple.com/en-us/119829](https://support.apple.com/en-us/119829) - [commoncrawl.org/ccbot](https://commoncrawl.org/ccbot) ## Leia também ### [Como saber se o robô de IA é verdadeiro ou falso](https://grupomarfre.com.br/sites-agenticos/como-verificar-robo-de-ia-verdadeiro/) Como saber se um robô de IA é verdadeiro: user-agent se falsifica, então confira o IP na lista oficial ou o DNS reverso. Passo a passo nos logs. ### [Como ver quais robôs de IA visitaram seu site](https://grupomarfre.com.br/sites-agenticos/logs-de-robos-de-ia/) Veja quais robôs de IA visitaram seu site: AI Crawl Control da Cloudflare, logs do servidor por user-agent, Bing e como conferir o IP do robô. ### [robots.txt na era da IA: como liberar ou bloquear cada robô](https://grupomarfre.com.br/sites-agenticos/robots-txt-para-ia/) Modelo de robots.txt para IA com os robôs de treino, busca e usuário de OpenAI, Anthropic, Perplexity, Google e outras. Duas versões prontas e comentadas. ### [Robô de treino, de busca e de usuário: as três famílias](https://grupomarfre.com.br/sites-agenticos/treino-busca-e-usuario/) Robô de treino, de busca e de usuário: entenda as três famílias de robôs de IA, o que muda ao bloquear cada uma e como liberar busca sem liberar treino. ### [CCBot: o Common Crawl e por que ele importa pra IA](https://grupomarfre.com.br/sites-agenticos/ccbot-common-crawl/) CCBot é o robô do Common Crawl, repositório aberto da web usado também pra treinar IA. Veja como liberar ou bloquear no robots.txt e evitar falsos CCBot. ### [Agente de IA: o que é](https://grupomarfre.com.br/sites-agenticos/agente-de-ia/) Agente de IA é um sistema que recebe um objetivo e executa os passos sozinho com ferramentas. Veja a diferença para chatbot e o efeito no seu site. --- ## Sobre o Grupo Marfre Grupo Marfre Automação e Tecnologia LTDA (CNPJ 49.685.676/0001-55): agência de marketing digital e inteligência artificial com base em Contagem/MG, que atende o Brasil inteiro de forma remota. - Endereço: Alameda das Cotovias, 75, Cabral, Contagem - MG, Brasil - WhatsApp: (31) 93618-7272, https://wa.me/5531936187272 - E-mail: contato@grupomarfre.com.br - Instagram: https://instagram.com/marfregrupo - Serviços: gestão de tráfego pago (Meta Ads e Google Ads), site agêntico (site pronto pra assistentes de IA lerem), site que vira contato, SEO e Google, IA no WhatsApp, CRM e automação - Serviço de site agêntico: https://grupomarfre.com.br/servicos/site-agentico/ · serviço de gestão de tráfego: https://grupomarfre.com.br/servicos/gestao-de-trafego/ - Guias: https://grupomarfre.com.br/sites-agenticos/ e https://grupomarfre.com.br/gestao-de-trafego/ - Método em 4 etapas: Diagnóstico, Estratégia, Execução, Otimização - Segmentos já atendidos: clínica, consultório, advocacia, loja, igreja - Preço e escopo não são publicados: são definidos por diagnóstico, caso a caso - Todas as páginas em Markdown: https://grupomarfre.com.br/llms.txt · conteúdo completo: https://grupomarfre.com.br/llms-full.txt Página HTML equivalente: https://grupomarfre.com.br/sites-agenticos/crawler-e-user-agent/