--- title: "Como ver quais robôs de IA visitaram seu site | Grupo Marfre" description: "Veja quais robôs de IA visitaram seu site: AI Crawl Control da Cloudflare, logs do servidor por user-agent, Bing e como conferir o IP do robô." canonical: https://grupomarfre.com.br/sites-agenticos/logs-de-robos-de-ia/ alternate_html: https://grupomarfre.com.br/sites-agenticos/logs-de-robos-de-ia/ language: pt-BR last_updated: 2026-10-27 type: guia --- # Como ver quais robôs de IA visitaram seu site **Resposta rápida:** Você vê os robôs de IA em três lugares: no painel AI Crawl Control da Cloudflare (disponível em todos os planos), nos logs do servidor filtrados pelo user-agent e, para o Bingbot, no Bing Webmaster Tools. Depois, confira o IP do robô na lista oficial da empresa, porque o user-agent pode ser falsificado. Ver os robôs de IA que passaram pelo seu site leva poucos minutos quando você sabe onde olhar e o que procurar. Há três fontes (painel da Cloudflare, log do servidor e relatório do Bing), e o que importa na leitura é separar três famílias: robô de treino, robô de busca e robô de usuário. Uma visita no log mostra que o robô pediu a página. Ela não prova que a IA vai citar a empresa. Esta página ensina a coletar a evidência, conferir se o robô é verdadeiro e interpretar o que aparece e o que falta. ## Onde dá para ver os robôs de IA que visitam o site? Em três lugares: no AI Crawl Control da Cloudflare, nos logs do servidor e no Bing Webmaster Tools. O AI Crawl Control está disponível em todos os planos da Cloudflare, segundo a documentação da empresa (atualizada em 14/08/2026), e mostra quais serviços de IA acessam o site. | Fonte | O que mostra | Limite | | --- | --- | --- | | AI Crawl Control (Cloudflare) | Quais serviços de IA acessam o site, com regras de liberar ou bloquear por robô | Só vale se o domínio passa pela Cloudflare | | Logs do servidor | Cada requisição, com data, IP e user-agent | Exige acesso ao log; alguns construtores de site não entregam esse arquivo | | Bing Webmaster Tools | O rastreamento do Bingbot, robô do buscador da Microsoft, que a OpenAI lista como parceira de busca do ChatGPT | Cobre só o Bingbot (veja [Bing e Copilot para empresas](https://grupomarfre.com.br/sites-agenticos/bing-e-copilot-para-empresas/)) | ## Como filtrar os logs do servidor pelo user-agent? Filtre o log pelos nomes dos robôs e conte as ocorrências por user-agent. No formato de log "combined", o user-agent é o sexto campo quando você separa a linha pelas aspas. O comando abaixo lista quem apareceu e quantas vezes: ```bash grep -iE "gptbot|oai-searchbot|chatgpt-user|oai-adsbot|claudebot|claude-searchbot|claude-user|perplexitybot|perplexity-user|meta-webindexer|meta-externalagent|meta-externalfetcher|meta-externalads|amazonbot|amzn-searchbot|amzn-user|applebot|mistralai|ccbot|google-agent|google-notebooklm|google-cloudvertexbot" access.log \ | awk -F'"' '{print $6}' | sort | uniq -c | sort -rn ``` Três cuidados na leitura: - **Liste todos os nomes.** Um filtro só com `claudebot` não casa `Claude-SearchBot` nem `Claude-User`. É um erro que o Grupo Marfre já encontrou em middlewares próprios. - **Procure a versão no user-agent.** Os exemplos da OpenAI são `GPTBot/1.4`, `OAI-SearchBot/1.4`, `ChatGPT-User/1.0` e `OAI-AdsBot/1.0`. - **Não procure `Google-Extended`.** Ele é um token de controle do robots.txt, não um user-agent, então nunca aparece no log. O rastreio do Google chega pelos robôs normais da empresa. Para testar se o seu log registra o que deveria, rode um pedido de teste com user-agent emprestado e procure a linha depois: ```bash curl -s -o /dev/null -A "GPTBot" https://www.seudominio.com.br/ ``` Essa linha vai aparecer com o seu IP, não com o da OpenAI. Serve só para provar que o filtro funciona. ## Como saber se o robô que apareceu é verdadeiro? Compare o IP da linha do log com a lista oficial publicada pela empresa do robô. O user-agent é só um texto que qualquer um pode escrever, e o Common Crawl avisa que há robôs se passando por CCBot. O passo a passo completo está em [como saber se o robô de IA é verdadeiro ou falso](https://grupomarfre.com.br/sites-agenticos/como-verificar-robo-de-ia-verdadeiro/). O resumo: 1. Copie o IP da requisição suspeita. 2. Abra a lista da empresa: `openai.com/gptbot.json`, `/searchbot.json`, `/chatgpt-user.json` e `/adsbot.json` para a OpenAI; `perplexity.com/perplexitybot.json` e `/perplexity-user.json` para o Perplexity; `user-triggered-agents.json` para o Google-Agent. 3. No caso da Apple, use o DNS reverso: o IP do Applebot resolve para um nome em `*.applebot.apple.com`. 4. Se o IP não consta, trate a visita como imitação e não como robô de IA. Na Anthropic, a própria empresa diz que bloquear por IP pode não funcionar como opt-out, porque impede o robô de ler o robots.txt. Prefira controlar pelo robots.txt. ## O que significa o robô de treino aparecer e o de busca não? Pode significar que seu conteúdo está sendo coletado para treino enquanto o site não está sendo lido para aparecer nas respostas de busca. Nesse caso, a primeira suspeita é um bloqueio no robots.txt ou no firewall. Na OpenAI há uma ressalva: com GPTBot e OAI-SearchBot liberados, a empresa pode usar um rastreio só para os dois usos, então a ausência do OAI-SearchBot no log, sozinha, não prova bloqueio. A diferença entre as famílias está em [robô de treino, de busca e de usuário](https://grupomarfre.com.br/sites-agenticos/treino-busca-e-usuario/). | O que aparece no log | Leitura | | --- | --- | | GPTBot, sem OAI-SearchBot | Segundo a OpenAI, site que bloqueia o OAI-SearchBot não aparece nas respostas de busca do ChatGPT, só como link de navegação | | ClaudeBot, sem Claude-SearchBot | A Anthropic diz que bloquear o Claude-SearchBot pode reduzir visibilidade e precisão nas respostas | | PerplexityBot ausente | O Perplexity usa esse robô para mostrar e linkar sites nos resultados de busca dele | | Só ChatGPT-User, Claude-User ou Perplexity-User | Alguém pediu aquela página a um assistente. É visita a pedido, não rastreio automático | Antes de concluir que há bloqueio, lembre que mudança no robots.txt pode levar até cerca de 24 horas para valer em Perplexity e Amazon. Se o robots.txt está liberado e o robô de busca não chega, o próximo suspeito é o firewall, tema de [seu firewall pode estar bloqueando robôs de IA](https://grupomarfre.com.br/sites-agenticos/firewall-bloqueando-robo-de-ia/). Robôs de usuário merecem leitura à parte: a OpenAI diz que as regras do robots.txt podem não se aplicar ao ChatGPT-User, e o Perplexity diz que o Perplexity-User geralmente ignora essas regras. Ver esses dois nomes no log, portanto, não prova que o seu robots.txt os libera. A Anthropic é a exceção: ela diz que os três robôs dela, inclusive o Claude-User, respeitam o robots.txt. ## O que o log não prova? O log prova acesso, não citação. Um robô de busca que leu a página não garante que ela será citada, e a falta de uma visita num período curto não prova que o site está fora. Para saber se a IA realmente cita a empresa, use o método de [como medir se a IA cita sua empresa](https://grupomarfre.com.br/sites-agenticos/medir-se-a-ia-cita/), com as mesmas perguntas repetidas ao longo do tempo. Se o site está atrás de CDN, confira também o log da própria CDN. Respostas servidas pelo cache podem nem chegar ao servidor de origem. ## Como o Grupo Marfre trabalha isso Num site agêntico, o Grupo Marfre começa medindo e guardando a linha de base. O robots.txt libera a busca e o usuário de cada empresa de IA, e o método exige que nenhum WAF bloqueie robô. A prova em produção é feita com curl, incluindo pedido com `-A GPTBot` para conferir o que o robô recebe. Depois, a presença nas IAs é medida de novo a cada 30 dias, com os mesmos termos e um termo de controle. O método não promete citação: o Grupo Marfre controla o site e as fontes, e a escolha é do modelo. ## Perguntas frequentes ### Preciso usar a Cloudflare para ver os robôs de IA? Não. A Cloudflare é uma das três fontes. Se o domínio não passa por ela, o log do servidor mostra os robôs de IA, e o Bing Webmaster Tools mostra o Bingbot. ### O Google-Extended aparece nos logs? Não. Ele é um token de controle do robots.txt e não tem user-agent próprio. Para ver o Google, procure os robôs normais da empresa e, para ações a pedido do usuário, o Google-Agent. ### Vi um robô de IA no log. Isso quer dizer que serei citado? Não. A visita mostra que o robô leu a página. Se haverá citação, só a medição das respostas da IA, repetida no tempo, indica. ### Achei um robô com IP que não bate com a lista oficial. O que faço? Trate como imitação. Não conta como robô de IA verdadeiro, e você pode barrar o IP no firewall sem afetar o robô real, desde que o bloqueio não atinja os IPs oficiais da lista. ## Fontes consultadas - [platform.openai.com/docs/bots](https://platform.openai.com/docs/bots) - [developers.cloudflare.com/ai-crawl-control/](https://developers.cloudflare.com/ai-crawl-control/) - [docs.perplexity.ai/guides/bots](https://docs.perplexity.ai/guides/bots) - [support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) ## Leia também ### [Robô de treino, de busca e de usuário: as três famílias](https://grupomarfre.com.br/sites-agenticos/treino-busca-e-usuario/) Robô de treino, de busca e de usuário: entenda as três famílias de robôs de IA, o que muda ao bloquear cada uma e como liberar busca sem liberar treino. ### [Como saber se o robô de IA é verdadeiro ou falso](https://grupomarfre.com.br/sites-agenticos/como-verificar-robo-de-ia-verdadeiro/) Como saber se um robô de IA é verdadeiro: user-agent se falsifica, então confira o IP na lista oficial ou o DNS reverso. Passo a passo nos logs. ### [Seu firewall pode estar bloqueando robôs de IA sem você saber](https://grupomarfre.com.br/sites-agenticos/firewall-bloqueando-robo-de-ia/) Firewall (WAF) e proteção anti-bot podem barrar GPTBot, PerplexityBot e outros mesmo com robots.txt liberado. Veja como achar o bloqueio e testar com curl -A. ### [Como medir se a IA cita sua empresa (método de 30 dias)](https://grupomarfre.com.br/sites-agenticos/medir-se-a-ia-cita/) Como medir se a IA cita sua empresa com método: termos fixos, termo de controle, mesma superfície e uma rodada a cada 30 dias, com registro simples. ### [Lista dos robôs de IA em 2026: quem é quem](https://grupomarfre.com.br/sites-agenticos/lista-de-robos-de-ia/) Lista dos robôs de IA em 2026: 26 nomes de OpenAI, Anthropic, Google, Meta e outras, com função, regra no robots.txt e link da documentação oficial. ### [is-agentic: 4 armadilhas que enganam quem lê a nota](https://grupomarfre.com.br/sites-agenticos/armadilhas-do-is-agentic/) is-agentic: 4 armadilhas na leitura da nota: relatório cacheado, scan em sequência, palavra api no caminho e soft 404. Veja como evitar cada uma. --- ## Sobre o Grupo Marfre Grupo Marfre Automação e Tecnologia LTDA (CNPJ 49.685.676/0001-55): agência de marketing digital e inteligência artificial com base em Contagem/MG, que atende o Brasil inteiro de forma remota. - Endereço: Alameda das Cotovias, 75, Cabral, Contagem - MG, Brasil - WhatsApp: (31) 93618-7272, https://wa.me/5531936187272 - E-mail: contato@grupomarfre.com.br - Instagram: https://instagram.com/marfregrupo - Serviços: gestão de tráfego pago (Meta Ads e Google Ads), site agêntico (site pronto pra assistentes de IA lerem), site que vira contato, SEO e Google, IA no WhatsApp, CRM e automação - Serviço de site agêntico: https://grupomarfre.com.br/servicos/site-agentico/ · serviço de gestão de tráfego: https://grupomarfre.com.br/servicos/gestao-de-trafego/ - Guias: https://grupomarfre.com.br/sites-agenticos/ e https://grupomarfre.com.br/gestao-de-trafego/ - Método em 4 etapas: Diagnóstico, Estratégia, Execução, Otimização - Segmentos já atendidos: clínica, consultório, advocacia, loja, igreja - Preço e escopo não são publicados: são definidos por diagnóstico, caso a caso - Todas as páginas em Markdown: https://grupomarfre.com.br/llms.txt · conteúdo completo: https://grupomarfre.com.br/llms-full.txt Página HTML equivalente: https://grupomarfre.com.br/sites-agenticos/logs-de-robos-de-ia/