--- title: "Seu firewall pode estar bloqueando robôs de IA sem você saber | Grupo Marfre" description: "Firewall (WAF) e proteção anti-bot podem barrar GPTBot, PerplexityBot e outros mesmo com robots.txt liberado. Veja como achar o bloqueio e testar com curl -A." canonical: https://grupomarfre.com.br/sites-agenticos/firewall-bloqueando-robo-de-ia/ alternate_html: https://grupomarfre.com.br/sites-agenticos/firewall-bloqueando-robo-de-ia/ language: pt-BR last_updated: 2026-10-27 type: guia --- # Seu firewall pode estar bloqueando robôs de IA sem você saber **Resposta rápida:** Sim. O robots.txt é um pedido educado; o firewall (WAF) ou a proteção anti-bot é uma barreira que age antes. Se ele barra o robô, o robots.txt liberado não adianta. Para descobrir, veja no painel de CDN quem acessa e rode curl -A com o nome de cada robô, comparando o status com o de um navegador. Pode, e esse é um motivo possível de um site "liberado para IA" não aparecer nas respostas. O robots.txt só informa o que o dono permite. Quem decide se a requisição chega ao site é o firewall de aplicação web (WAF), a proteção anti-bot ou o serviço de CDN na frente dele. Se essa camada devolve erro ao robô, ele nunca chega a ler a página. O problema pode ser silencioso: o site abre normalmente no navegador, o robots.txt está correto e nada avisa o dono. Para saber, teste como robô e olhe o que a CDN registra. ## Por que o robots.txt liberado não basta? O robots.txt e o WAF são duas camadas independentes. O robots.txt é uma instrução que o robô lê e decide seguir. O WAF é uma regra de rede que age antes: se classifica o visitante como automação suspeita, responde com bloqueio, limite de requisições ou desafio de CAPTCHA, e o robô não passa disso. Duas consequências práticas: - Robôs de IA são tráfego automatizado, e o filtro não sabe que você quer recebê-los. - Segundo a Anthropic, os robôs dela respeitam o robots.txt e não tentam passar por CAPTCHA. Para esses robôs, um desafio na frente da página equivale a uma porta fechada. Há um efeito colateral citado pela própria Anthropic: bloquear por IP pode não funcionar como opt-out, porque impede o robô de ler o robots.txt. O mesmo vale ao contrário. Se o firewall barra o robô antes do arquivo, ele nem vê as suas regras. Para a lógica do arquivo em si, veja [robots.txt na era da IA](https://grupomarfre.com.br/sites-agenticos/robots-txt-para-ia/). O que está em jogo muda por robô. Segundo a documentação da OpenAI, o site que bloqueia o OAI-SearchBot não aparece nas respostas de busca do ChatGPT, só como link de navegação. ## Como liberar o robô no WAF (exemplo do Perplexity) O Perplexity publica o passo a passo para liberar o PerplexityBot e o Perplexity-User no WAF da Cloudflare e no da AWS, segundo a documentação oficial dele. A regra combina duas condições: o **User-Agent** do robô e os **IPs** que a empresa publica. Os IPs ficam em listas oficiais em JSON: - `perplexity.com/perplexitybot.json` - `perplexity.com/perplexity-user.json` A lógica serve para qualquer empresa de IA que publique IPs. O nome no user-agent é fácil de copiar por qualquer pessoa, e a lista de IPs confirma a origem. Liberar só pelo nome abre brecha para robô falso. Combinar os dois é o desenho que a documentação do Perplexity adota. A verificação de autenticidade está em [como saber se o robô de IA é verdadeiro ou falso](https://grupomarfre.com.br/sites-agenticos/como-verificar-robo-de-ia-verdadeiro/). Os IPs da OpenAI também são públicos, em arquivos como `gptbot.json`, `searchbot.json` e `chatgpt-user.json`, no domínio openai.com. ## Como ver quem está acessando e quem está barrado? Se o site usa Cloudflare, o **AI Crawl Control** (antes chamado AI Audit) mostra quais serviços de IA acessam o site e permite criar regras de liberar ou bloquear por robô. Segundo a documentação da Cloudflare, de 14/08/2026, ele está disponível em todos os planos e inclui o Pay Per Crawl, ainda em beta. Use o painel para duas leituras: 1. **Quem aparece.** Um robô de busca ou de usuário que nunca aparece na lista pode estar sendo barrado antes de ser contado, ou simplesmente não estar visitando. O painel sozinho não distingue os dois casos. 2. **Que regra está ativa.** Confira se há bloqueio por robô que ninguém lembra de ter criado. Sem Cloudflare, o equivalente é o log do WAF ou do servidor. O roteiro está em [como ver quais robôs de IA visitaram seu site](https://grupomarfre.com.br/sites-agenticos/logs-de-robos-de-ia/). ## Como testar com curl -A? O `curl -A` envia a requisição com o user-agent que você escolher. Rode uma vez como navegador e uma vez com o nome de cada robô, e compare o código de resposta: ```bash ## referência: user-agent de navegador curl -s -o /dev/null -w "%{http_code}\n" \ -A "Mozilla/5.0" https://www.clinicaexemplo.com.br/ ## robôs de IA curl -s -o /dev/null -w "%{http_code}\n" \ -A "GPTBot/1.4" https://www.clinicaexemplo.com.br/ curl -s -o /dev/null -w "%{http_code}\n" \ -A "OAI-SearchBot/1.4" https://www.clinicaexemplo.com.br/ curl -s -o /dev/null -w "%{http_code}\n" \ -A "PerplexityBot" https://www.clinicaexemplo.com.br/ curl -s -o /dev/null -w "%{http_code}\n" \ -A "Claude-SearchBot" https://www.clinicaexemplo.com.br/ ``` Como ler (exemplo fictício, domínio inventado): | user-agent | código | leitura | | --- | --- | --- | | Mozilla/5.0 | 200 | site responde ao navegador | | GPTBot/1.4 | 200 | passou | | PerplexityBot | 403 | o WAF barrou pelo user-agent | | Claude-SearchBot | 429 | limite de requisições | Para ver o corpo e distinguir uma página real de uma tela de desafio, troque `-o /dev/null` por `-o resposta.html` e abra o arquivo salvo. Para ver também os cabeçalhos da mesma resposta, acrescente `-D -`. O método do Grupo Marfre inclui esse tipo de prova em produção: `curl -A GPTBot` recebendo o espelho em Markdown e `curl -A Googlebot` recebendo o HTML. Mais receitas estão em [como testar a camada agêntica com curl](https://grupomarfre.com.br/sites-agenticos/testar-camada-agentica-com-curl/). ### O que o teste não prova O `curl -A` só imita o nome. Se a sua regra de liberação exige também o IP da lista oficial, o teste feito do seu computador pode ser barrado mesmo com a regra correta, porque o seu IP não é o do robô. Nesse caso, um 403 no curl não prova erro: confirme nos logs ou no AI Crawl Control se o robô real chegou. Já um 200 com user-agent de robô e IP comum mostra que nada confere o IP: quem copiar o nome do robô também passa. ## Qual é a rotina de conferência? O método do Grupo Marfre trata como padrão um robots.txt que libera busca e usuário de cada empresa de IA e nenhum WAF bloqueando robô. Em passos: 1. Liste os robôs que você quer receber, em geral os de busca e de usuário de cada empresa ([lista dos robôs de IA em 2026](https://grupomarfre.com.br/sites-agenticos/lista-de-robos-de-ia/)). 2. Rode o `curl -A` de cada um e anote o código. 3. Corrija no WAF com user-agent mais IP onde houver bloqueio. 4. Se também mudou o robots.txt, espere a mudança valer: Perplexity e Amazon falam em até cerca de 24 horas. 5. Repita o teste e confira o painel ou o log. Refaça a rotina sempre que mexer em CDN, plano, regra de segurança ou plugin de proteção. ## Perguntas frequentes ### Meu robots.txt libera tudo. Como o firewall ainda bloqueia? Porque o firewall age antes do robots.txt e não lê o arquivo. Ele julga a requisição pelo user-agent, IP e comportamento, e pode responder com bloqueio sem que o robô chegue a ver suas regras. ### Liberar o user-agent no WAF não deixa o site aberto a robô falso? Deixa, se a regra usar só o nome. Por isso a documentação do Perplexity combina User-Agent e IP, com as listas oficiais em JSON. ### O curl devolveu 403 com o nome de um robô. Isso confirma o bloqueio? Não necessariamente. Se a regra de liberação exige o IP oficial, o seu computador será barrado mesmo com tudo certo. Confirme nos logs ou no painel de CDN se o robô real consegue acessar. ### Preciso de Cloudflare para resolver isso? Não. O AI Crawl Control facilita a visão por robô, mas o teste com curl funciona em qualquer hospedagem ou CDN, e a leitura dos logs serve onde a hospedagem os oferece. ## Fontes consultadas - [docs.perplexity.ai/guides/bots](https://docs.perplexity.ai/guides/bots) - [developers.cloudflare.com/ai-crawl-control/](https://developers.cloudflare.com/ai-crawl-control/) - [platform.openai.com/docs/bots](https://platform.openai.com/docs/bots) - [support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) ## Leia também ### [robots.txt na era da IA: como liberar ou bloquear cada robô](https://grupomarfre.com.br/sites-agenticos/robots-txt-para-ia/) Modelo de robots.txt para IA com os robôs de treino, busca e usuário de OpenAI, Anthropic, Perplexity, Google e outras. Duas versões prontas e comentadas. ### [Como saber se o robô de IA é verdadeiro ou falso](https://grupomarfre.com.br/sites-agenticos/como-verificar-robo-de-ia-verdadeiro/) Como saber se um robô de IA é verdadeiro: user-agent se falsifica, então confira o IP na lista oficial ou o DNS reverso. Passo a passo nos logs. ### [Como ver quais robôs de IA visitaram seu site](https://grupomarfre.com.br/sites-agenticos/logs-de-robos-de-ia/) Veja quais robôs de IA visitaram seu site: AI Crawl Control da Cloudflare, logs do servidor por user-agent, Bing e como conferir o IP do robô. ### [Como testar a camada agêntica com curl (receitas prontas)](https://grupomarfre.com.br/sites-agenticos/testar-camada-agentica-com-curl/) Receitas de curl para testar a camada agêntica: Accept text/markdown, ?mode=agent, GPTBot, Googlebot, Vary, Link, 404 e robots.txt, com a saída esperada. ### [Lista dos robôs de IA em 2026: quem é quem](https://grupomarfre.com.br/sites-agenticos/lista-de-robos-de-ia/) Lista dos robôs de IA em 2026: 26 nomes de OpenAI, Anthropic, Google, Meta e outras, com função, regra no robots.txt e link da documentação oficial. ### [Amazonbot, Amzn-SearchBot e Amzn-User: os robôs da Amazon](https://grupomarfre.com.br/sites-agenticos/amazonbot/) Amazonbot, Amzn-SearchBot e Amzn-User: a função de cada robô da Amazon, qual pode treinar IA e como liberar ou bloquear cada um no robots.txt. --- ## Sobre o Grupo Marfre Grupo Marfre Automação e Tecnologia LTDA (CNPJ 49.685.676/0001-55): agência de marketing digital e inteligência artificial com base em Contagem/MG, que atende o Brasil inteiro de forma remota. - Endereço: Alameda das Cotovias, 75, Cabral, Contagem - MG, Brasil - WhatsApp: (31) 93618-7272, https://wa.me/5531936187272 - E-mail: contato@grupomarfre.com.br - Instagram: https://instagram.com/marfregrupo - Serviços: gestão de tráfego pago (Meta Ads e Google Ads), site agêntico (site pronto pra assistentes de IA lerem), site que vira contato, SEO e Google, IA no WhatsApp, CRM e automação - Serviço de site agêntico: https://grupomarfre.com.br/servicos/site-agentico/ · serviço de gestão de tráfego: https://grupomarfre.com.br/servicos/gestao-de-trafego/ - Guias: https://grupomarfre.com.br/sites-agenticos/ e https://grupomarfre.com.br/gestao-de-trafego/ - Método em 4 etapas: Diagnóstico, Estratégia, Execução, Otimização - Segmentos já atendidos: clínica, consultório, advocacia, loja, igreja - Preço e escopo não são publicados: são definidos por diagnóstico, caso a caso - Todas as páginas em Markdown: https://grupomarfre.com.br/llms.txt · conteúdo completo: https://grupomarfre.com.br/llms-full.txt Página HTML equivalente: https://grupomarfre.com.br/sites-agenticos/firewall-bloqueando-robo-de-ia/