--- title: "12 erros comuns ao preparar um site para IA | Grupo Marfre" description: "Doze erros ao preparar um site para IA: bloqueio errado de robôs, firewall, conteúdo em JavaScript, soft 404, schema falso e medição cacheada." canonical: https://grupomarfre.com.br/sites-agenticos/erros-comuns-site-agentico/ alternate_html: https://grupomarfre.com.br/sites-agenticos/erros-comuns-site-agentico/ language: pt-BR last_updated: 2026-10-27 type: guia --- # 12 erros comuns ao preparar um site para IA **Resposta rápida:** Entre os erros estão bloquear o robô de busca achando que é de treino, deixar o firewall barrar robôs, publicar conteúdo só em JavaScript e servir soft 404. Também entram espelho Markdown divergente, data falsa, avaliação copiada no schema, arquivos expostos, promessa de citação e medição com relatório cacheado. Os 12 erros abaixo atrapalham sites de empresas que tentam aparecer nas respostas de IA. Vários são silenciosos: o site continua abrindo normalmente no navegador, mas o robô recebe outra coisa. Cada item traz o sintoma e um teste que você roda em minutos. Os exemplos usam o domínio fictício `exemplo.com.br`. ## Quais erros podem tirar o site das respostas de busca das IAs? Três erros podem tirar o site da busca das IAs, ou reduzir a presença nela, sem aviso: bloquear o robô errado, deixar o firewall barrar quem foi liberado no robots.txt e entregar o texto só depois de executar JavaScript. Em todos, o dono acha que está tudo certo porque a página abre no navegador. **1\. Bloquear robô de busca achando que é de treino.** Segundo a documentação da OpenAI, o GPTBot coleta conteúdo que pode ir para treino, e o OAI-SearchBot é o que faz o site aparecer na busca do ChatGPT. Quem bloqueia o segundo não aparece nas respostas de busca, só como link de navegação. Na Anthropic é a mesma lógica: o ClaudeBot é de treino, e Claude-SearchBot e Claude-User são de busca e de pedido do usuário; ali, segundo a Anthropic, bloquear os dois pode reduzir a visibilidade. Bloquear treino e liberar busca é possível em OpenAI, Anthropic, Apple, Amazon, Meta, Mistral e Google (via Google-Extended). ``` User-agent: GPTBot Disallow: / User-agent: OAI-SearchBot Allow: / ``` Detalhes em [robots.txt na era da IA](https://grupomarfre.com.br/sites-agenticos/robots-txt-para-ia/). **2\. Firewall barrando.** O robots.txt libera, mas o WAF devolve erro ao user-agent. Alguns robôs de pedido do usuário, como o Perplexity-User, podem ignorar o robots.txt, então o firewall é a barreira real. A documentação do Perplexity traz o passo a passo para liberar os dois robôs deles no WAF da Cloudflare e da AWS. Veja [como o firewall bloqueia robô de IA sem você saber](https://grupomarfre.com.br/sites-agenticos/firewall-bloqueando-robo-de-ia/). **3\. Conteúdo só em JavaScript.** Teste: `curl -s https://exemplo.com.br/` e leia o HTML cru. O que o curl devolve é o que um robô que não executa JavaScript enxerga. Na régua do Grupo Marfre, a home precisa ter 500 caracteres ou mais de conteúdo real nesse HTML. ## Quais erros estragam o espelho em Markdown e o sitemap? O espelho em Markdown e o sitemap falham quando o texto diverge do HTML, quando o `.md` entra na lista de páginas para indexar ou quando a data de atualização não reflete mudança real. Os três erros abaixo geram duplicidade ou perda de confiança. **4\. Espelho redigido à parte que diverge.** Na régua do Grupo Marfre, o `.md` sai da mesma fonte do HTML e é gerado, nunca escrito separado. Dois textos com fatos diferentes (telefone, endereço, serviço) podem levar a IA a repetir o dado velho. **5\. `.md` no sitemap.** Na régua do Grupo Marfre, o espelho leva `X-Robots-Tag: noindex` e fica fora do sitemap, porque seria conteúdo duplicado. Googlebot e Bingbot recebem o HTML, que é a canônica. Confira o cabeçalho com `curl -s -D - -o /dev/null https://exemplo.com.br/servicos.md` (deve trazer `X-Robots-Tag: noindex`) e o sitemap com `curl -s https://exemplo.com.br/sitemap.xml | grep -c "\.md"`, que deve dar 0. **6\. Data de atualização falsa.** Trocar o "atualizado em" sem mudar o conteúdo virou gatilho de punição no core update de dezembro de 2025, segundo o mercado. O Grupo Marfre trata isso como regra. O `lastmod` do sitemap deve mudar só quando a página muda de verdade. Leia [Sitemap com lastmod real](https://grupomarfre.com.br/sites-agenticos/sitemap-com-lastmod/). ## Quais erros de dados estruturados e de página inexistente enganam o robô? Avaliação copiada no schema e soft 404 enganam o robô de maneiras opostas: o primeiro afirma algo falso sobre a empresa, o segundo faz endereços que não existem parecerem páginas válidas. Ambos são verificáveis com um teste simples. **7\. Schema com avaliação copiada.** A diretriz do Google diz para não agregar avaliações de outros sites. Página da própria empresa com Organization ou LocalBusiness não ganha estrela, e `aggregateRating` só vale com avaliação real, coletada no próprio site e visível. Veja [Avaliações no schema](https://grupomarfre.com.br/sites-agenticos/avaliacoes-no-schema/). **8\. Soft 404.** Sem `404.html` na pasta, o Cloudflare Pages entra em modo SPA e devolve a home com HTTP 200 em qualquer endereço inexistente. O Grupo Marfre achou isso por controle negativo em 3 sites que publica. Teste: ``` curl -s -o /dev/null -w "%{http_code}\n" https://exemplo.com.br/pagina-que-nao-existe ``` O resultado esperado é `404`. Mais em [Página 404 que o agente entende](https://grupomarfre.com.br/sites-agenticos/pagina-404-para-agentes/). ## Quais erros em llms.txt e arquivos de ferramenta expõem o site? O llms.txt mal escrito e arquivos de ferramenta publicados por descuido são os dois pontos em que o site entrega ao robô algo que o dono não queria entregar ou deixa de entregar o que queria. **9\. llms.txt só em inglês ou com link quebrado.** Na régua do Grupo Marfre, o llms.txt traz o "quando usar" em português e em inglês, fatos citáveis e o índice dos `.md`. Todo link listado precisa responder 200. Cuidado também com o caminho: numa medição do Grupo Marfre, a palavra "api" dentro do caminho de uma página listada (até no meio de outra palavra) mudou o perfil detectado pelo is-agentic. Os checks elegíveis foram de 16 para 23 e a nota caiu de 100 para 79. O conserto foi trocar o slug com 301. **10\. README exposto.** Arquivo de ferramenta que sobe junto no deploy precisa ser barrado. No método do Grupo Marfre, sem isso, `/README` com cabeçalho de Markdown virava `/README.md` e saía inteiro para o robô. Teste, como robô: `curl -s -o /dev/null -w "%{http_code}\n" -A GPTBot https://exemplo.com.br/README` deve dar 404. ## Quais erros de promessa e de medição distorcem o resultado? Prometer citação e medir com relatório antigo são erros de leitura do resultado: o primeiro cria uma expectativa que o site não controla, o segundo mostra uma nota que já não vale. **11\. Prometer citação.** Nota alta mede prontidão, não citação. Na medição do Grupo Marfre de 12/10/2026, um consultório com nota 100 no is-agentic teve 0 citação em 5 perguntas no Perplexity. A escolha da fonte é do modelo. Veja [Nota 100 não é citação](https://grupomarfre.com.br/sites-agenticos/nota-100-nao-e-citacao/). **12\. Medir com relatório cacheado.** O is-agentic devolve a nota antiga se você não pedir scan novo (botão Rescan ou `force=1`). Há cache de frescor de 6 horas, limite de 10 scans por minuto por IP e orçamento diário. O relatório novo pode levar de 5 a 10 minutos. Quem corrige o site e lê a página sem rescan mede o passado. ## Como o Grupo Marfre trabalha isso O Grupo Marfre mede antes (is-agentic com scan novo, Lighthouse agentic e rodada de presença nas IAs) e guarda a linha de base. Depois entrega espelho `.md` da mesma fonte do HTML, robots.txt liberando busca e usuário de cada empresa de IA e sitemap só com HTML e `lastmod` real. A prova é feita em produção com curl, incluindo rota inexistente com 404 e README com 404, seguida de scan novo. O Grupo Marfre não promete citação. ## Perguntas frequentes ### Bloquear o GPTBot tira meu site do ChatGPT? Não. O GPTBot é de treino. Quem faz o site aparecer na busca do ChatGPT é o OAI-SearchBot, que precisa continuar liberado. ### Como saber se meu site devolve soft 404? Peça um endereço que não existe com `curl -s -o /dev/null -w "%{http_code}\n"`. Se voltar 200, a página inexistente está respondendo como válida. ### Nota 100 no is-agentic garante que a IA vai citar meu site? Não. A nota mede se o site está pronto para agentes. A citação depende do modelo, e é preciso medir a presença nas IAs separadamente. ### Posso atualizar a data das páginas para parecerem recentes? Não. Segundo o mercado, mudar a data sem mudar o conteúdo virou gatilho de punição no Google. Atualize a data quando o texto mudar de fato. ## Fontes consultadas - [platform.openai.com/docs/bots](https://platform.openai.com/docs/bots) - [support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) - [docs.perplexity.ai/guides/bots](https://docs.perplexity.ai/guides/bots) ## Leia também ### [Checklist completo do site agêntico](https://grupomarfre.com.br/sites-agenticos/checklist-site-agentico/) Checklist do site agêntico em 8 blocos: acesso, conteúdo, Markdown, llms.txt, dados estruturados, confiança, indexação e medição, com o teste de cada item. ### [Auditoria de site agêntico: roteiro em 12 passos](https://grupomarfre.com.br/sites-agenticos/auditoria-site-agentico/) Auditoria de site agêntico em 12 passos: robots.txt, firewall, JSON-LD, 404, Markdown, llms.txt e sitemap, cada um com o teste que prova que funciona. ### [robots.txt na era da IA: como liberar ou bloquear cada robô](https://grupomarfre.com.br/sites-agenticos/robots-txt-para-ia/) Modelo de robots.txt para IA com os robôs de treino, busca e usuário de OpenAI, Anthropic, Perplexity, Google e outras. Duas versões prontas e comentadas. ### [Seu firewall pode estar bloqueando robôs de IA sem você saber](https://grupomarfre.com.br/sites-agenticos/firewall-bloqueando-robo-de-ia/) Firewall (WAF) e proteção anti-bot podem barrar GPTBot, PerplexityBot e outros mesmo com robots.txt liberado. Veja como achar o bloqueio e testar com curl -A. ### [Página 404 que o agente entende (e o soft 404 que engana)](https://grupomarfre.com.br/sites-agenticos/pagina-404-para-agentes/) Página 404 para agentes de IA: por que endereço inexistente deve responder 404 e não a home com 200, o caso do Cloudflare Pages e como testar com curl. ### [Quando a IA compra no seu site: o que preparar para agentes que agem](https://grupomarfre.com.br/sites-agenticos/agentes-que-compram/) Agentes de IA já navegam e agem a pedido do usuário. Veja o que deixar claro no site (preço, frete, formulário) e como lidar com CAPTCHA e bloqueio. --- ## Sobre o Grupo Marfre Grupo Marfre Automação e Tecnologia LTDA (CNPJ 49.685.676/0001-55): agência de marketing digital e inteligência artificial com base em Contagem/MG, que atende o Brasil inteiro de forma remota. - Endereço: Alameda das Cotovias, 75, Cabral, Contagem - MG, Brasil - WhatsApp: (31) 93618-7272, https://wa.me/5531936187272 - E-mail: contato@grupomarfre.com.br - Instagram: https://instagram.com/marfregrupo - Serviços: gestão de tráfego pago (Meta Ads e Google Ads), site agêntico (site pronto pra assistentes de IA lerem), site que vira contato, SEO e Google, IA no WhatsApp, CRM e automação - Serviço de site agêntico: https://grupomarfre.com.br/servicos/site-agentico/ · serviço de gestão de tráfego: https://grupomarfre.com.br/servicos/gestao-de-trafego/ - Guias: https://grupomarfre.com.br/sites-agenticos/ e https://grupomarfre.com.br/gestao-de-trafego/ - Método em 4 etapas: Diagnóstico, Estratégia, Execução, Otimização - Segmentos já atendidos: clínica, consultório, advocacia, loja, igreja - Preço e escopo não são publicados: são definidos por diagnóstico, caso a caso - Todas as páginas em Markdown: https://grupomarfre.com.br/llms.txt · conteúdo completo: https://grupomarfre.com.br/llms-full.txt Página HTML equivalente: https://grupomarfre.com.br/sites-agenticos/erros-comuns-site-agentico/