--- title: "Auditoria de site agêntico: roteiro em 12 passos | Grupo Marfre" description: "Auditoria de site agêntico em 12 passos: robots.txt, firewall, JSON-LD, 404, Markdown, llms.txt e sitemap, cada um com o teste que prova que funciona." canonical: https://grupomarfre.com.br/sites-agenticos/auditoria-site-agentico/ alternate_html: https://grupomarfre.com.br/sites-agenticos/auditoria-site-agentico/ language: pt-BR last_updated: 2026-10-27 type: guia --- # Auditoria de site agêntico: roteiro em 12 passos **Resposta rápida:** Uma auditoria de site agêntico segue 12 passos em ordem: medir com scan novo, conferir robots.txt e firewall, validar conteúdo sem JavaScript, títulos, metadados, JSON-LD e páginas de confiança, testar 404, Markdown e llms.txt, e fechar com sitemap e indexação. Cada passo tem um teste que prova o resultado. A auditoria de um site agêntico cabe em 12 passos, nesta ordem: medir, liberar o acesso, conferir o conteúdo, testar a camada de Markdown e fechar com sitemap e indexação. Cada passo traz o teste que prova se está certo, quase todos com um comando curl. Os exemplos usam o domínio fictício `exemplo.com.br`. A ordem importa: ajustar JSON-LD não adianta se o firewall barra o robô antes de ele ler a página. ## Passo 1: por que medir antes de mexer? Porque sem linha de base não dá para provar que um ajuste funcionou. Rode um scan novo no is-agentic, rode o Lighthouse agentic e registre nota, data e lista de checks antes de editar qualquer coisa. O relatório do is-agentic é cacheado: sem pedir scan novo (botão Rescan ou `force=1`), ele devolve a nota antiga. Há cache de frescor de 6 horas e limite de 10 scans por minuto por IP, e o relatório pode levar de 5 a 10 minutos para chegar. Para site de conteúdo, o scanner pontua 16 checks elegíveis: 6 essenciais (80 pontos), 10 recomendados (20 pontos) e bônus de até 5. O número de elegíveis varia conforme o perfil detectado. Veja [como ler a nota do is-agentic](https://grupomarfre.com.br/sites-agenticos/is-agentic/). **Teste:** a data do relatório é posterior ao último deploy. ## Passos 2 e 3: os robôs de IA conseguem entrar? Dois bloqueios impedem a leitura: uma regra no robots.txt e um filtro no firewall. Confira os dois, porque um robots.txt liberado não adianta se o WAF devolve 403 ao robô. 2. **robots.txt.** Rode `curl -s https://exemplo.com.br/robots.txt`, leia o arquivo inteiro e confirme que nenhum grupo que vale para OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot e Perplexity-User tem `Disallow: /` (o grupo com o nome do robô ou, se ele não for citado, o `User-agent: *`). Robô de treino (GPTBot, ClaudeBot) é decisão separada. Google-Extended é um token do robots.txt, não um user-agent. Segundo a documentação do Perplexity, a mudança leva até 24 horas. 3. **Firewall.** Compare as respostas: ``` curl -s -o /dev/null -w "%{http_code}\n" -A "OAI-SearchBot/1.4" https://exemplo.com.br/ curl -s -o /dev/null -w "%{http_code}\n" https://exemplo.com.br/ ``` Os dois devem dar 200. Um código diferente de 200 só no primeiro (403, por exemplo) indica bloqueio por user-agent. Como o comando descarta o corpo, para ver uma página de desafio rode o primeiro sem `-o /dev/null` e leia o que volta. O teste não cobre regra por IP: para isso, compare com as listas publicadas pelas empresas (como openai.com/searchbot.json). Mais detalhes em [firewall bloqueando robô de IA](https://grupomarfre.com.br/sites-agenticos/firewall-bloqueando-robo-de-ia/). ## Passos 4 a 8: o conteúdo está legível e identificável? O robô precisa encontrar, no HTML cru, texto real, estrutura limpa e uma identidade clara da empresa. Cada item abaixo se confere olhando o HTML que o curl devolve, sem navegador. 4. **Conteúdo sem JavaScript.** `curl -s https://exemplo.com.br/ | grep -c "frase do seu texto principal"`. Resultado 0 indica que a frase não está no HTML cru. Antes de concluir que o texto depende de JavaScript, confira se não é só diferença de escrita (acento em entidade HTML, quebra de linha ou tag no meio da frase). Na régua do Grupo Marfre, a home tem 500 ou mais caracteres de conteúdo real sem JavaScript. 5. **Títulos.** `curl -s https://exemplo.com.br/ | grep -oE "