--- title: "Como um assistente de IA lê um site | Grupo Marfre" description: "Veja como um assistente de IA lê um site, do índice à citação, e os quatro pontos onde ele pode perder a vez: JavaScript, robô barrado, fato divergente e lentidão." canonical: https://grupomarfre.com.br/sites-agenticos/como-assistentes-de-ia-leem-um-site/ alternate_html: https://grupomarfre.com.br/sites-agenticos/como-assistentes-de-ia-leem-um-site/ language: pt-BR last_updated: 2026-10-27 type: guia --- # Como um assistente de IA lê um site **Resposta rápida:** Um assistente de IA consulta um índice de busca (próprio ou de parceiro), manda um robô buscar a página, extrai o texto, escolhe trechos e cita. O site pode perder a vez quando o conteúdo só aparece com JavaScript, o robô é barrado, os fatos divergem entre fontes ou a página demora. Um assistente de IA não "navega" pelo seu site como uma pessoa. Ele parte de um índice, manda um robô buscar a página, tira o texto do HTML, separa os trechos que respondem à pergunta e cita alguns deles. Cada etapa pode falhar, e a falha não aparece quando você abre o site no navegador. Entender esse caminho mostra onde agir: nem tudo depende de otimização de texto. Parte do problema é técnica e se confirma com um teste de poucos minutos. ## Qual é o caminho de uma pergunta até a citação? A pergunta passa por cinco etapas: busca no índice, visita do robô, extração do texto, escolha de trechos e citação. Uma falha em qualquer etapa pode deixar o site fora da resposta. Nos assistentes descritos abaixo, o índice vem de fontes diferentes. 1. **Busca no índice.** O assistente procura candidatos. A OpenAI lista a Microsoft (dona do Bing) e a Shopify como parceiros de busca, além do próprio OAI-SearchBot. O Perplexity mantém índice próprio e busca a cada pergunta. O Claude usa o Brave Search, subprocessador oficial de busca da Anthropic, mais indexação própria. 2. **Visita do robô.** Um robô baixa a página escolhida, às vezes na hora da pergunta. 3. **Extração do texto.** O robô separa o conteúdo do restante do código. 4. **Escolha de trechos.** O modelo seleciona passagens, não páginas inteiras. Dados de mercado reunidos pelo Grupo Marfre mostram correlação de cerca de 0,04 entre o tamanho da página e a citação, ou seja, praticamente nenhuma. Mais detalhes em [por que a IA cita trechos e não páginas inteiras](https://grupomarfre.com.br/sites-agenticos/citacao-por-trecho/). 5. **Citação.** O assistente monta a resposta e linka as fontes que usou. Estar no índice e ser lido não garante citação. A escolha final é do modelo. ## Quais robôs visitam o site e por que a diferença importa? Existem três famílias: robô de treino, robô de busca e robô de usuário. Esse padrão se repete entre as empresas de IA, ainda que nem toda empresa tenha as três: o Perplexity não lista robô de treino. Cada família responde a uma decisão diferente no robots.txt, e confundir uma com a outra pode deixar o site fora das respostas, ou com menos visibilidade, sem necessidade. | Empresa | Treino | Busca (índice) | Usuário (na hora) | | --- | --- | --- | --- | | OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User | | Anthropic | ClaudeBot | Claude-SearchBot | Claude-User | | Perplexity | nenhum listado | PerplexityBot | Perplexity-User | O que as documentações oficiais dizem: - **OpenAI:** bloquear o GPTBot indica que o conteúdo não deve entrar em treino. Quem bloqueia o OAI-SearchBot não aparece nas respostas de busca do ChatGPT, só como link de navegação. - **Anthropic** (página atualizada em 07/04/2026): bloquear o Claude-User impede a busca a pedido do usuário e pode reduzir a visibilidade. Bloquear o Claude-SearchBot pode reduzir visibilidade e precisão nas respostas. - **Perplexity:** o PerplexityBot "não é usado para rastrear conteúdo para modelos de IA". O Perplexity-User busca a página quando alguém pergunta. Em alguns robôs de usuário, o robots.txt pode não valer. A OpenAI afirma que, no ChatGPT-User, "as regras do robots.txt podem não se aplicar", e o Perplexity diz que o Perplexity-User "geralmente ignora" essas regras, por ser pedido de uma pessoa. Já a Anthropic diz que os três robôs dela, inclusive o Claude-User, respeitam o robots.txt. Bloquear treino e liberar busca é possível. A página [robô de treino, de busca e de usuário](https://grupomarfre.com.br/sites-agenticos/treino-busca-e-usuario/) detalha cada família, e [robots.txt na era da IA](https://grupomarfre.com.br/sites-agenticos/robots-txt-para-ia/) mostra como escrever as regras. ## Onde o site perde a citação? Há quatro pontos em que o site pode perder a vez: conteúdo que só aparece com JavaScript, robô barrado, fato divergente entre fontes e página lenta. Os quatro acontecem antes de qualquer questão de redação, e os dois primeiros são os mais fáceis de confirmar. **Conteúdo só com JavaScript.** Se o texto depende de script para aparecer, o robô pode receber uma página quase vazia. No método do Grupo Marfre, a home precisa de 500 ou mais caracteres de conteúdo real no HTML, sem JavaScript. Veja [conteúdo que aparece sem JavaScript](https://grupomarfre.com.br/sites-agenticos/conteudo-sem-javascript/). **Robô barrado.** O bloqueio pode estar no robots.txt ou num firewall que nunca foi configurado para isso. A documentação do Perplexity traz o passo a passo para liberar os robôs no WAF da Cloudflare e da AWS, por User-Agent e IP. A Anthropic avisa ainda que bloquear por IP pode não funcionar como opt-out, porque impede o robô de ler o robots.txt. Leia [seu firewall pode estar bloqueando robôs de IA](https://grupomarfre.com.br/sites-agenticos/firewall-bloqueando-robo-de-ia/). **Fato divergente.** Em busca local, listagens somam 48,7% das citações do ChatGPT (Yext, jul-ago/2025). Se o telefone, o horário ou o endereço no site diferem dos de uma listagem, o assistente tem duas versões para escolher e pode citar a errada. **Página lenta.** O Google trata Core Web Vitals como sinal de desempate, com LCP abaixo de 2,5 s como meta. As fontes consultadas não dizem quanto tempo um robô de usuário espera; uma página que falha ao carregar não entrega o texto a quem a buscou na hora da pergunta. ## Como testar a leitura do seu site em 5 minutos? Rode quatro comandos no terminal: um para ver o texto sem JavaScript, outro para o robots.txt e dois para simular o user-agent dos robôs. Troque `exemplo.com.br` pelo seu domínio e compare o que volta com o que você vê no navegador. ```bash ## 1. O texto importante aparece no HTML cru? curl -sL https://exemplo.com.br/ | grep -i "frase que está na sua home" ## 2. O robots.txt barra algum robô de busca? curl -s https://exemplo.com.br/robots.txt ## 3. O servidor responde ao OAI-SearchBot? curl -s -o /dev/null -w "%{http_code}\n" -A "OAI-SearchBot/1.4" https://exemplo.com.br/ ## 4. E ao ChatGPT-User? curl -s -o /dev/null -w "%{http_code}\n" -A "ChatGPT-User/1.0" https://exemplo.com.br/ ``` Interprete assim: - Se o comando 1 não achar a frase, o texto pode depender de JavaScript. - Se o comando 2 mostrar `Disallow: /` para um robô de busca, ele está barrado. - Se os comandos 3 ou 4 devolverem 403 ou 429 enquanto o mesmo curl sem `-A` devolve 200, algum filtro bloqueia o robô pelo user-agent. - Resposta 200 não prova liberação total: o curl parte do seu IP, e firewalls que filtram por IP oficial do robô (a OpenAI publica a lista em openai.com/gptbot.json e arquivos irmãos) só aparecem nos logs. Para o roteiro completo, veja [como testar a camada agêntica com curl](https://grupomarfre.com.br/sites-agenticos/testar-camada-agentica-com-curl/). ## Perguntas frequentes ### Bloquear o GPTBot tira meu site das respostas do ChatGPT? Não necessariamente. Segundo a OpenAI, o GPTBot coleta conteúdo que pode ir para treino, enquanto a busca do ChatGPT depende do OAI-SearchBot. Quem bloqueia só o GPTBot indica que o conteúdo não deve treinar modelos. ### O robots.txt barra o ChatGPT-User e o Perplexity-User? Nem sempre. A OpenAI diz que, no ChatGPT-User, as regras do robots.txt podem não se aplicar, e o Perplexity diz que o Perplexity-User geralmente as ignora, porque os dois agem a pedido de uma pessoa. A Anthropic é a exceção entre os robôs de usuário citados aqui: diz que o Claude-User respeita o robots.txt. ### Quanto tempo uma mudança no robots.txt leva para valer? Não é imediato. O Perplexity e a Amazon falam em até cerca de 24 horas, e a Meta tem comportamento parecido, segundo a observação do Grupo Marfre. ### O assistente lê o site inteiro antes de responder? Não. Ele escolhe trechos da página que respondem à pergunta, e o tamanho da página quase não tem relação com a citação. O guia do Google para recursos de IA recomenda parágrafos e seções com títulos claros, pensando no leitor. ## Fontes consultadas - [platform.openai.com/docs/bots](https://platform.openai.com/docs/bots) - [support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) - [docs.perplexity.ai/guides/bots](https://docs.perplexity.ai/guides/bots) ## Leia também ### [Robô de treino, de busca e de usuário: as três famílias](https://grupomarfre.com.br/sites-agenticos/treino-busca-e-usuario/) Robô de treino, de busca e de usuário: entenda as três famílias de robôs de IA, o que muda ao bloquear cada uma e como liberar busca sem liberar treino. ### [robots.txt na era da IA: como liberar ou bloquear cada robô](https://grupomarfre.com.br/sites-agenticos/robots-txt-para-ia/) Modelo de robots.txt para IA com os robôs de treino, busca e usuário de OpenAI, Anthropic, Perplexity, Google e outras. Duas versões prontas e comentadas. ### [Conteúdo que aparece sem JavaScript: por que agentes precisam disso](https://grupomarfre.com.br/sites-agenticos/conteudo-sem-javascript/) Robô que lê só o HTML cru não vê texto montado por JavaScript. Veja como testar com curl se o texto do seu site aparece e como corrigir com HTML no servidor. ### [Como testar a camada agêntica com curl (receitas prontas)](https://grupomarfre.com.br/sites-agenticos/testar-camada-agentica-com-curl/) Receitas de curl para testar a camada agêntica: Accept text/markdown, ?mode=agent, GPTBot, Googlebot, Vary, Link, 404 e robots.txt, com a saída esperada. ### [Por que a IA cita trechos e não páginas inteiras](https://grupomarfre.com.br/sites-agenticos/citacao-por-trecho/) Assistentes de IA extraem trechos, não páginas inteiras. Veja por que o tamanho quase não se relaciona com a citação e como escrever seções que se sustentam sozinhas. ### [Bing e Copilot: por que cadastrar o site no Bing Webmaster Tools](https://grupomarfre.com.br/sites-agenticos/bing-e-copilot-para-empresas/) Bing Webmaster Tools e Copilot: por que cadastrar o site no Bing, como importar do Search Console, enviar o sitemap e usar o IndexNow na publicação. --- ## Sobre o Grupo Marfre Grupo Marfre Automação e Tecnologia LTDA (CNPJ 49.685.676/0001-55): agência de marketing digital e inteligência artificial com base em Contagem/MG, que atende o Brasil inteiro de forma remota. - Endereço: Alameda das Cotovias, 75, Cabral, Contagem - MG, Brasil - WhatsApp: (31) 93618-7272, https://wa.me/5531936187272 - E-mail: contato@grupomarfre.com.br - Instagram: https://instagram.com/marfregrupo - Serviços: gestão de tráfego pago (Meta Ads e Google Ads), site agêntico (site pronto pra assistentes de IA lerem), site que vira contato, SEO e Google, IA no WhatsApp, CRM e automação - Serviço de site agêntico: https://grupomarfre.com.br/servicos/site-agentico/ · serviço de gestão de tráfego: https://grupomarfre.com.br/servicos/gestao-de-trafego/ - Guias: https://grupomarfre.com.br/sites-agenticos/ e https://grupomarfre.com.br/gestao-de-trafego/ - Método em 4 etapas: Diagnóstico, Estratégia, Execução, Otimização - Segmentos já atendidos: clínica, consultório, advocacia, loja, igreja - Preço e escopo não são publicados: são definidos por diagnóstico, caso a caso - Todas as páginas em Markdown: https://grupomarfre.com.br/llms.txt · conteúdo completo: https://grupomarfre.com.br/llms-full.txt Página HTML equivalente: https://grupomarfre.com.br/sites-agenticos/como-assistentes-de-ia-leem-um-site/