--- title: "meta-webindexer: o robô de citação da Meta AI | Grupo Marfre" description: "meta-webindexer é o robô da Meta ligado à citação e ao link de páginas na Meta AI. Veja a diferença para o meta-externalagent e como bloquear só o treino." canonical: https://grupomarfre.com.br/sites-agenticos/meta-webindexer/ alternate_html: https://grupomarfre.com.br/sites-agenticos/meta-webindexer/ language: pt-BR last_updated: 2026-10-27 type: guia --- # meta-webindexer: o robô de citação da Meta AI **Resposta rápida:** O meta-webindexer é o robô da Meta que faz a Meta AI citar e linkar uma página. Quem treina modelos é outro, o meta-externalagent. Para impedir o treino sem sair das respostas da Meta AI, o robots.txt recebe Disallow só no meta-externalagent, segundo a documentação da Meta lida pelo Grupo Marfre em 23/10/2026. O `meta-webindexer` é o robô da Meta responsável por fazer a Meta AI citar e linkar uma página nas respostas. É o equivalente, na Meta, a um robô de busca: se ele não consegue ler o site, a página perde o caminho para aparecer como fonte. A Meta usa outro robô para treinar modelos, o `meta-externalagent`. Os dois têm regras separadas no robots.txt, e é essa separação que permite bloquear o treino sem sair da Meta AI. Os dados desta página vêm da documentação da Meta, lida em 23/10/2026 pelo Grupo Marfre. ## Ficha técnica | Campo | Valor | | --- | --- | | Empresa | Meta | | Nome no robots.txt | `meta-webindexer` | | Função | Faz a Meta AI citar e linkar a página | | Respeita o robots.txt? | a documentação não o lista entre os que podem ignorar o arquivo (só `meta-externalfetcher` e `facebookexternalhit`) | | Exemplo de user-agent | confira na documentação oficial | | IPs publicados | confira na documentação oficial | | Documentação oficial | [https://developers.facebook.com/docs/sharing/webmasters/web-crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers) | Para liberar o robô: ``` User-agent: meta-webindexer Allow: / ``` Para bloquear (o site deixa de ter o robô que alimenta a citação na Meta AI): ``` User-agent: meta-webindexer Disallow: / ``` ## Qual a diferença entre meta-webindexer e meta-externalagent? O `meta-webindexer` serve à citação: ele lê a página para que a Meta AI possa mostrá-la como fonte, com link. O `meta-externalagent` serve ao treino: coleta conteúdo para treinar modelo. O primeiro pode devolver visita ao seu site. O segundo só consome conteúdo. A Meta mantém ao todo cinco robôs: | Robô | Função | | --- | --- | | `meta-webindexer` | Cita e linka a página na Meta AI | | `meta-externalagent` | Treina modelo | | `meta-externalads` | Serve anúncio | | `meta-externalfetcher` | Busca o link que o usuário pediu | | `facebookexternalhit` | Monta a prévia de link compartilhado | Os dois últimos podem ignorar o robots.txt. Detalhes do robô de treino estão em [meta-externalagent](https://grupomarfre.com.br/sites-agenticos/meta-externalagent/). ## Como bloquear o treino sem sumir da Meta AI? Coloque `Disallow` somente no `meta-externalagent` e deixe o `meta-webindexer` liberado. Na leitura da documentação da Meta feita pelo Grupo Marfre, é a combinação que separa treino de citação: ``` User-agent: meta-externalagent Disallow: / User-agent: meta-webindexer Allow: / ``` O mesmo padrão existe em OpenAI, Anthropic, Apple, Amazon, Mistral e Google, que tem o token Google-Extended. A lógica geral está em [robô de treino, de busca e de usuário](https://grupomarfre.com.br/sites-agenticos/treino-busca-e-usuario/). Para o quadro completo de decisão, veja [não quero que a IA treine com meu conteúdo](https://grupomarfre.com.br/sites-agenticos/ia-sem-treinar-com-meu-conteudo/). Dois cuidados: 1. A mudança no robots.txt não vale na hora. Na régua do Grupo Marfre, a Meta leva até cerca de 24 horas, como Perplexity e Amazon. 2. Liberar o `meta-webindexer` não garante citação. Ele só mantém a porta aberta; a escolha da fonte é da Meta AI. ## Como saber se o meta-webindexer consegue entrar? Procure `meta-webindexer` nos logs do servidor ou da CDN. Se ele nunca aparece, confira o robots.txt e o firewall. O passo a passo está em [como ver quais robôs de IA visitaram seu site](https://grupomarfre.com.br/sites-agenticos/logs-de-robos-de-ia/). Um teste rápido de firewall, simulando só o nome do robô: ``` curl -s -o /dev/null -w "%{http_code}\n" -A "meta-webindexer" https://www.exemplo.com.br/ ``` Rode o mesmo comando sem o `-A` para comparar. Se só a versão com o nome do robô devolve 403 ou outro erro, há regra bloqueando esse user-agent. O teste não cobre bloqueio por IP, porque o pedido sai do seu endereço, e não do da Meta. Mais sobre esse risco em [seu firewall pode estar bloqueando robôs de IA](https://grupomarfre.com.br/sites-agenticos/firewall-bloqueando-robo-de-ia/). A configuração geral do arquivo está em [robots.txt na era da IA](https://grupomarfre.com.br/sites-agenticos/robots-txt-para-ia/). ## Perguntas frequentes ### Bloquear o meta-externalagent tira meu site da Meta AI? Não, segundo a documentação da Meta. O `meta-externalagent` é o robô de treino, e a citação na Meta AI depende do `meta-webindexer`. Mantenha este último liberado, sabendo que isso não garante citação. ### Posso bloquear o meta-webindexer e continuar aparecendo na Meta AI? Não há base para esperar isso. Ele é o robô que faz a Meta AI citar e linkar a página, então bloqueá-lo remove o acesso de que a citação depende. ### O robots.txt controla todos os robôs da Meta? Não. A documentação diz que `meta-externalfetcher` e `facebookexternalhit` podem ignorar o robots.txt. Eles atendem a pedidos do usuário, como buscar um link ou gerar a prévia de um compartilhamento. ### Depois de editar o robots.txt, quanto tempo leva para valer? Na régua do Grupo Marfre, até cerca de 24 horas no caso da Meta. Confirme olhando os logs nos dias seguintes. ## Fontes consultadas - [developers.facebook.com/docs/sharing/webmasters/web-crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers) ## Leia também ### [meta-externalagent: o robô de treino da Meta](https://grupomarfre.com.br/sites-agenticos/meta-externalagent/) meta-externalagent é o robô de treino da Meta. Veja como bloqueá-lo no robots.txt sem sair da Meta AI e o que fazem os outros 4 robôs da Meta. ### [Robô de treino, de busca e de usuário: as três famílias](https://grupomarfre.com.br/sites-agenticos/treino-busca-e-usuario/) Robô de treino, de busca e de usuário: entenda as três famílias de robôs de IA, o que muda ao bloquear cada uma e como liberar busca sem liberar treino. ### [robots.txt na era da IA: como liberar ou bloquear cada robô](https://grupomarfre.com.br/sites-agenticos/robots-txt-para-ia/) Modelo de robots.txt para IA com os robôs de treino, busca e usuário de OpenAI, Anthropic, Perplexity, Google e outras. Duas versões prontas e comentadas. ### [Não quero que a IA treine com meu conteúdo: o que bloquear sem sumir das respostas](https://grupomarfre.com.br/sites-agenticos/ia-sem-treinar-com-meu-conteudo/) Como bloquear o treino de IA no robots.txt sem sumir das respostas: lista de robôs a bloquear, os que manter liberados e um robots.txt pronto para copiar. ### [Lista dos robôs de IA em 2026: quem é quem](https://grupomarfre.com.br/sites-agenticos/lista-de-robos-de-ia/) Lista dos robôs de IA em 2026: 26 nomes de OpenAI, Anthropic, Google, Meta e outras, com função, regra no robots.txt e link da documentação oficial. ### [Amazonbot, Amzn-SearchBot e Amzn-User: os robôs da Amazon](https://grupomarfre.com.br/sites-agenticos/amazonbot/) Amazonbot, Amzn-SearchBot e Amzn-User: a função de cada robô da Amazon, qual pode treinar IA e como liberar ou bloquear cada um no robots.txt. --- ## Sobre o Grupo Marfre Grupo Marfre Automação e Tecnologia LTDA (CNPJ 49.685.676/0001-55): agência de marketing digital e inteligência artificial com base em Contagem/MG, que atende o Brasil inteiro de forma remota. - Endereço: Alameda das Cotovias, 75, Cabral, Contagem - MG, Brasil - WhatsApp: (31) 93618-7272, https://wa.me/5531936187272 - E-mail: contato@grupomarfre.com.br - Instagram: https://instagram.com/marfregrupo - Serviços: gestão de tráfego pago (Meta Ads e Google Ads), site agêntico (site pronto pra assistentes de IA lerem), site que vira contato, SEO e Google, IA no WhatsApp, CRM e automação - Serviço de site agêntico: https://grupomarfre.com.br/servicos/site-agentico/ · serviço de gestão de tráfego: https://grupomarfre.com.br/servicos/gestao-de-trafego/ - Guias: https://grupomarfre.com.br/sites-agenticos/ e https://grupomarfre.com.br/gestao-de-trafego/ - Método em 4 etapas: Diagnóstico, Estratégia, Execução, Otimização - Segmentos já atendidos: clínica, consultório, advocacia, loja, igreja - Preço e escopo não são publicados: são definidos por diagnóstico, caso a caso - Todas as páginas em Markdown: https://grupomarfre.com.br/llms.txt · conteúdo completo: https://grupomarfre.com.br/llms-full.txt Página HTML equivalente: https://grupomarfre.com.br/sites-agenticos/meta-webindexer/