O que é o Meta-WebIndexer e como bloquear

O que o Meta-WebIndexer faz

Navega a web para melhorar a qualidade dos resultados de busca da Meta AI, analisando o conteúdo das páginas para deixar a resposta mais relevante e mais precisa. A doc pede liberação no robots.txt com um argumento explícito: permitir o meta-webindexer ajuda a Meta a citar e linkar a página nas respostas da Meta AI. Ele é separado do coletor de treino e do buscador de link individual.

Como bloquear o Meta-WebIndexer

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: meta-webindexer
Disallow: /

A Meta declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

Bloquear o meta-webindexer tira a página do índice que alimenta a busca da Meta AI, ou seja, some a chance de aparecer citado ali, e o treino continua liberado enquanto o meta-externalagent estiver aberto. Quem quer sair do treino sem perder a citação faz o contrário: nega o meta-externalagent e mantém o meta-webindexer.

Fonte: documentação oficial da Meta.