O que é o Meta-ExternalAgent e como bloquear

O que o Meta-ExternalAgent faz

Percorre a web recolhendo conteúdo para casos como o treino dos modelos de fundação da Meta e a indexação direta de páginas dentro dos produtos da empresa. A Meta separa a função em robôs distintos e pede que o bloqueio seja escrito no robots.txt com o nome exato do agente, então uma regra genérica para facebookexternalhit não alcança o coletor de treino.

Como bloquear o Meta-ExternalAgent

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: meta-externalagent
Disallow: /

A Meta declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

Negar o meta-externalagent tira o site do material de treino da Meta e não mexe na prévia do link compartilhado no Facebook, no Instagram e no Messenger, trabalho do facebookexternalhit. A doc avisa que a mudança no robots.txt pode levar até 24 horas para valer, porque os robôs guardam o arquivo em cache. O meta-externalfetcher fica de fora e precisa de linha própria.

Fonte: documentação oficial da Meta.