O que é o Meta-ExternalFetcher e como bloquear

O que o Meta-ExternalFetcher faz

Abre um link de cada vez, no momento em que alguém pede dentro de um produto da Meta, e serve também para avaliar e melhorar as capacidades agênticas da IA da empresa. A própria doc avisa que ele pode passar por cima do robots.txt justamente porque a busca nasce do pedido de um usuário, comportamento diferente do meta-externalagent, que respeita o arquivo.

Como bloquear o Meta-ExternalFetcher

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: meta-externalfetcher
Disallow: /

A Meta avisa que este agente pode ignorar o robots.txt, então o bloqueio confiável fica no servidor, por user-agent ou por endereço. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

A linha no robots.txt vale como declaração, mas a Meta reserva o direito de ignorá-la para atender o pedido do usuário, então a barreira efetiva mora no servidor: regra de firewall ou bloqueio por user agent na borda. Fechar a porta corta a chance de a resposta da IA da Meta citar a página com link, e não altera a prévia do link compartilhado.

Fonte: documentação oficial da Meta.