O que é o FeedFetcher-Google e como bloquear

O que o FeedFetcher-Google faz

Busca feeds RSS e Atom a pedido de um produto do Google, para o Google Notícias e para o protocolo WebSub, que avisa assinantes quando um endereço publica algo novo. A string é curta e traz o endereço feedfetcher.html entre parênteses. O Google lista os blocos de rede dos buscadores acionados por usuário nos arquivos user-triggered-fetchers.json e user-triggered-fetchers-google.json.

Como bloquear o FeedFetcher-Google

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: FeedFetcher-Google
Disallow: /

A Google avisa que este agente pode ignorar o robots.txt, então o bloqueio confiável fica no servidor, por user-agent ou por endereço. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

A linha no robots.txt não segura ele. O Google classifica o Feedfetcher como buscador acionado por usuário, e esses ignoram as regras do arquivo, porque quem pediu a leitura foi uma pessoa que assinou o feed. Barrar de fato exige bloqueio no servidor, e o preço é alto para quem publica: sem a leitura do feed, o conteúdo deixa de chegar ao Google Notícias e aos assinantes por WebSub.

Fonte: documentação oficial da Google.