O que é o Googlebot-News e como bloquear

O que o Googlebot-News faz

Cuida do que entra no Google Notícias, no site news.google.com e no aplicativo. Ele não tem cabeçalho próprio: a coleta acontece com as mesmas strings do Googlebot, e a separação existe apenas no robots.txt, onde o token Googlebot-News controla a parte de notícia. Quem tenta identificar a passagem pelo log não encontra marca distinta nenhuma.

Como bloquear o Googlebot-News

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: Googlebot-News
Disallow: /

A Google declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

A regra tira o site do Google Notícias e do aplicativo, e mantém as páginas na Busca comum, que roda pelo Googlebot. É a linha certa para quem publica conteúdo datado e prefere ficar fora do agregador. Como o robô também obedece ao token Googlebot, uma regra ampla derruba as duas frentes juntas, e o corte deixa de ser cirúrgico.

Fonte: documentação oficial da Google.