O que é o Google-Safety e como bloquear

O que o Google-Safety faz

Cuida da parte de segurança: varre links postados publicamente em produtos do Google atrás de abuso, com foco em descobrir malware. Não monta índice de busca, não treina modelo e não confere anúncio. Se apresenta com a string curta Google-Safety, sem versão nem endereço de documentação, e sai dos mesmos blocos de rede listados no arquivo special-crawlers.json.

Como bloquear o Google-Safety

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: Google-Safety
Disallow: /

A Google avisa que este agente pode ignorar o robots.txt, então o bloqueio confiável fica no servidor, por user-agent ou por endereço. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

Não dá para bloquear pelo robots.txt. A documentação do Google diz a frase inteira em uma linha: o agente Google-Safety ignora as regras do robots.txt. Escrever a diretiva não produz efeito nenhum, e quem quiser mesmo barrá-lo precisa agir no servidor, por firewall ou regra de user-agent. Vale lembrar o que ele faz antes de tentar: recusar a varredura de malware não melhora a reputação de nenhum site.

Fonte: documentação oficial da Google.