O que é o GoogleOther e como bloquear

O que o GoogleOther faz

É o robô genérico do Google: times internos de produto usam ele para baixar conteúdo público em pesquisa e desenvolvimento, fora do circuito da Busca. A documentação afirma que ele não afeta nenhum produto específico, o que também significa que o destino do material fica em aberto. Existem duas variações irmãs para arquivo pesado, GoogleOther-Image e GoogleOther-Video.

Como bloquear o GoogleOther

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: GoogleOther
Disallow: /

A Google declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

Fechar a porta para o GoogleOther não custa posicionamento: quem indexa é o Googlebot, e o Google afirma que o agente genérico não afeta produto nenhum. A troca é aceitar sair de coletas que a empresa não detalha. Uma linha resolve as três portas, porque GoogleOther-Image e GoogleOther-Video também obedecem ao token GoogleOther, sem precisar de regra separada.

Fonte: documentação oficial da Google.