O que é o Googlebot e como bloquear

O que o Googlebot faz

Monta o índice da Busca do Google e alimenta Discover, Imagens, Vídeo e Notícias. A visita quase sempre chega pela versão smartphone do agente, que é a usada na indexação mobile-first; a versão desktop aparece com menos frequência. O Google publica a lista de endereços de saída em googlebot.json, o que permite separar a visita legítima de quem apenas copia a string no cabeçalho.

Como bloquear o Googlebot

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: Googlebot
Disallow: /

A Google declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

Bloquear o Googlebot tira o site da Busca inteira, e o efeito não para em google.com: Discover, Imagens, Vídeo e Notícias dependem do mesmo robô. É a linha mais cara do robots.txt e quase nunca é a que se quer. Quem procura ficar fora do treino de modelo tem token separado, o Google-Extended, que não mexe em posicionamento nem em inclusão.

Fonte: documentação oficial da Google.