O que é o Google-CloudVertexBot e como bloquear

O que o Google-CloudVertexBot faz

Só entra em ação quando o dono do site pede: ele baixa páginas para montar a base que um agente de Vertex AI vai consultar ao responder. O Google não publica string completa de HTTP para ele, apenas o trecho Google-CloudVertexBot dentro do cabeçalho, e diz com todas as letras que a passagem dele não afeta a Busca nem qualquer outro produto.

Como bloquear o Google-CloudVertexBot

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: Google-CloudVertexBot
Disallow: /

A Google declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

Bloquear custa quase nada para quem não usa Vertex AI, porque o robô só aparece a convite. O detalhe que inverte a decisão: se o site é a fonte de um agente próprio, a linha de Disallow derruba a base do agente montado pela própria casa. O token Googlebot também vale para ele, então uma regra ampla demais fecha as duas portas de uma vez.

Fonte: documentação oficial da Google.