O que é o Storebot-Google e como bloquear

O que o Storebot-Google faz

Percorre páginas de produto e de checkout para abastecer as superfícies do Google Shopping, entre elas a aba Shopping dentro da Busca. O nome do agente aparece dentro dos parênteses da string, junto do sistema, e não no fim como acontece no Googlebot, detalhe que engana quem filtra o log pelo final do cabeçalho. Existem versões para desktop e para celular.

Como bloquear o Storebot-Google

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: Storebot-Google
Disallow: /

A Google declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

Fechar a porta tira a loja das superfícies do Google Shopping e não mexe no posicionamento das páginas na Busca comum, que roda por outro robô. Para loja, o preço costuma ser alto demais. O token é independente: quem escreveu Disallow apenas para Googlebot continua recebendo a visita do Storebot-Google, porque ele não herda a regra do robô principal.

Fonte: documentação oficial da Google.