O que é o ImagesiftBot e como bloquear

O que o ImagesiftBot faz

Varre a web atrás de imagens públicas para alimentar os produtos de inteligência da Hive. Junto com cada imagem, guarda o endereço do site, o texto da página e o texto alternativo, analisa o conjunto e grava tudo num índice que permite buscar e recuperar imagens parecidas. A doc traz um detalhe operacional raro: o robô honra crawl-delay e trata o valor como intervalo mínimo em segundos entre o início de duas requisições.

Como bloquear o ImagesiftBot

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: ImagesiftBot
Disallow: /

A Hive declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

Fechar a porta tira as imagens do site do índice da Hive e não mexe na Busca do Google, que usa outro robô. O detalhe que quase nenhum tutorial cita: sem uma regra que nomeie o ImagesiftBot, ele passa a seguir as regras escritas para o Googlebot, então um robots.txt que bloqueia todo mundo e libera o Googlebot libera o ImagesiftBot junto. A Hive também aceita pedido de exclusão por email.

Fonte: documentação oficial da Hive.