O que é o Diffbot e como bloquear

O que o Diffbot faz

Percorre a web de forma proativa para montar um buscador geral, e o que ele recolhe abastece o Knowledge Graph da Diffbot e o serviço de busca por palavra-chave, com citação do site de origem. A documentação afirma que o material não entra em treino de modelo generativo e compara o robô ao Googlebot e ao Bing.

Como bloquear o Diffbot

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: Diffbot
Disallow: /

A Diffbot declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

Barrar o Diffbot tira o site do Knowledge Graph e da busca da empresa, sem tocar em treino de IA, que a documentação nega usar. O irmão Diffbot-User é outro token: ele abre uma página porque um cliente humano pediu naquele instante, então bloquear os dois fecha também a consulta pontual. A adesão ao robots.txt vale por padrão e só cai em acordo firmado com o site.

Fonte: documentação oficial da Diffbot.