O que é o DuckDuckBot e como bloquear

O que o DuckDuckBot faz

Percorre páginas públicas para alimentar o índice próprio do DuckDuckGo. A empresa descreve a função dele como melhorar continuamente os resultados de busca, publica a lista completa de endereços de origem em JSON no endereço duckduckgo.com/duckduckbot.json, com mais de trezentos IPs hospedados na Azure, e afirma que o robô obedece às regras do padrão WWW::RobotRules antes de abrir qualquer página.

Como bloquear o DuckDuckBot

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: DuckDuckBot
Disallow: /

A DuckDuckGo declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

O ganho de bloquear é banda: a lista oficial passa de trezentos endereços em atividade. A perda é menor do que parece, porque os links tradicionais do DuckDuckGo vêm em boa parte do Bing, e fechar a porta apenas para o DuckDuckBot não retira o site da lista de resultados. Quem monta a resposta com IA é o DuckAssistBot, outro agente, que precisa de linha própria no robots.txt e leva 72 horas para obedecer.

Fonte: documentação oficial da DuckDuckGo.