O que é o YouBot e como bloquear

O que o YouBot faz

Descobre e indexa páginas para o buscador do You.com, que devolve resultado em tempo real para os usuários do produto. A documentação não cita uso do conteúdo em treino de modelo e detalha como confirmar a identidade do robô: assinatura criptográfica pelo padrão Web Bot Auth da Cloudflare, DNS reverso no padrão youbot-68-67-112-106.search.you.com e a faixa única 68.67.112.0/24.

Como bloquear o YouBot

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: YouBot
Disallow: /

A You.com declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

Fechar a porta tira o site do índice do You.com e, com ele, das respostas do assistente que o buscador alimenta, sem efeito nenhum sobre Google ou Bing. Antes de barrar tudo, vale saber que o robô respeita Crawl-delay e reduz o ritmo sozinho no código 429, então excesso de acesso se resolve com limite em vez de porta fechada. O robots.txt fica em cache por trinta minutos.

Fonte: documentação oficial da You.com.