O que é o Baiduspider e como bloquear

O que o Baiduspider faz

Visita páginas de desktop e de celular para montar o índice da Busca Baidu. A documentação separa a família por produto, com Baiduspider-image para imagens, Baiduspider-video para vídeo, Baiduspider-news para notícias e Baiduspider-ads para clientes comerciais, e ensina a confirmar a origem por DNS reverso: o nome do host precisa terminar em baidu.com ou baidu.jp, qualquer outro é falso.

Como bloquear o Baiduspider

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: Baiduspider
Disallow: /

A Baidu declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

Bloquear tira o site da Busca Baidu e de qualquer resultado servido pela Baidu, o que pesa pouco para leitor brasileiro e alivia banda. Duas armadilhas na própria documentação: Baiduspider-cpro e Baiduspider-ads trabalham por acordo comercial e não seguem robots.txt, e o índice já formado leva meses para sair da base, então o bloqueio de hoje não limpa o resultado de amanhã.

Fonte: documentação oficial da Baidu.