O que é o YandexBot e como bloquear

O que o YandexBot faz

Baixa páginas públicas para o índice principal da Busca Yandex. Como a empresa não divulga a lista de endereços, porque os robôs saem de uma rede própria com IPs que trocam com frequência, a conferência oficial é por DNS reverso: o nome do host precisa terminar em yandex.ru, yandex.net ou yandex.com, e a resolução direta desse nome tem que devolver o mesmo IP do log.

Como bloquear o YandexBot

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: YandexBot
Disallow: /

A Yandex declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

O retorno de busca para um site em português tende a ser pequeno, e o custo de banda existe: o YandexAccessibilityBot chega a três pedidos por segundo e ignora robots.txt. O detalhe que muda o alcance do bloqueio: User-agent: YandexBot pega apenas o indexador principal, e User-agent: Yandex pega a família inteira. O YaDirectFetcher, que confere páginas de anúncio, não lê o arquivo e só para no servidor.

Fonte: documentação oficial da Yandex.