O que é o Yeti e como bloquear

O que o Yeti faz

Recolhe documentos da web para a busca do Naver, portal de busca da Coreia do Sul. A empresa publica duas linhas de User-agent, uma no formato de navegador e outra curta, e avisa que a versão pode mudar sem aviso. A conferência de origem é por DNS reverso terminando em naver.com, no padrão crawl.125-209-235-169.web.naver.com, e por lista de faixas de IP em JSON.

Como bloquear o Yeti

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: Yeti
Disallow: /

A Naver declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

Fora da Coreia do Sul o Yeti traz pouco leitor, então bloquear pesa mais no lado do ganho de banda. Dois pontos que a documentação do Naver deixa claros e quase ninguém repete: robôs de finalidade especial, como o Ads-Naver de anúncio e o Blueno de prévia de link, podem não seguir as regras do arquivo, e um robots.txt que responde erro 5xx é lido como bloqueio total.

Fonte: documentação oficial da Naver.