O que é o AhrefsBot e como bloquear

O que o AhrefsBot faz

Percorre páginas públicas e registra quem aponta link para quem, alimentando o índice de backlinks do Ahrefs e o do Yep, buscador próprio da empresa. A Ahrefs publica as faixas de IP de onde os robôs saem e garante que o DNS reverso termina em ahrefs.com ou ahrefs.net, o que permite separar a visita legítima de quem só copia o nome do agente no cabeçalho.

Como bloquear o AhrefsBot

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: AhrefsBot
Disallow: /

A Ahrefs declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

Fechar a porta economiza banda e tira do concorrente uma fonte pronta para estudar as suas páginas, sem custar visita nenhuma, já que o robô não manda leitor. A doc nomeia dois preços: o site sai do índice do Yep, e quem verifica o domínio perde a análise gratuita das próprias páginas. O Site Audit roda no token AhrefsSiteAudit, então bloquear a família inteira cega a sua auditoria.

Fonte: documentação oficial da Ahrefs.