O que é o SemrushBot e como bloquear

O que o SemrushBot faz

Sai da Semrush para descobrir e recolher páginas novas e atualizadas, e o que ele traz vira o índice público de backlinks do Backlink Analytics. A doc separa o trabalho em vários agentes com token próprio, entre eles SiteAuditBot para auditoria técnica, SemrushBot-BA para o Backlink Audit e SemrushBot-OCOB para o Content Toolkit, cada um bloqueável em linha separada no robots.txt.

Como bloquear o SemrushBot

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: SemrushBot
Disallow: /

A Semrush declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

O bloqueio corta banda e fecha a porta para quem abre a Semrush só para mapear as suas páginas, sem custar visita, porque o robô não manda leitor. Duas armadilhas: a linha do SemrushBot não vale para os irmãos, cada token pede a sua, e bloquear a família inteira derruba o SiteAuditBot, que é o robô da auditoria que você mesmo roda. Bloqueio por IP não funciona, e a empresa avisa.

Fonte: documentação oficial da Semrush.