O que é o MJ12bot e como bloquear

O que o MJ12bot faz

Mapeia as ligações entre sites e entrega o resultado ao índice público de backlinks da Majestic, consultável no Site Explorer. A doc afirma que o robô não guarda cópia do conteúdo nem dado pessoal, só o grafo de links, e explica a parte incomum: a Majestic-12 é um projeto comunitário e o rastreio roda distribuído em máquinas de voluntários, sem faixa fixa de IP.

Como bloquear o MJ12bot

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: MJ12bot
Disallow: /

A Majestic declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

Uma linha de Disallow para o MJ12bot encerra o rastreio e poupa banda, sem custar visita, e fecha o índice que o concorrente abre para copiar a sua estratégia de link, ao preço de deixar a sua própria leitura no Site Explorer mais pobre. Bloquear por IP não adianta, porque a rede é distribuída, e a doc avisa que o robô assume liberdade quando não consegue baixar o robots.txt.

Fonte: documentação oficial da Majestic.