O que é o Dotbot e como bloquear

O que o Dotbot faz

Recolhe dados da web para o Moz Link Index, o índice que abastece o Link Explorer, a Moz Links API e a seção Links das campanhas do Moz Pro. A doc separa ele do Rogerbot, robô que audita o seu site dentro do Moz Pro, e avisa que a maior parte do material recolhido só aparece para quem assina: o acesso gratuito mostra um recorte.

Como bloquear o Dotbot

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: dotbot
Disallow: /

A Moz declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

Bloquear o Dotbot poupa banda e tira as suas páginas do mapa de links que qualquer concorrente abre no Link Explorer, sem perder visita, porque ele não manda tráfego. O preço chega em dobro: a sua própria leitura de links no Moz fica mais pobre, e a receita copiada que fecha também o Rogerbot derruba o Site Crawl da sua campanha. O Dotbot ainda relê o robots.txt só na rodada seguinte, então a ordem demora a valer.

Fonte: documentação oficial da Moz.