O que é o Omgilibot e como bloquear

O que o Omgilibot faz

Rastreia sites de notícia, blogs, avaliações, lojas e fóruns, indexa o que encontra e entrega o resultado pela API da Webz.io, usada por monitores de mídia, institutos de pesquisa e empresas. A própria Webz.io cita Hootsuite, Sprinklr e NetBase como serviços que vivem do rastreio dela em vez de manter crawler próprio. Um detalhe que confunde: a empresa chama o robô de Omgilibot, mas a string servida é omgili/0.5.

Como bloquear o Omgilibot

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: omgili
Disallow: /

A Webz.io declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

Bloquear corta o site da API da Webz.io, então os serviços de monitoramento que dependem do rastreio param de encontrar e de linkar suas páginas, que é o retorno prometido pela empresa. Não muda nada na Busca do Google, que usa outro robô. A pegadinha está no nome: a regra precisa cobrir o token servido, omgili, e não só o apelido Omgilibot. A Webz.io afirma cumprir o pedido sempre.

Fonte: documentação oficial da Webz.io.