O que é o AdsBot-Google e como bloquear

O que o AdsBot-Google faz

Abre a página de destino de um anúncio do Google Ads na versão desktop para conferir a qualidade dela. A documentação do Google resume o efeito da diretiva de robots.txt endereçada a ele em uma linha: o que o site declara ali afeta a capacidade do Google Ads de checar a qualidade da página anunciada. Os endereços de saída ficam publicados no arquivo special-crawlers.json.

Como bloquear o AdsBot-Google

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: AdsBot-Google
Disallow: /

A Google declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

Bloquear o AdsBot-Google não tira o site da Busca, que roda no Googlebot, e atinge só a checagem das páginas anunciadas no Google Ads. O detalhe que derruba a maioria dos tutoriais: ele ignora a linha User-agent: *, então uma regra genérica de robots.txt passa longe dele. Para barrar de fato, o token precisa aparecer nomeado, e o irmão de celular, AdsBot-Google-Mobile, pede a própria linha.

Fonte: documentação oficial da Google.