O que é o Mediapartners-Google e como bloquear

O que o Mediapartners-Google faz

É o robô do AdSense. Ele visita as páginas do site participante para entender o conteúdo e escolher os anúncios que combinam com o assunto de cada uma. O Google publica duas strings, a de desktop com o nome cru e a de celular no formato Mediapartners-Google/2.1, e lista os endereços de saída no arquivo special-crawlers.json, útil para separar visita legítima de robô que se passa por ela.

Como bloquear o Mediapartners-Google

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: Mediapartners-Google
Disallow: /

A Google declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

Aqui bloquear custa dinheiro. A ajuda do AdSense é direta: com o robô barrado no robots.txt, o Google não consegue servir anúncio nas páginas do site. Enquanto o token não aparece nomeado, uma regra genérica não o afeta, porque ele também ignora a linha User-agent: *. Quem monetiza com AdSense mantém a porta aberta e bloqueia outros robôs de forma seletiva.

Fonte: documentação oficial da Google.