O que é o Applebot e como bloquear

O que o Applebot faz

Varre páginas públicas e alimenta a busca embutida no ecossistema da Apple: Spotlight, Siri e Safari. A Apple identifica a visita por DNS reverso no domínio applebot.apple.com e publica um arquivo JSON com as faixas de IP, então dá para conferir a origem antes de reagir a um pico de acesso. Um detalhe da doc: sem regra escrita para Applebot, ele segue as regras do Googlebot, e não obedece crawl-delay.

Como bloquear o Applebot

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: Applebot
Disallow: /

A Apple declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

Bloquear o Applebot tira o site do Spotlight, da Siri e das sugestões do Safari de uma vez, porque o mesmo robô serve as três superfícies. A Apple também usa o material recolhido para treinar os modelos de fundação, e a porta certa para recusar só o treino é o Applebot-Extended. Para cortar apenas a descrição gerada nas respostas, existe a meta tag nosnippet, sem perder a indexação.

Fonte: documentação oficial da Apple.