O que é o Applebot-Extended e como bloquear

O que o Applebot-Extended faz

Não abre nenhuma página. Existe apenas como nome no robots.txt para o site declarar se o conteúdo já recolhido pelo Applebot pode virar material de treino dos modelos de fundação da Apple, os que sustentam o Apple Intelligence, os serviços e as ferramentas de desenvolvedor. A Apple diz na doc que permitir o Applebot-Extended ajuda a melhorar a qualidade dos modelos com o tempo.

Como bloquear o Applebot-Extended

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: Applebot-Extended
Disallow: /

A Apple declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

É o bloqueio mais barato da lista: recusar o Applebot-Extended corta o uso do conteúdo no treino e mantém o site na busca da Siri, do Spotlight e do Safari, porque quem indexa é o Applebot. A Apple escreve na doc que páginas que negam o Applebot-Extended continuam aparecendo nos resultados. Para tirar também do treino de terceiros, cada robô precisa de regra própria.

Fonte: documentação oficial da Apple.