O que é o Claude-User e como bloquear

O que o Claude-User faz

Abre a página no instante em que alguém conversa com o Claude e a resposta depende do conteúdo dela. A Anthropic descreve o agente como o que dá suporte aos usuários do produto, e não como um varredor de site inteiro: cada acesso corresponde a uma pergunta feita naquele momento. A empresa lista os endereços de saída dos próprios robôs em claude.com/crawling/bots.json.

Como bloquear o Claude-User

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: Claude-User
Disallow: /

A Anthropic declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

Diferente do que acontece na maioria dos agentes disparados por usuário, a Anthropic declara que os robôs dela honram as diretivas do robots.txt, então a linha escrita ali vale. O preço de fechar é a resposta sem o texto da sua página quando o leitor pergunta ao Claude justamente sobre ela. O treino continua sendo assunto de outro token, o ClaudeBot, com regra própria.

Fonte: documentação oficial da Anthropic.