Claude: a IA da Anthropic e os três robôs que ela manda ao seu site

Quem procura por Claude quase sempre quer usar o modelo. Quem tem site precisa da outra metade da história: a Anthropic manda três robôs diferentes à web, cada um com uma tarefa, e a linha que você escreve no robots.txt decide qual deles entra.

A confusão custa caro em silêncio. Bloquear os três de uma vez é a receita que circula em tutorial, e ela fecha junto a única porta que ainda traz leitor.

Os três agentes, e o que cada um decide

A Anthropic documenta os robôs dela numa página de suporte própria, com token, propósito e faixa de endereços de saída. São três nomes, e eles não se substituem.

O ClaudeBot percorre páginas públicas e recolhe conteúdo para o treino dos modelos. É o robô de arquivo: o que ele lê hoje pode virar capacidade do modelo amanhã, sem link, sem visita e sem crédito na resposta.

O Claude-SearchBot alimenta a busca que existe dentro do produto. É ele quem decide se a sua página pode virar fonte citada, com link clicável, quando alguém pergunta algo ao Claude.

O Claude-User abre um endereço específico porque uma pessoa pediu. Não é varredura: é uma visita por pedido, do mesmo jeito que um leitor colaria a URL no navegador.

Três papéis, três decisões separadas. Tratar os três como uma coisa só é o erro que este artigo existe para desfazer.

Rastreio, recorte e resposta: três momentos, três consequências

A mesma página pode ser lida três vezes pela mesma empresa, em momentos diferentes, e cada leitura produz um efeito distinto no seu site.

O primeiro momento é o rastreio de arquivo. Um robô percorre a web sem pergunta nenhuma na mão, guarda o conteúdo e o material entra na formação do modelo. Não há visita de leitor, não há link e não há relatório: o efeito é de longo prazo e invisível no seu analytics.

O segundo é o recorte de busca. Um robô mantém um índice próprio para responder às perguntas feitas dentro do produto. Quando a resposta cita a sua página, o nome do site aparece com link clicável, e quem clica vira visita medida como qualquer outra.

O terceiro é a leitura ao vivo. Alguém pergunta algo específico, o agente abre a URL naquele instante e usa o conteúdo daquela página para montar a resposta. É uma requisição por pedido, e ela costuma ignorar o cache do índice porque o objetivo é o texto atual.

Quem confunde os três acaba tomando a decisão errada pelo motivo certo. Recusar arquivo é uma posição defensável sobre propriedade do conteúdo; recusar recorte e leitura ao vivo é abrir mão de distribuição, que é assunto de audiência, não de propriedade.

O que aparece no seu log quando o Claude passa

O robô se identifica no cabeçalho de user agent de cada requisição, e o token é o mesmo que vai no robots.txt. Procurar por ClaudeBot no log do servidor devolve as visitas de treino; procurar por Claude-SearchBot devolve as de busca.

A Anthropic publica a lista de endereços de onde os robôs dela saem. A lista é o que permite responder à pergunta seguinte, que é a única que interessa quando o acesso cresce: a visita veio mesmo da empresa ou alguém colou o nome dela no cabeçalho.

Cabeçalho de user agent é texto livre. Qualquer script escreve ClaudeBot na requisição, e o log vai registrar ClaudeBot. A conferência séria compara o endereço de origem com a faixa publicada pelo dono do robô, e trata o resto como visita anônima.

Vale a mesma disciplina para qualquer robô de IA: nome no cabeçalho é declaração, endereço de origem é evidência. A página do ClaudeBot no acervo de robôs deste site guarda o token, a doc oficial lida e a data da conferência, e o mesmo vale para o Claude-SearchBot e o Claude-User.

Bloquear um sem bloquear os três

O robots.txt trabalha por bloco de user agent, e cada bloco vale para um token. A escolha de que porta fechar cabe em três combinações comuns.

• Sair do treino e continuar citável: fecha o ClaudeBot, deixa o Claude-SearchBot e o Claude-User abertos.
• Sair de tudo que é automático e continuar atendendo quem pede: fecha os dois primeiros, deixa o Claude-User.
• Fechar a casa inteira: fecha os três, e some também a chance de aparecer como fonte com link.

A regra do protocolo é literal. O robô procura o bloco com o token dele; se não achar, cai no bloco curinga. Um site que escreveu uma regra genérica de negação para todos os agentes já bloqueou os três sem perceber, e é o cenário mais comum em site feito com tema pronto.

O que se perde de cada lado

Fechar o treino não muda uma linha da sua posição na Busca do Google, porque a Busca usa outro robô, de outra empresa. O custo é diferente: seu conteúdo deixa de ir para o material que forma o modelo, e a decisão é legítima para quem vive de licenciar arquivo.

Fechar a busca do produto tem custo imediato e mensurável. Some a chance de aparecer citado com link dentro da resposta, e a citação com link é a visita que sobra quando o leitor pergunta ao modelo em vez de abrir o buscador.

O Pew Research Center mediu o tamanho da troca no lado do Google. Em 68.879 buscas feitas por 900 adultos nos Estados Unidos em março de 2025, o clique em resultado tradicional aconteceu em 8% das visitas quando havia um resumo de IA na tela, contra 15% das visitas sem resumo. O estudo saiu em 22 de julho de 2025.

O número não fala do Claude, fala do comportamento. Quando a resposta chega pronta, o clique vira exceção, e a citação com link passa a valer mais do que valia.

O que a página precisa ter para virar fonte citada

Não existe marcação mágica que force citação. Existe página que o robô consegue ler, e página que ele não consegue.

Servir o conteúdo no HTML é o primeiro item, e o mais ignorado. Texto que só aparece depois que o navegador roda o script chega vazio para boa parte dos robôs, e página vazia não vira fonte de nada.

Responder à pergunta perto do topo é o segundo. O modelo recorta trecho, não lê o texto inteiro para achar o que importa, e um bloco que responde direto é mais fácil de recortar do que uma introdução de cinco parágrafos.

Carimbar data e autor é o terceiro. A data de publicação e a de atualização são o que separa material atual de material velho quando duas páginas dizem coisas diferentes sobre o mesmo assunto.

Ser específico é o quarto, e é o que a máquina não inventa. Número com fonte, procedimento com passo e definição com termo exato são o material que sobrevive ao recorte; adjetivo não.

Um teste de dez minutos no seu servidor

O diagnóstico não exige ferramenta paga. Ele exige acesso ao log e um pouco de paciência com texto.

Primeiro, filtre o log de acesso pelo token de cada robô e conte as requisições dos últimos trinta dias. A contagem por token responde quem entra, com que frequência e em que páginas.

Segundo, olhe o código de resposta que o seu servidor devolveu a cada uma dessas visitas. Robô que recebe 403 ou 429 em série está sendo barrado por alguma camada de proteção, e o bloqueio costuma ser efeito colateral de regra antifraude, não decisão editorial.

Terceiro, baixe a sua própria página sem executar script e procure no texto baixado uma frase que você sabe que existe no meio do artigo. Se a frase não aparecer, o conteúdo depende do navegador para existir, e o robô lê uma casca vazia.

Quarto, abra o robots.txt de cada host que você serve. A regra vale por host, protocolo e porta, então um domínio com versão em subdomínio precisa de arquivo próprio, e o arquivo do apex não governa o subdomínio.

Quinto, anote o resultado numa planilha simples com data. A comparação de um mês para o outro é o que transforma leitura de log em diagnóstico; uma foto isolada não diz se o acesso está subindo ou sumindo.

O erro comum, e o que fazer no lugar

O erro comum é copiar do fórum um bloco de robots.txt que nega todos os agentes de IA de uma vez, achando que a decisão é sobre pirataria de conteúdo.

Metade da decisão é sobre treino, e é uma escolha de negócio legítima. A outra metade é sobre distribuição, e fechar a distribuição por engano é o mesmo movimento de tirar o site do índice da busca em 2010.

No lugar, a sequência que funciona tem quatro passos. Primeiro, listar os tokens de cada empresa a partir da doc oficial dela, e não de post de terceiro. Segundo, decidir treino e busca em separado, empresa por empresa. Terceiro, escrever um bloco por token, sem apoiar a decisão inteira no curinga. Quarto, conferir no log, uma semana depois, quem passou a bater e quem sumiu.

Onde o Claude aparece no seu relatório

Em lugar nenhum, e a ausência precisa ser dita.

O Search Console mede a Busca do Google. O painel do Bing mede o índice da Microsoft. Nenhum dos dois enxerga uma resposta montada dentro do Claude, e nenhuma empresa de IA publica hoje um painel público de citação por site.

O que dá para medir mora no seu próprio servidor: quantas requisições cada token de robô fez, em que páginas, com que código de resposta. É medida bruta, e é a única que ninguém tira de você.

Do lado da visita humana, o rastro chega pelo cabeçalho de origem do navegador. Referência vinda de domínio de produto de IA aparece no seu analytics como qualquer outra origem, e vale separar em relatório próprio antes que o volume cresça.

Perguntas frequentes

Bloquear o ClaudeBot tira meu site do Google?

Não. Cada empresa opera o próprio robô, e a Busca do Google usa o Googlebot. Um bloco de robots.txt endereçado ao ClaudeBot vale só para o robô da Anthropic. O que muda é a participação do seu conteúdo no treino dos modelos Claude.

Qual é o token certo para escrever no robots.txt?

O token é o nome do agente publicado pelo dono na doc oficial: ClaudeBot, Claude-SearchBot e Claude-User. Nome copiado de lista de terceiro envelhece: em julho de 2026 o Google trocou o nome de um dos robôs dele, e todo robots.txt escrito antes passou a apontar para um token que sai de circulação.

Como sei se a visita veio mesmo da Anthropic?

Comparando o endereço de origem da requisição com a faixa de endereços que a empresa publica. O cabeçalho de user agent é texto que qualquer um escreve, então ele sozinho não prova nada. A checagem por endereço é o que separa robô declarado de script disfarçado.

Bloquear no robots.txt garante que o conteúdo não será usado?

O robots.txt é uma instrução que o robô educado obedece, não uma tranca. A Anthropic declara que os robôs dela seguem o arquivo, e o protocolo virou padrão da IETF em setembro de 2022. Contra quem decide ignorar, o caminho é técnico: bloqueio por endereço, autenticação ou serviço de borda.

Vale mais a pena liberar o treino ou fechar?

Depende de onde está a sua receita. Site que vive de visita perde pouco liberando o treino e perde muito fechando a busca do produto. Casa que licencia arquivo tem o cálculo invertido, e a Cloudflare abriu em 1º de julho de 2025 um beta de cobrança por rastreio que trata a visita do robô como transação, com resposta HTTP 402 no caminho.

Preciso de página nova para aparecer nas respostas de IA?

Não. Precisa de página legível: conteúdo no HTML, resposta perto do topo, data e autor visíveis, dado específico com fonte. A mesma página que serve o leitor humano serve o modelo, e nenhuma das empresas publica requisito extra para citação.