User agent: como saber quem visitou seu site olhando o log

User agent é o cabeçalho que cada requisição HTTP carrega para dizer quem está pedindo a página. É a primeira coisa que aparece no log e a que mais gente lê errado.

O cabeçalho é uma declaração, não uma identidade. Ele responde quem o visitante diz ser, e a diferença entre dizer e ser é o assunto inteiro deste texto.

A anatomia de uma string

Uma string de user agent é uma sequência de blocos separados por espaço e parênteses, com produto, versão e comentários.

Nela costumam aparecer quatro informações: o nome do produto que faz a requisição, a versão, a plataforma onde ele roda e um endereço para quem quiser saber mais.

O robô educado inclui um endereço de documentação dentro da própria string, o que permite ao administrador do site descobrir de quem é a visita sem pesquisar em fórum.

Navegador comum informa sistema operacional e motor de renderização. Robô costuma informar apenas o nome dele e a versão, e a simplicidade da string já é um sinal de que a requisição não veio de uma pessoa.

Por que quase toda string começa com Mozilla

A curiosidade tem explicação histórica e continua produzindo confusão em análise de log.

Nos anos 1990, servidores decidiam que versão de página entregar olhando o nome do navegador. Quem não fosse reconhecido recebia a versão pobre da página. Os navegadores novos passaram a se declarar compatíveis com o navegador dominante da época para receber a versão boa, e o prefixo herdado atravessou trinta anos.

O resultado é que a maior parte das strings de navegador moderno começa com o mesmo prefixo antigo, seguido de blocos que identificam o motor de renderização e o produto real.

Para quem lê log, a lição prática é não confiar no prefixo. O que identifica o cliente está no fim da string, não no começo, e o começo é herança de compatibilidade.

Os tokens que interessam a quem publica

Robô de busca e de IA se identifica por um token curto, e o token é também o valor que vai no robots.txt.

Os tokens de robô de treino, de busca e de leitura por pedido são diferentes dentro da mesma empresa. A doc da OpenAI, por exemplo, lista quatro agentes com versão embutida no nome, entre eles o de busca e o de treino, e diz explicitamente quais respeitam o robots.txt.

A Anthropic mantém três agentes, um para treino, um para a busca do produto e um para o pedido do usuário. A Perplexity documenta dois. O Google mantém uma lista longa, dividida entre rastreadores comuns, casos especiais e buscadores acionados pelo usuário.

Guardar essa lista atualizada é trabalho de manutenção, porque token muda. Em julho de 2026 o Google renomeou um dos buscadores dele, com o nome antigo suportado apenas até agosto do mesmo ano. Um robots.txt escrito antes da troca governa um nome que sai de circulação.

A biblioteca de robôs deste site guarda, para 53 agentes, o token, o dono, a finalidade declarada, a doc oficial lida e a data da conferência.

A string do navegador está encolhendo

Uma mudança silenciosa dos últimos anos altera a leitura de log de gente, não de robô.

Os navegadores baseados no motor dominante reduziram o detalhe informado na string. Versão secundária congelada, detalhe de sistema operacional aparado, modelo de aparelho simplificado. A motivação declarada foi limitar a impressão digital que a string permitia montar sobre cada visitante.

O dado que sobrou passou a ser oferecido por outro caminho, um conjunto de cabeçalhos que o site precisa pedir explicitamente, entregando só o que foi pedido.

Para quem publica, a consequência é modesta e concreta: relatório antigo que segmentava visita por versão exata de sistema perdeu precisão, e conclusão tirada dele merece desconfiança. Para robô, nada muda, porque o token continua declarado por inteiro.

Outros cabeçalhos que contam a história

O user agent é o mais famoso e não é o mais informativo. Três companheiros dele valem leitura.

O cabeçalho de origem indica de onde a pessoa veio, e é o que faz uma visita aparecer como referência no seu relatório. Produto de IA que devolve clique aparece por ali.

O cabeçalho de idioma aceito informa a preferência do visitante, o que ajuda a separar público brasileiro de tráfego automatizado com preferência genérica.

O cabeçalho de tipos aceitos revela o que o cliente espera receber. Requisição que aceita qualquer coisa, sem preferência declarada, tem cara de programa, não de navegador.

Nenhum deles é prova isolada. Juntos, eles montam um perfil que ajuda a decidir o que investigar primeiro no log.

Declaração não é prova

Cabeçalho HTTP é texto livre. Qualquer programa escreve qualquer coisa ali, e o servidor registra o que recebeu.

A consequência é dura para quem toma decisão olhando só o log: uma linha dizendo que a visita veio de um robô conhecido pode ter vindo de um script qualquer, e uma linha dizendo que veio de um navegador comum pode ter vindo de um robô que preferiu não se declarar.

O assunto virou disputa pública em agosto de 2025, quando a Cloudflare afirmou que uma empresa de motor de resposta usava agentes não declarados, com string de navegador comum, para acessar sites que haviam bloqueado os robôs oficiais dela, e a retirou da lista de robôs verificados. A empresa negou e atribuiu parte do tráfego apontado a um serviço de navegação de terceiros.

Independente de quem tenha razão no caso específico, o método de verificação é o mesmo de sempre e não depende de acreditar em ninguém.

Como verificar de verdade

Existem dois métodos aceitos, e ambos olham para o endereço de origem, não para o nome declarado.

O primeiro é a lista publicada. Várias empresas publicam as faixas de endereços de onde os robôs delas saem, em arquivo próprio e atualizado. Conferir a origem contra a lista responde a pergunta de forma binária.

O segundo é a checagem reversa de nome. Você consulta o nome associado ao endereço de origem, confere se ele pertence ao domínio da empresa e depois resolve esse nome de volta para conferir se ele aponta para o mesmo endereço. As duas voltas precisam fechar; uma só não basta.

O que não funciona é bloquear por texto do cabeçalho. Filtro por nome barra o robô honesto, que se declara, e deixa passar o desonesto, que se disfarça de navegador.

Para uso do dia a dia, vale uma regra simples: nome no cabeçalho serve para agrupar e contar; endereço de origem serve para decidir bloqueio.

A checagem pesa em servidor movimentado, então ela não precisa rodar em toda requisição. Roda por amostragem, ou só quando um token aparece com volume fora do normal, que é justamente quando a resposta importa.

O que ler no seu log, em ordem

Um diagnóstico de log rende mais quando segue uma ordem fixa.

Primeiro, contagem por token nos últimos trinta dias. Responde quem está passando e com que intensidade.

Segundo, código de resposta por token. Sequência de 403 ou 429 indica bloqueio de firewall, serviço de proteção ou limite de taxa, e costuma ser efeito colateral que ninguém decidiu.

Terceiro, páginas mais pedidas por robô. Rastreio concentrado em páginas de filtro e de busca interna mostra desperdício de visita em endereço que não deveria ser rastreado.

Quarto, horário de concentração. Serve para decidir se vale limitar ritmo, e em qual faixa.

Quinto, comparação com o período anterior. Uma leitura isolada não diz se o acesso está crescendo ou sumindo, e a série é o que transforma log em informação.

Separar gente de robô na sua medição

Analytics de navegador e log de servidor medem coisas diferentes, e a diferença explica relatórios que não batem.

A ferramenta que depende de script no navegador registra quase só visita humana, porque a maior parte dos robôs não executa script. O log registra tudo, humano e robô, incluindo requisição de imagem, de folha de estilo e de arquivo de sistema.

Comparar os dois números sem ajuste produz susto desnecessário. Um site com trinta mil requisições diárias no log pode ter mil visitas humanas, e nenhum dos dois números está errado.

O ajuste correto tem três passos. Contar apenas requisição de página no log, descartando arquivo de mídia e de sistema. Separar as linhas com token de robô conhecido em um grupo próprio. E deixar o restante como visita não identificada, que é o grupo onde mora tanto gente com bloqueador quanto robô disfarçado.

Feito uma vez, o cálculo vira rotina de dez minutos por mês e responde uma pergunta que o painel de terceiro nunca responde: quanto do seu servidor está trabalhando para máquina.

Bloquear, limitar ou deixar passar

A decisão muda por grupo de robô, e três perguntas resolvem a maior parte dos casos.

O robô traz visita ou citação. Buscador e motor de resposta com link trazem, e a porta fica aberta salvo motivo forte.

O robô custa recurso relevante. Ferramenta de análise de mercado e coletor de dado comercial costumam consumir bastante e devolver nada, e limite de taxa é a resposta proporcional.

O robô se identifica com honestidade. Quem se disfarça não negocia por arquivo de texto, e o caminho passa a ser bloqueio por endereço, autenticação ou serviço de borda.

A quarta pergunta é de política de conteúdo, e vale à parte: o robô é de treino de modelo. Aqui a decisão é do dono do site e não afeta posição em buscador, porque o robô de busca é outro.

Perguntas frequentes

Posso bloquear um robô só pelo user agent?

Pode, no robots.txt, e funciona para quem respeita o protocolo. Como instrumento de segurança, não serve: o cabeçalho é texto livre e qualquer script se declara como quiser. Bloqueio efetivo depende de endereço de origem, autenticação ou serviço de borda.

Como sei se a visita veio mesmo do robô que ela diz ser?

Comparando o endereço de origem com a lista de faixas publicada pela empresa, ou fazendo a checagem reversa de nome, que resolve o endereço para um nome e o nome de volta para o endereço. As duas voltas precisam fechar no domínio da empresa.

Por que a string do meu navegador diz Mozilla se eu uso outro?

Por herança dos anos 1990, quando servidores entregavam versão pior da página para quem não fosse reconhecido. Os navegadores passaram a se declarar compatíveis com o dominante da época, e o prefixo ficou. O identificador real do produto aparece no fim da string.

Robô de IA sempre se identifica?

Os robôs documentados pelas empresas grandes se identificam com token próprio. Nem todo acesso automatizado faz o mesmo, e existe registro público de disputa sobre agentes não declarados, como a acusação da Cloudflare em agosto de 2025 e a negativa da empresa acusada.

Onde encontro a lista de tokens atualizada?

Na doc oficial de cada empresa, que é a única fonte que envelhece junto com o produto. Lista de terceiro serve para descobrir que um robô existe, nunca para escrever a regra. Este site mantém uma biblioteca com a doc lida e a data da conferência de cada agente.

Vale a pena bloquear robô de ferramenta de SEO?

Depende do custo que ele impõe. Ele não traz visita, e em site pequeno o consumo é irrelevante. Em site grande, uma ferramenta agressiva chega a superar o volume dos buscadores, e limitar taxa costuma resolver melhor que bloquear, porque preserva a análise de quem estuda o seu mercado.