Robôs da web

Quem lê o seu site quando ninguém está olhando

Uma página por robô de IA e de busca: quem é o dono, qual token vai no robots.txt, o que ele coleta e o que se perde ao bloquear. Cada campo conferido na documentação oficial da empresa, com a data da conferência na página. A newsletter Citado pela IA está em preparação.

Motor de resposta

Claude: a IA da Anthropic e os três robôs que ela manda ao seu site

ClaudeBot, Claude-SearchBot e Claude-User fazem trabalhos diferentes no seu servidor. Qual bloquear, qual liberar e o que cada decisão custa em citação.

Motor de resposta

Gemini do Google: quais robôs leem seu site e o que cada um controla

Googlebot, Google-Extended e os buscadores disparados pelo usuário fazem coisas diferentes. O que cada token controla, o que o bloqueio custa e o que ele não custa.

Motor de resposta

Perplexity: o motor que responde citando a fonte, e como entrar na lista

Os dois robôs que a Perplexity documenta, o que cada um faz com o robots.txt, como verificar a visita pelo endereço e o que a página precisa ter para virar citação.

Painel

Google Search Console: onde a resposta de IA aparece nos seus números

Como o painel conta impressão, clique e posição quando existe bloco de IA na tela, o que o relatório novo mostra, e o diagnóstico de impressão em alta com clique em baixa.

Motor de resposta

Copilot da Microsoft: o índice do Bing por trás da resposta

Quais robôs da Microsoft passam no seu site, como o IndexNow avisa a mudança em minutos e por que um site invisível no Bing fica invisível para o assistente.

Comportamento

ChatGPT ou Google: o que muda quando a resposta vem antes do link

O que a busca por conversa faz com o clique, o número medido pelo Pew Research, quais páginas perdem primeiro e como preparar o texto para as duas telas.

Explicador

Crawler: o que um robô faz na sua página, do primeiro pedido ao índice

Como funciona um rastreador da web, o ciclo de descoberta e indexação, o orçamento de rastreio e como separar robô declarado de script disfarçado no log.

Arquivo

robots.txt: as regras que o robô lê e os erros que quebram o arquivo

Sintaxe, precedência entre allow e disallow, limite de tamanho, o que acontece em erro 4xx e 5xx, e os cinco defeitos que aparecem em quase toda auditoria.

Log

User agent: como saber quem visitou seu site olhando o log

A anatomia da string, por que quase todas começam com Mozilla, os tokens dos robôs de IA e o método de conferir se a visita veio mesmo de quem diz ser.

Busca

AI Overviews: o bloco de resposta do Google e o clique que sobra

Como o resumo gerado aparece na busca, o que ele fez com o clique segundo o Pew Research, como o Search Console conta o bloco e quais controles existem de fato.

Arquivo

sitemap.xml: o mapa que decide o que o robô descobre no seu site

Os limites de 50 mil URLs e 50 MB, o que lastmod significa de verdade, a regra de escopo por diretório e os defeitos que fazem o buscador ignorar o arquivo.

Sinal

E-E-A-T: o que o Google diz de fato e o que virou lenda de fórum

A sigla não é fator de posicionamento, e a frase está na documentação do próprio Google. O que dá para provar numa página, o que o avaliador humano faz e o que não muda nada.

Padrão

Dados estruturados: a versão da sua página que a máquina lê

O que é JSON-LD, quais propriedades o Google recomenda em Article, por que o resultado rico nunca foi garantido e o que sobrou depois do fim do bloco de perguntas.

Arquivo

llms.txt: a proposta de arquivo para IA e quem realmente lê

O que a proposta define, quem a publicou e quando, o que as docs dos robôs dizem a respeito, e o que fazer antes de gastar uma tarde escrevendo o arquivo.

Motor de resposta

ChatGPT Search: os quatro robôs da OpenAI e qual decide a citação

OAI-SearchBot, GPTBot, ChatGPT-User e OAI-AdsBot fazem trabalhos diferentes. Quais respeitam o robots.txt, qual deles traz visita e como conferir no log.

Método

GEO: o que sobra de otimização para motor generativo quando se tira a promessa

A sigla nova, o que dela tem base em documentação oficial, o que é venda de expectativa e as seis práticas que resistem, com o que ninguém pode garantir.

Robôs da web