Robôs da web
Robôs de IA e de busca que leem o seu site
Uma página por robô: quem é o dono, qual token vai no robots.txt, o que ele coleta e o que se perde ao bloquear. Dados conferidos na documentação oficial de cada empresa.
Anthropic
ClaudeBot
Treino de modelo · token ClaudeBot no robots.txt
Claude-SearchBot
Índice de busca · token Claude-SearchBot no robots.txt
Claude-User
Pedido do usuário · token Claude-User no robots.txt
OpenAI
GPTBot
Treino de modelo · token GPTBot no robots.txt
ChatGPT-User
Pedido do usuário · token ChatGPT-User no robots.txt
OAI-AdsBot
Verificação de anúncio · token OAI-AdsBot no robots.txt
OAI-SearchBot
Índice de busca · token OAI-SearchBot no robots.txt
Googlebot
Índice de busca · token Googlebot no robots.txt
AdsBot-Google
Verificação de anúncio · token AdsBot-Google no robots.txt
AdsBot-Google-Mobile
Verificação de anúncio · token AdsBot-Google-Mobile no robots.txt
APIs-Google
Serviço da plataforma · token APIs-Google no robots.txt
FeedFetcher-Google
Pedido do usuário · token FeedFetcher-Google no robots.txt
Google-CloudVertexBot
Índice de busca · token Google-CloudVertexBot no robots.txt
Google-Extended
Treino de modelo · token Google-Extended no robots.txt
Google-GeminiNotebook
Pedido do usuário · token Google-GeminiNotebook no robots.txt
Google-InspectionTool
Pedido do usuário · token Google-InspectionTool no robots.txt
Google-Read-Aloud
Pedido do usuário · token Google-Read-Aloud no robots.txt
Google-Safety
Varredura de abuso · token Google-Safety no robots.txt
Googlebot-Image
Índice de busca · token Googlebot-Image no robots.txt
Googlebot-News
Índice de busca · token Googlebot-News no robots.txt
GoogleOther
Treino de modelo · token GoogleOther no robots.txt
Mediapartners-Google
Verificação de anúncio · token Mediapartners-Google no robots.txt
Storebot-Google
Índice de busca · token Storebot-Google no robots.txt
Microsoft
Bingbot
Índice de busca · token bingbot no robots.txt
AdIdxBot
Verificação de anúncio · token adidxbot no robots.txt
MicrosoftPreview
Índice de busca · token MicrosoftPreview no robots.txt
Apple
Applebot
Índice de busca · token Applebot no robots.txt
Applebot-Extended
Treino de modelo · token Applebot-Extended no robots.txt
Meta
Meta-ExternalAgent
Treino de modelo · token meta-externalagent no robots.txt
FacebookExternalHit
Pedido do usuário · token facebookexternalhit no robots.txt
Meta-ExternalFetcher
Pedido do usuário · token meta-externalfetcher no robots.txt
Meta-WebIndexer
Índice de busca · token meta-webindexer no robots.txt
Perplexity
PerplexityBot
Índice de busca · token PerplexityBot no robots.txt
Perplexity-User
Pedido do usuário · token Perplexity-User no robots.txt
DuckDuckGo
DuckDuckBot
Índice de busca · token DuckDuckBot no robots.txt
DuckAssistBot
Pedido do usuário · token DuckAssistBot no robots.txt
Screaming Frog
Screaming Frog SEO Spider
Pedido do usuário · token Screaming Frog SEO Spider no robots.txt
Citado pela IA está chegando
Deixe seu email e receba o aviso quando o primeiro envio sair.
Entre antes do primeiro envio.
Você só recebe o aviso de lançamento. Cancele quando quiser.