Robôs da web · Pedido do usuário
O que é o Screaming Frog SEO Spider e como bloquear
Por Redação Citado pela IA · Conferido na doc oficial em 11/08/2026
- Dono
- Screaming Frog
- Token de user-agent
- Screaming Frog SEO Spider
- Como aparece no log
- Não aparece: existe só como token de robots.txt
- Para que serve
- Pedido do usuário
- Respeita robots.txt
- Sim, pela doc do dono
O que o Screaming Frog SEO Spider faz
Não é robô de empresa rodando sozinho: é um programa de computador que alguém instala e dispara contra um site para auditar títulos, redirecionamentos e links quebrados. A doc diz que o agente se identifica como Screaming Frog SEO Spider e que a leitura do robots.txt segue a ordem do Google, com uma prioridade própria: a regra escrita para o Screaming Frog vence a de Googlebot, e a de Googlebot vence a global.
Como bloquear o Screaming Frog SEO Spider
Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:
User-agent: Screaming Frog SEO Spider
Disallow: /A Screaming Frog declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.
O que se perde ao bloquear
Barrar o agente afasta o estranho que resolve auditar o seu site inteiro de graça, e uma varredura completa pesa no servidor sem trazer leitor. Duas ressalvas: a doc oferece a opção Ignore robots.txt e joga a decisão na responsabilidade de quem roda o programa, e a mesma ferramenta é a que você ou a sua agência abrem para auditar o próprio site.
Citado pela IA está chegando
Deixe seu email e receba o aviso quando o primeiro envio sair.
Entre antes do primeiro envio.
Você só recebe o aviso de lançamento. Cancele quando quiser.