robots.txt: as regras que o robô lê e os erros que quebram o arquivo

O robots.txt é um arquivo de texto na raiz do domínio que diz quais robôs podem pedir quais caminhos. Ele existe desde 1994, virou padrão da IETF em setembro de 2022 com a RFC 9309, e continua sendo o lugar onde a maior parte dos sites erra em silêncio.

O erro raramente é de sintaxe exótica. É de escopo: uma regra escrita para um robô atinge todos, ou uma regra escrita para todos deixa passar justamente quem se queria barrar.

O que o arquivo é, e o que ele não é

O arquivo é um pedido público. Um robô que respeita o protocolo busca o endereço na raiz do host, lê as regras e obedece.

Ele não é uma tranca. Não impede download por quem ignora o protocolo, não protege conteúdo sensível e não substitui autenticação. Pior: como o arquivo é público, listar ali um caminho que deveria ficar escondido é entregar o mapa.

Ele também não é instrumento de remoção de página do índice. Bloquear o rastreio impede que o robô leia a página, e uma URL bloqueada ainda pode aparecer em resultado quando outras páginas apontam para ela. Para tirar do índice, a instrução tem que estar na própria página, e o robô precisa poder lê-la, o que significa não bloquear a URL no arquivo.

A confusão entre bloquear rastreio e impedir indexação é a fonte de metade das dúvidas sobre o assunto, e ela dura desde 2019, quando o Google anunciou que deixaria de obedecer à instrução de não indexação escrita dentro do robots.txt, campo que nunca foi parte do padrão.

Os quatro campos que o Google declara suportar

A documentação do Google é explícita sobre o que ele lê: user-agent, allow, disallow e sitemap. Outros campos, entre eles o crawl-delay, não são suportados.

O campo user-agent abre um bloco e nomeia o robô a que as regras seguintes se aplicam. O valor pode ser um token específico ou o curinga.

O campo disallow proíbe um caminho, e o valor é o começo do caminho da URL, não uma expressão de linguagem natural.

O campo allow libera um caminho dentro de uma área proibida, e serve para abrir exceções sem reescrever a regra inteira.

O campo sitemap aceita a URL absoluta do sitemap e vale para o arquivo todo, independente de bloco.

Vale registrar a diferença entre motores: o campo crawl-delay, ignorado pelo Google, é lido pelo robô da Microsoft, que ainda oferece controle de ritmo por faixa de horário no painel de webmaster dele. Regra escrita no arquivo prevalece sobre a preferência marcada no painel.

A regra de precedência que decide tudo

Quando duas regras conflitam, o Google usa a mais específica pelo comprimento do caminho. Em caso de empate, incluindo empate envolvendo curinga, ele usa a menos restritiva.

Na prática, uma proibição ampla convive com uma liberação estreita, e a liberação vence dentro do escopo dela porque o caminho é mais longo.

A leitura correta do bloco depende ainda de uma segunda regra, a de seleção. O robô procura o grupo endereçado ao token dele; achando, ignora completamente o grupo curinga. Não achando, obedece ao curinga.

O efeito prático surpreende muita gente: escrever um bloco específico para um robô e esquecer de repetir nele as proibições gerais libera aquele robô para o site inteiro.

Tamanho, cache e o que acontece quando o servidor falha

O Google impõe limite de 500 kibibytes ao arquivo, e o que passa do limite é ignorado. Arquivo enorme, gerado por plugin que despeja uma linha por página, corre risco real de ter o final descartado.

O conteúdo do arquivo fica em cache por até 24 horas, e pode ficar mais quando não há como atualizar. Mudança de regra, portanto, não vale no mesmo minuto.

O comportamento diante de falha é o mais importante e o menos conhecido. Erro 4xx, com exceção do 429, é tratado como se o arquivo não existisse, o que libera o rastreio inteiro. Erro 5xx faz o Google parar o rastreio por doze horas e depois usar a última versão em cache por até trinta dias.

Redirecionamento é seguido por até cinco saltos, e a partir do sexto o caso vira ausência de arquivo.

A conclusão operacional é simples e desconfortável: servidor instável transforma o seu arquivo de regras em algo entre inexistente e congelado, e nenhum dos dois estados é o que você configurou.

Um arquivo por host, protocolo e porta

As regras valem apenas para o host, o protocolo e a porta onde o arquivo está publicado. É a fonte silenciosa de erro em site com subdomínio.

O arquivo do domínio principal não governa o subdomínio de blog, o de loja ou o de documentação. Cada um precisa do arquivo próprio, servido na raiz dele.

O mesmo vale para versões antigas em outro protocolo, que às vezes continuam de pé com um arquivo esquecido de anos atrás.

A checagem leva minutos: liste todos os hosts que respondem no seu domínio e abra o arquivo de cada um. A quantidade de sites que descobre um bloqueio total esquecido em um subdomínio de teste é maior do que parece.

Decidir treino, busca e pedido em separado

Robô de IA não é uma categoria única, e o arquivo é o lugar onde a distinção vira decisão.

Robô de treino recolhe material para formar modelo. Bloquear é decisão de política de conteúdo e não afeta posição em buscador, porque o robô de busca é outro. O Google escreve na doc que o token de treino dele não afeta inclusão nem posicionamento na Busca.

Robô de busca de produto de IA alimenta a resposta que cita fonte com link. Bloquear tira a chance de aparecer citado, que é a visita que sobra quando a resposta vem pronta.

Buscador disparado por usuário abre a URL porque alguém pediu. A doc da OpenAI registra que regra de robots.txt pode não valer para ação nascida de pedido do usuário, e a doc da Perplexity diz que o agente de pedido geralmente ignora o arquivo.

A lista com token, dono e doc oficial de 53 robôs está na biblioteca de robôs deste site, com a data em que cada fonte foi conferida.

Como montar o arquivo do zero

A ordem de escrita evita a maior parte dos defeitos, e ela tem seis passos.

Primeiro, listar o que não deve ser rastreado: área administrativa, resultado de busca interna, carrinho, páginas de agradecimento e endereços com parâmetro que produzem conteúdo repetido. A lista sai da estrutura do site, não de modelo pronto da internet.

Segundo, escrever o bloco curinga com essas proibições, sem tocar em diretório de script, de estilo ou de imagem usados na renderização.

Terceiro, declarar o sitemap com URL absoluta.

Quarto, decidir robô por robô o que muda em relação ao curinga, e escrever um bloco só para quem tem tratamento diferente. Dentro do bloco específico, repetir as proibições gerais, porque o robô nomeado ignora o curinga.

Quinto, publicar e conferir o arquivo servido: código 200, tipo texto simples, conteúdo igual ao que você escreveu.

Sexto, testar as URLs sensíveis na ferramenta de inspeção do painel de cada buscador, uma liberada e uma bloqueada, para confirmar que a regra faz o que promete.

O arquivo bem escrito de um site pequeno cabe em quinze linhas. Arquivo com cem linhas costuma ser sintoma de site com problema de arquitetura de URL, e o remédio está na estrutura, não no arquivo.

Vale guardar uma cópia comentada do arquivo no seu repositório, com a data e o motivo de cada bloqueio. Seis meses depois ninguém lembra por que aquele diretório foi fechado, e a linha sem explicação costuma sobreviver a muitas reformas do site.

Os cinco erros que aparecem em quase toda auditoria

• Bloquear recurso. Fechar diretório de script ou de folha de estilo atrapalha o processamento da página inteira e prejudica a avaliação de layout.
• Confiar no bloco curinga. Um único grupo genérico governa todos os robôs com a mesma regra, o que quase nunca é a intenção.
• Escrever bloco específico incompleto. O robô nomeado ignora o curinga, e as proibições gerais precisam ser repetidas dentro do bloco dele.
• Achar que bloqueio remove do índice. São coisas diferentes, e a remoção exige que a página possa ser lida.
• Esquecer o subdomínio. Regra vale por host, e o arquivo do apex não governa o resto.

Um sexto erro, mais raro e mais caro, é publicar o arquivo com resposta 5xx durante uma manutenção longa. O rastreio para, e a recuperação leva mais tempo que o incidente.

Como testar sem chutar

O teste começa por baixar o próprio arquivo e ler o que o servidor devolve, incluindo o código de resposta e o tipo de conteúdo. Arquivo servido como HTML, com página de erro bonita no lugar do texto, aparece de vez em quando.

Depois vem a conferência por robô: cada painel de webmaster tem uma ferramenta de inspeção que mostra se determinada URL está bloqueada para o robô daquele buscador.

O terceiro passo é o log. Trinta dias filtrados por token dizem quem realmente respeitou o arquivo, quem passou por caminho fechado e quem recebeu bloqueio de outra camada, como firewall.

O quarto passo é o calendário: reler o arquivo a cada trimestre. Token muda de nome, e um exemplo recente é do Google, que renomeou um dos buscadores dele em julho de 2026, com o nome antigo suportado só até agosto do mesmo ano.

Perguntas frequentes

O robots.txt impede que meu conteúdo seja copiado?

Não. Ele é um pedido que o robô educado obedece. Quem ignora o protocolo continua acessando normalmente. Proteção real exige meio técnico: autenticação, limite de taxa, bloqueio por faixa de endereços ou serviço de borda. Desde 1º de julho de 2025 a Cloudflare bloqueia robôs de IA por padrão nos sites da rede dela, o que resolve o caso por infraestrutura em vez de por instrução.

Posso usar o robots.txt para tirar uma página do Google?

Não é o instrumento certo. Bloquear o rastreio impede a leitura, e a URL bloqueada ainda pode aparecer em resultado se houver links apontando para ela. A remoção pede instrução de não indexação na própria página, e a página precisa estar liberada para que o robô leia a instrução.

O Google respeita crawl-delay?

Não. A documentação do Google diz que campos como crawl-delay não são suportados. O robô da Microsoft lê o campo, e o painel de webmaster dela ainda oferece controle de ritmo por hora, com a regra do arquivo prevalecendo sobre a preferência do painel.

Qual o tamanho máximo do arquivo?

O Google impõe 500 kibibytes e ignora o que vier depois do limite. O detalhe importa em site que gera o arquivo automaticamente, com uma linha por página ou por parâmetro, caso em que o final do arquivo pode simplesmente não existir para o robô.

O que acontece se o arquivo der erro?

Depende do erro. Erro 4xx, exceto 429, é tratado como ausência de arquivo, e o rastreio segue livre. Erro 5xx faz o Google parar o rastreio por doze horas e usar a versão em cache por até trinta dias. Redirecionamento é seguido por no máximo cinco saltos.

Preciso de um arquivo em cada subdomínio?

Precisa. As regras valem por host, protocolo e porta, então cada subdomínio que responde precisa do arquivo próprio. O arquivo do domínio principal não governa o subdomínio, e subdomínio de teste esquecido com bloqueio total é achado comum de auditoria.