sitemap.xml: o mapa que decide o que o robô descobre no seu site

O sitemap é um arquivo que lista as URLs que você considera importantes, com a data de alteração de cada uma. Ele não força indexação e não melhora posição. O que ele faz é acelerar e organizar a descoberta, que é a primeira etapa de tudo.

Em site pequeno, ele resolve o problema da página nova demorar a ser encontrada. Em site grande, ele vira instrumento de diagnóstico: comparar o que você declarou com o que o buscador indexou é o jeito mais rápido de achar o defeito.

O que o protocolo define

O padrão é público e simples, publicado como versão 0.90 em sitemaps.org e adotado pelos grandes buscadores.

A estrutura tem um elemento que envolve o arquivo, um por URL e um obrigatório dentro de cada URL, que é o endereço em si.

Três campos opcionais acompanham cada endereço: a data da última modificação, uma indicação de frequência de mudança e uma prioridade relativa dentro do próprio site.

Na prática, os dois últimos perderam relevância. Buscadores aprenderam a estimar frequência por conta própria, e prioridade declarada pelo dono do site não é sinal confiável. O campo que continua valendo é a data.

Os limites que ninguém lê até quebrar

O protocolo é explícito: cada arquivo deve ter no máximo 50.000 URLs e no máximo 50 MB descompactado.

Arquivo compactado é aceito, e o limite de tamanho continua valendo para a versão descompactada.

Passando de qualquer um dos dois limites, o caminho é dividir em vários arquivos e criar um índice de sitemaps, que é um arquivo que lista os outros.

A divisão por assunto rende mais que a divisão por tamanho. Um arquivo por seção do site transforma o relatório de indexação em diagnóstico: dá para ver qual seção está sendo indexada e qual está sendo ignorada.

A regra de escopo que pega quase todo mundo

A localização do arquivo limita o que ele pode conter. Um sitemap publicado dentro de um diretório só pode listar URLs daquele diretório para baixo.

Todas as URLs precisam compartilhar o mesmo protocolo e o mesmo host do arquivo. Sitemap do domínio principal não lista URL de subdomínio, e sitemap servido em um protocolo não lista endereço no outro.

A regra tem exceção prevista para quem consegue provar propriedade de vários hosts no painel do buscador, mas o caminho padrão é um arquivo por host, publicado na raiz.

Quem serve o site em mais de um endereço precisa decidir qual é o oficial e manter o sitemap coerente com essa escolha, com o resto redirecionando.

O campo lastmod, e o que ele significa

A data de modificação é a data em que a página mudou, não a data em que o arquivo foi gerado. A definição está no protocolo, e o descumprimento é o defeito mais comum do assunto.

Sistema que regenera o sitemap toda madrugada e carimba a data de hoje em todas as URLs informa ao buscador que o site inteiro mudou. Depois de algumas semanas, o campo perde credibilidade e passa a ser ignorado.

O uso correto é o oposto: mexeu no texto de verdade, atualiza a data daquela página. Corrigiu vírgula, não atualiza.

Quando o campo é honesto, ele vira o sinal mais útil que você pode dar, porque responde exatamente a pergunta que o robô faz ao decidir a fila: o que mudou desde a última visita.

O que entra e o que não entra na lista

A regra é curta: entra o que você quer indexado, e só.

Fica de fora a URL que responde redirecionamento, porque ela declara como importante um endereço que não é o final.

Fica de fora a URL bloqueada no robots.txt, porque o arquivo diz uma coisa e a lista diz outra.

Fica de fora a URL com instrução de não indexação, pelo mesmo motivo.

Fica de fora a variação com parâmetro que serve a filtro ou ordenação, porque ela repete conteúdo de outra página.

E fica de fora a URL que responde erro, o que exige verificação periódica, já que página some do ar sem avisar quem gera o arquivo.

Onde declarar o arquivo

Existem dois caminhos, e eles se somam.

O primeiro é a linha de sitemap no robots.txt, com URL absoluta. É o campo que o Google declara suportar ao lado de user-agent, allow e disallow, e serve para qualquer robô que leia o arquivo.

O segundo é o envio pelo painel de webmaster de cada buscador, que além de declarar a existência mostra quantas URLs foram lidas e quantas foram indexadas.

O envio pelo painel é o que transforma o arquivo em ferramenta de diagnóstico, porque devolve número. A linha no robots.txt é o que garante alcance para quem não tem painel.

Para publicação frequente, vale somar um terceiro caminho: o protocolo aberto de aviso adotado por Bing, Yandex e outros motores, em que o site notifica a mudança de uma URL em vez de esperar a próxima visita.

O diagnóstico que o sitemap habilita

Com o arquivo enviado, três números passam a existir e a comparação entre eles conta a história.

O primeiro é quantas URLs você declarou. O segundo é quantas o buscador leu. O terceiro é quantas foram indexadas.

Diferença grande entre declarado e lido indica problema de acesso: arquivo grande demais, servidor lento, erro de formato ou URL fora de escopo.

Diferença grande entre lido e indexado é o caso mais comum e o mais mal interpretado. Não é falha técnica: é decisão de qualidade do buscador. A resposta é editorial, e passa por conteúdo próprio e específico em vez de página fina repetida em série.

As extensões: imagem, vídeo e notícia

O protocolo básico lista endereços. Três extensões acrescentam informação sobre o que existe dentro de cada página.

A extensão de imagem permite declarar as imagens de cada URL, o que ajuda em site cujo conteúdo principal é visual e cujas imagens são carregadas por script.

A extensão de vídeo declara duração, miniatura e descrição, informação que o buscador não obtém sozinho quando o vídeo vem de player embutido.

A extensão de notícia serve a publicações com produção diária e trabalha numa janela curta de tempo, listando apenas o material recente.

A regra de bom senso vale para as três: só declare o que a página realmente tem, e mantenha a declaração igual ao conteúdo servido. Divergência entre declaração e página é o tipo de defeito que derruba a confiança no arquivo inteiro.

Gerar o arquivo sem depender da sorte

Em site publicado a partir de código, o melhor lugar para gerar o sitemap é o próprio processo de construção, com a lista saindo da mesma fonte que cria as páginas.

A vantagem é estrutural: a lista nunca fica desatualizada, porque ela é derivada do conteúdo, e não mantida à parte.

Em site com gerenciador de conteúdo, o arquivo costuma vir de extensão pronta. Vale conferir três coisas depois de instalar: se ele exclui as páginas marcadas como não indexáveis, se ele usa a data real de alteração e se ele para de listar a página removida.

Em qualquer um dos casos, uma verificação automática simples paga o trabalho: pedir cada URL do arquivo uma vez por mês e anotar as que não responderem com código 200. Dez minutos de rotina evitam meses de relatório sujo.

Quando o arquivo vira ferramenta de recuperação

Existe um uso do sitemap que quase ninguém aproveita: acelerar a releitura depois de uma correção grande.

Site que migrou de endereço, que corrigiu um erro em série ou que removeu um bloco inteiro de páginas precisa que o buscador releia rápido, e a lista com data honesta é o instrumento que comunica a mudança.

O procedimento tem três passos. Atualizar a data apenas das URLs realmente alteradas, reenviar o arquivo pelo painel de cada buscador e acompanhar por duas semanas quantas páginas foram relidas.

Vale o cuidado inverso quando a correção é de remoção. Página que saiu do ar precisa sumir do arquivo e responder o código certo, que é 410 quando a saída é definitiva e 404 quando é só ausência. Manter no arquivo uma URL removida atrasa a limpeza do índice.

Erros que fazem o buscador desconfiar do arquivo

• Data carimbada em lote. Todas as URLs com a data de ontem, todo dia. O campo vira inútil.
• URL com redirecionamento. Declara como boa uma página que manda para outra.
• Mistura de host ou protocolo. Quebra a regra de escopo e invalida o arquivo inteiro em alguns leitores.
• Arquivo servido com tipo errado. Servidor entregando o arquivo como página comum, ou com página de erro amigável no lugar do conteúdo.
• Lista velha. Páginas removidas há meses continuam declaradas, e cada uma vira um erro no relatório.

A manutenção não precisa ser manual. Precisa ser verificada: uma vez por trimestre, comparar o número de URLs do arquivo com o número de páginas publicadas e com o número de páginas indexadas.

Sitemap não é remédio para arquitetura ruim

Vale terminar pela expectativa correta. O arquivo ajuda a descobrir, e descobrir é a etapa mais fácil de todas.

Página que ninguém liga por dentro do site continua sendo página órfã mesmo declarada no sitemap. A ligação interna comunica importância; a lista só comunica existência.

Site com dez mil URLs geradas por filtro não melhora ao declarar as dez mil. Melhora ao parar de gerar as que não deveriam existir.

E conteúdo que o buscador leu e decidiu não guardar não muda de status por estar no arquivo. O arquivo abre a porta; o que entra por ela é decisão de quem recebe.

Perguntas frequentes

Sitemap melhora posição no Google?

Não. Ele acelera e organiza a descoberta das URLs, que é a etapa anterior à indexação. Posição depende de conteúdo, de sinais de qualidade e de concorrência. O ganho real do arquivo é diagnóstico: comparar declarado, lido e indexado revela onde o site está perdendo páginas.

Qual o limite de tamanho?

Cada arquivo aceita no máximo 50.000 URLs e 50 MB descompactado, conforme o protocolo. Acima de qualquer um dos dois limites, divida em vários arquivos e crie um índice de sitemaps. Dividir por seção do site rende mais que dividir por contagem, porque o relatório passa a mostrar qual área tem problema.

Preciso preencher changefreq e priority?

Não. Os dois campos são opcionais e perderam relevância prática, porque buscadores estimam frequência por conta própria e não tratam prioridade declarada como sinal confiável. O campo que continua importando é a data de modificação, desde que ela seja honesta.

Posso listar URL de subdomínio no mesmo arquivo?

Pela regra de escopo, não. Todas as URLs precisam compartilhar host e protocolo com o arquivo, e o sitemap só cobre o diretório onde está publicado para baixo. Cada host precisa do arquivo próprio, servido na raiz dele.

Devo incluir páginas bloqueadas no robots.txt?

Não. Declarar como importante uma URL que você proibiu de rastrear é contradição, e ela aparece como erro no relatório do painel. A lista deve conter apenas endereços que respondem 200, são indexáveis e representam a versão final da página.

Com que frequência atualizar?

Sempre que publicar, remover ou alterar de fato uma página. Regeneração automática é bem-vinda; o que não vale é carimbar a data de hoje em todas as URLs, porque o campo perde credibilidade e o buscador passa a ignorá-lo.