O que é o Bingbot e como bloquear

O que o Bingbot faz

É o robô padrão da Microsoft e responde pela maior parte do rastreamento diário do Bing. A documentação lista variantes de desktop e de celular, e explica que o trecho W.X.Y.Z da string é substituído pela versão do Microsoft Edge em uso no motor de renderização. Como a string é fácil de falsificar, a Microsoft oferece a ferramenta Verify Bingbot para conferir se o acesso veio mesmo dela.

Como bloquear o Bingbot

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: bingbot
Disallow: /

A Microsoft declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

Barrar o Bingbot tira o site dos resultados do Bing e, junto, do que o Copilot cita, porque o chat responde a partir do conteúdo indexado. O blog oficial do Bing Webmaster oferece controle mais fino pela meta tag robots: com nocache a resposta do chat mostra apenas endereço, título e trecho, com noarchive a página fica fora da resposta e fora do treino dos modelos da Microsoft, e nos dois casos continua aparecendo na busca.

Fonte: documentação oficial da Microsoft.