O que é o OAI-SearchBot e como bloquear

O que o OAI-SearchBot faz

Monta o índice que abastece as respostas de busca do ChatGPT, com link e citação da fonte. A documentação da OpenAI recomenda liberar o OAI-SearchBot no robots.txt para quem quer aparecer, e separa as funções: quem sai do treino bloqueia o GPTBot, quem sai da busca bloqueia o OAI-SearchBot. Os endereços de saída dele ficam publicados em openai.com/searchbot.json, o que permite conferir a origem da visita.

Como bloquear o OAI-SearchBot

Duas linhas no robots.txt da raiz do domínio, em bloco próprio. O token vale por robô, então nomear um não afeta os outros:

User-agent: OAI-SearchBot
Disallow: /

A OpenAI declara na documentação que o robô honra as diretivas do robots.txt. Regra nova só passa a valer na próxima visita, e o arquivo precisa responder em /robots.txt.

O que se perde ao bloquear

Fechar a porta custa a citação: a própria OpenAI escreve que o site excluído do OAI-SearchBot não aparece nas respostas de busca do ChatGPT. O ganho é nenhum do lado do treino, porque o material dos modelos entra pelo GPTBot, outro token. Quem quer ficar fora do treino e continuar recebendo clique bloqueia o GPTBot e libera o OAI-SearchBot.

Fonte: documentação oficial da OpenAI.