Bloquear um robô de treinamento e bloquear a busca de um assistente são decisões diferentes. Antes de copiar uma lista de nomes para o robots.txt, vale entender qual função está sendo permitida ou recusada.
O arquivo comunica regras de rastreamento. Não substitui login, não é proteção para informação confidencial e não impede que alguém tente acessar um endereço diretamente.
O que cada fornecedor documenta?
Na documentação da OpenAI, OAI-SearchBot é voltado à busca do ChatGPT e GPTBot à coleta que pode ser usada em treinamento. Os controles são independentes. ChatGPT-User representa determinadas ações iniciadas pelo usuário e não controla a participação na busca; nessas ações, regras de robots.txt podem não se aplicar.
A documentação do Perplexity distingue PerplexityBot, usado para resultados de busca, de Perplexity-User, associado a pedidos de usuários. A empresa informa que PerplexityBot não é usado para treinar seus modelos de base.
A Anthropic descreve ClaudeBot para desenvolvimento de modelos, Claude-SearchBot para busca e Claude-User para acesso solicitado por usuários. Ela publica informações para identificar seus acessos, mas alerta que bloquear IPs não substitui o controle por robots.txt.
Os nomes e as políticas podem mudar. A configuração deve ser conferida nas fontes de cada fornecedor, não mantida por uma lista antiga que alguém encontrou num tutorial.
Google-Extended não controla os resumos da Busca
A documentação do Google explica que Google-Extended é um controle de uso do conteúdo para treinamento e fundamentação em produtos Gemini especificados ali. Não é um robô com identificação HTTP própria e não determina inclusão nem classificação no Google Search.
Por isso, bloquear Google-Extended não equivale a desligar AI Overviews. Googlebot, controles de indexação e as configurações dos recursos da Busca precisam ser tratados separadamente.
Um exemplo não é um arquivo pronto para copiar
Um site pode permitir a busca do ChatGPT e recusar o treinamento correspondente:
User-agent: OAI-SearchBot
Allow: /blog/
Disallow: /area-restrita/
User-agent: GPTBot
Disallow: /
Esse trecho é ilustrativo. Ele não configura outros fornecedores nem transforma o blog na única área permitida. Antes de aplicá-lo, é preciso preservar as restrições existentes também nos grupos específicos: uma regra mais específica pode mudar o efeito do grupo geral.
A área restrita continua precisando de autenticação. Escrever seu caminho num arquivo público não a protege.
Liberou no arquivo e o acesso continua falhando?
A próxima investigação é o caminho até a página: servidor, firewall, proteção contra robôs, redirecionamentos e resposta recebida. Não basta olhar o arquivo e concluir que “está tudo liberado”.
Também não basta trocar o nome do navegador para o de um robô e obter resposta. Identificadores podem ser imitados. Quando o fornecedor publica meios de verificação, eles ajudam a distinguir um acesso legítimo nos registros do servidor.
A OpenAI indica cerca de 24 horas para seus sistemas ajustarem a leitura de mudanças no robots.txt. Isso não é prazo para indexar, citar ou melhorar posição.
A decisão é de acesso, não de ranking
Para um site comercial, a pergunta é quais mecanismos devem poder descobrir as informações públicas e quais usos de treinamento a empresa aceita. Depois disso, confira como o conteúdo é entregue na página.
O arquivo abre ou fecha parte do caminho. Não decide se o conteúdo merece ser citado.