Comece pelo caminho mais curto
A OpenAI indica que, para ajudar conteúdo público a ser descoberto e incluído em resumos e snippets de ChatGPT Search, o site não deve bloquear o OAI-SearchBot.
Isso é diferente do GPTBot, que pode ser bloqueado quando um publisher não pretende disponibilizar conteúdo para potencial treino. Search e treino são controlos diferentes.
1. Verifique robots.txt
Confirme que não existe um Disallow aplicável ao OAI-SearchBot nas páginas que pretende tornar descobríveis.
User-agent: OAI-SearchBot
Allow: /2. Teste a resposta HTTP
Um teste simples com curl ajuda a ver se o servidor devolve sucesso ao user-agent:
curl -A "OAI-SearchBot" -IL https://exemplo.pt/Mas um 200 não chega. Convém também confirmar o conteúdo devolvido:
curl -A "OAI-SearchBot" https://exemplo.pt/ | head -503. Verifique o WAF
Imunify360, Cloudflare e outras camadas anti-bot podem apresentar challenges que um browser humano resolve e um crawler não. O HTML recebido é tão importante como o status code.
4. Faça o mesmo para outros sistemas
A Perplexity documenta o PerplexityBot como crawler destinado a surface e link websites nos resultados da sua pesquisa e recomenda permitir o bot e os IP ranges publicados quando existe WAF.
5. Só depois procure causas mais profundas
Estar acessível não garante recomendação. Depois entram relevância, Search, entidade, conteúdo, autoridade, fontes e a pergunta específica do utilizador.