Início / Labs / Robots & AI Crawler Inspector
Free tool · v0.1

Robots & AI Crawler Inspector

Cole o conteúdo de um robots.txt e veja que regras se aplicam a alguns dos crawlers mais relevantes para Search e AI. A análise acontece localmente no browser; o texto não é enviado para o servidor.

1. Cole o robots.txt

Pode testar também um caminho específico. Ex.: /, /produto/abc ou /private/.

Importante: isto inspeciona apenas a política declarada no texto. Não testa DNS, HTTP status, WAF/CDN, challenges JavaScript, bloqueios por IP nem verifica se um crawler é genuíno.

Como interpretar

Allowed significa que, para o caminho testado, não encontrámos uma diretiva Disallow mais específica do que uma diretiva Allow. Blocked significa que a política declarada impede esse caminho.

Um resultado “Allowed” não prova que o crawler consegue efetivamente aceder ao site. Proteções anti-bot, firewalls, rate limits e respostas diferentes por IP podem continuar a impedir o acesso.

Porque separamos OAI-SearchBot de GPTBot

A OpenAI documenta estes agentes com finalidades diferentes: OAI-SearchBot está relacionado com descoberta em ChatGPT Search, enquanto GPTBot é um controlo separado para potencial utilização em treino. Isso permite políticas diferentes no mesmo robots.txt.