robots.txt basta per bloccare ChatGPT e gli altri sistemi AI?

No. robots.txt comunica ai crawler quali sezioni del sito possono o non possono essere esplorate, ma non è una misura di sicurezza e la sua applicazione dipende dal comportamento dell'operatore del crawler.

Per ottenere un blocco tecnico occorrono strumenti di enforcement come firewall, WAF, bot management o controlli applicativi.

Cloudflare, ad esempio, distingue esplicitamente tra il semplice utilizzo di robots.txt per comunicare una preferenza e AI Crawl Control per applicare effettivamente regole di accesso.

Nel caso di OpenAI è inoltre possibile differenziare almeno due finalità:

• User-agent: GPTBot
• Disallow: /

indica che i contenuti non devono essere acquisiti da GPTBot per il possibile utilizzo nel training dei modelli OpenAI.

OAI-SearchBot, invece, è dedicato alla ricerca di ChatGPT e può essere gestito separatamente.

Per approfondire: GEO sì, ma con controllo. Come gestire crawler, training e agenti AI.

​