Dal 15 settembre 2026, chi ha un sito su Cloudflare vedrà cambiare, senza fare nulla, il modo in cui i crawler AI possono accedere alle proprie pagine — almeno su quelle con pubblicità.
La nuova classificazione dei bot AI
Cloudflare ha definito tre categorie per i bot AI:
- Search — crawler che indicizzano i contenuti per rispondere a domande in futuro (es. i crawler di ricerca AI). Per questi ci si aspetta traffico di ritorno o altre forme di compensazione equa
- Agent — attività automatizzata in tempo reale per conto di una persona: bot che recuperano pagine per un assistente conversazionale, agenti che navigano il web autonomamente
- Training — crawler che raccolgono contenuti per addestrare o affinare un modello AI
Cosa cambia in pratica
A partire dal 15 settembre, sulle pagine che ospitano pubblicità, Cloudflare bloccherà di default i bot classificati come Training o Agent. I bot Search restano ammessi.
La logica: i crawler di ricerca portano (in teoria) traffico di ritorno al sito, mentre i crawler di training si limitano a raccogliere contenuto senza restituire nulla al publisher — un modello che, secondo Cloudflare, non è più sostenibile su larga scala per chi vive di pubblicità.
A chi si applica
Il cambiamento è automatico per:
- Tutti i nuovi clienti Cloudflare
- I nuovi siti creati da clienti già esistenti
- Tutti gli utenti del piano gratuito, anche quelli già attivi
I siti già attivi su piani a pagamento non vengono modificati automaticamente — restano sulla configurazione precedente a meno di un intervento manuale.
Come disattivarlo (se serve)
Chi non vuole questo comportamento di default può disattivarlo dalle impostazioni di sicurezza in qualunque momento prima della scadenza, confermando esplicitamente di non voler restringere l'accesso ai crawler Training che svolgono anche attività di Search.
Perché conta per la SEO e la visibilità AI
Questo cambiamento arriva nello stesso periodo in cui cresce l'attenzione verso la visibilità nei motori di risposta AI (AI Overviews, ChatGPT, Perplexity) — lo stesso terreno su cui si gioca la AEO/GEO di cui si parla sempre di più.
Bloccare per default i crawler di training non è una scelta neutra: significa decidere consapevolmente se i propri contenuti debbano o meno alimentare i modelli AI di terze parti, con implicazioni dirette su come — e se — quei contenuti verranno poi citati dagli stessi strumenti AI in futuro. Vale la pena rivedere le impostazioni prima del 15 settembre, non lasciarle al caso.
Non è più solo una questione di robots.txt. Cloudflare sta costruendo un livello di controllo granulare sul traffico AI che, di fatto, ridefinisce chi può leggere un sito e a quali condizioni — ed è bene sapere da che parte si sta prima che il default cambi da solo.