Un file di pochi righe può ora decidere una cosa importante: se i tuoi testi servono ad addestrare un modello di AI. Quattro aziende hanno promesso di rispettare la stessa regola.
Sono Google, OpenAI, Anthropic e Microsoft. La regola usa un nome dedicato all'addestramento: nell'esempio circolato è __usage_ai-training, e potrebbe cambiare prima della versione definitiva. Funziona così: aggiungi nel robots.txt una voce con quel nome e metti Disallow: /. Se vuoi lasciare aperta una cartella, per esempio quella dei materiali stampa, puoi farlo con un Allow dedicato.
Scriverla è semplice. Più difficile è capire cosa fa davvero.
Cosa blocca
Blocca l'uso dei contenuti per addestrare i modelli generativi. Per Google, la regola viene trattata come un blocco per Google-Extended, il crawler che raccoglie materiale per i modelli Gemini.
Cosa non blocca
Non blocca la scansione normale, e non fa sparire il sito dalla ricerca Google. Non cancella nemmeno quello che è già stato raccolto in passato: la regola guarda al futuro.
Anche il tema delle citazioni va tenuto separato. Gli addestramenti e le risposte live usano bot diversi. Bloccare quello di addestramento non toglie il sito dalle citazioni nelle risposte AI. Bloccare i bot di ricerca o quelli che si attivano quando un utente chiede una pagina, invece, sì.
Questa distinzione cambia la scelta. Chi vuole evitare che i propri testi servano a costruire un modello può farlo senza uscire dalle risposte. Chi blocca tutto rischia di perdere visibilità.
Quando parte
Non è ancora tutto attivo. Anthropic dice già di rispettare la regola. Microsoft parte dal primo febbraio 2027. Google indica l'inizio del 2027. OpenAI parla di "prossimi mesi", senza una data.
Fino ad allora, le regole per singolo bot restano valide. Quindi chi vuole bloccare l'addestramento di Gemini o di ChatGPT oggi può ancora farlo con i nomi dei bot che già esistono.
Perché serve una regola comune
Prima ogni azienda aveva le sue sigle, e chi gestiva più siti doveva ricordarsele tutte. Una regola condivisa semplifica il lavoro e rende più chiaro il messaggio: il sito dichiara un'intenzione, e chi la rispetta la applica.
La proposta è nata come standard aperto, in discussione presso l'IETF, l'organismo che definisce gli standard di internet. Quindi non è una regola di un'azienda sola, e potrebbe cambiare prima di diventare definitiva.
Resta un limite: è una promessa. Vale per chi la applica davvero, e il file non ha forza tecnica. Il sito dice cosa vuole, non può impedire tutto.
Cosa farei adesso
- Leggi il tuo robots.txt. Se ci sono regole vecchie o copiate da un altro progetto, sistemale prima di aggiungere altro.
- Decidi la linea adesso. Vuoi comparire nelle risposte AI? Vuoi che i tuoi testi non servano per addestrare? Sono due scelte separate, e puoi già applicarle con i bot esistenti.
- Verifica la regola comune quando sarà definitiva. Le date sono annunciate, ma possono cambiare, e il nome della regola può cambiare con loro.
- Non chiudere tutto per paura. Bloccare tutti i bot per timore dell'AI può costare visibilità, proprio mentre sempre più persone chiedono consigli alle AI.
Per un'attività locale
Per uno studio, un artigiano o un negozio la domanda concreta è un'altra: quando qualcuno chiede a un'AI chi fa questo lavoro vicino a casa, il tuo nome compare?
Il robots.txt decide cosa concedi per l'addestramento. Il nome compare per quello che c'è davvero online: il sito chiaro, la scheda aziendale, le recensioni e la coerenza di quello che si dice di te. È una parte piccola, ma conviene capire bene cosa fa.
Se vuoi capire come appare la tua attività, scrivimi.