Segnale unico nel robots.txt contro l'addestramento AI: cosa fare sul tuo sito

Il 30 ottobre 2026 quattro aziende che addestrano modelli AI hanno detto la stessa cosa nello stesso giorno: rispetteranno un segnale unico nel robots.txt con cui un sito dichiara se i suoi contenuti possono essere usati per addestrare modelli generativi. Fino a ieri dovevi conoscere il nome di ogni crawler (GPTBot, Google-Extended, ClaudeBot e così via) e scrivere una regola per ciascuno. Qui trovi cosa è stato annunciato, come si scrive il segnale, quando verrà letto e, soprattutto, cosa non devi bloccare se vuoi continuare a comparire nelle risposte di ChatGPT, Gemini e Google AI Mode.

Cosa hanno annunciato OpenAI, Google, Microsoft e Anthropic?

Che leggeranno tutti lo stesso token nel robots.txt: __usage_ai-training. Il segnale è descritto in una bozza presentata all'IETF da Kevin Kelley di Anthropic, «Machine-Readable Training Preference Signal», datata 30 ottobre 2026 e in scadenza il 3 maggio 2027. La bozza precisa che non introduce «nessun nuovo nome di direttiva e nessuna nuova grammatica»: usa i gruppi, i percorsi e la precedenza del robots.txt così come sono. Non è ancora uno standard: il datatracker IETF la classifica come contributo individuale, senza valore formale, e il gruppo di lavoro AI Preferences la sta ancora discutendo.

Le adesioni sono arrivate in poche ore. Google ha aggiornato il 30 ottobre la pagina ufficiale dei suoi crawler con una nota: intende supportare il segnale AIPREF con user-agent: __usage_ai-training «in early 2027». Microsoft, riporta Search Engine Roundtable, inizierà a rispettarlo dal 1° febbraio 2027 insieme a nuovi controlli che separano addestramento e grounding. OpenAI, secondo Unite.AI, lo implementerà «nei prossimi mesi» e precisa che i controlli attuali su GPTBot e OAI-SearchBot restano validi. Anthropic, che ha scritto la bozza, ha già iniziato a implementarla, come riporta Relevant Audience citando l'e-mail di Kelley al gruppo di lavoro. John Mueller di Google ha aggiunto, parlando con Search Engine Roundtable, che la proposta è coerente con il Codice di condotta europeo per i fornitori di modelli GPAI previsto dall'AI Act, che riconosce il robots.txt come metodo principale per esprimere preferenze leggibili dalle macchine.

Come si scrive il segnale nel robots.txt?

Come un gruppo normale, con il token al posto del nome del crawler. Questo è l'esempio della bozza:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Significa: preferenza contro l'addestramento su tutto il sito, tranne la cartella /press-kit/, dove l'addestramento è gradito. Disallow esprime un «no», Allow un «sì», con la regola del percorso più lungo che già conosci. Quattro dettagli della bozza cambiano il risultato:

• Il gruppo User-Agent: * non vale per il token. Se le tue regole sono solo sotto l'asterisco, per questo segnale non hai espresso nulla.
• Se nel file non c'è nessun gruppo con il token, non hai espresso nessuna preferenza. Non è un «sì» implicito: è silenzio.
• Non è una direttiva di scansione. Un crawler può continuare a scaricare le pagine e semplicemente non usarle per addestrare. Per limitare la scansione servono ancora i gruppi con il nome del crawler.
• Le espressioni specifiche prevalgono su quelle generali, e gli accordi privati (per esempio una licenza sui contenuti) possono prevalere sul segnale.

Il token si affianca alle regole che hai già. Puoi tenere i gruppi per GPTBot e Google-Extended e aggiungere quello condiviso: chi lo legge applicherà la regola più specifica.

Bloccare l'addestramento ti toglie dalle risposte AI?

No, se blocchi solo l'addestramento. Sì, se blocchi anche i crawler di ricerca o il grounding. Sono tre usi diversi dei tuoi contenuti e vanno tenuti separati:

Il punto delicato è Google. Google-Extended non è un crawler ma un token di controllo e, secondo la documentazione ufficiale, governa due cose insieme: l'addestramento dei futuri modelli Gemini e il grounding, cioè l'uso dei tuoi contenuti nelle risposte di Gemini Apps e di Vertex AI. Non tocca l'inclusione in Google Search né il ranking. Mueller ha spiegato a Search Engine Roundtable che, se usi il token condiviso senza nominare Google-Extended, Google lo leggerà «as if the publisher had disallowed Google-Extended». Tradotto: un «no all'addestramento» generico, per Google, può costarti anche le citazioni in Gemini. Se vuoi dire no all'addestramento ma sì alle risposte di Gemini, devi scrivere un gruppo esplicito per Google-Extended con Allow, accettando che per Google i due usi viaggino insieme. Google AI Mode e AI Overviews non sono citati nell'annuncio.

Microsoft ha fatto la scelta opposta e li ha separati. Dal 30 ottobre Bing offre tre preferenze: AI Training, AI Grounding e una via di mezzo che consente il grounding solo nei prodotti Microsoft (Copilot e le risposte AI di Bing) ma non ai servizi di grounding venduti a terzi. Il grounding si imposta pagina per pagina con il meta tag Bingbot o con l'header X-Robots-Tag, per esempio <meta name="Bingbot" content="ai-grounding:disallow">, mentre l'addestramento si può dichiarare per tutto il sito con il token condiviso nel robots.txt, come ricostruisce Relevant Audience dall'annuncio Microsoft. L'avviso di Microsoft è chiaro: bloccare il grounding riduce in modo significativo la visibilità nelle esperienze AI, mentre i risultati classici di Bing non cambiano.

Quando entra in vigore e cosa succede alle regole attuali?

Tra dicembre 2026 e inizio 2027, con un calendario diverso per ogni fornitore. Le regole attuali restano valide: nessuno ha annunciato di smettere di leggere GPTBot, Google-Extended o gli altri token.

Le date Microsoft sono quelle riportate da Search Engine Roundtable. Se il tuo sito usa noarchive o nocache per tenere i contenuti fuori da Copilot, hai una scadenza vera: entro il 1° marzo 2027 devi riscriverli con i nuovi tag, altrimenti per Bing torni ad «Allow» alla prima nuova scansione.

C'è poi il livello CDN. Cloudflare ha spiegato il 15 settembre 2026 che l'impostazione «Disallow AI Training» pubblica una preferenza contro l'addestramento nel robots.txt tramite Bot Preference Sync e lascia passare i crawler misti (Googlebot, Bingbot, Applebot) per la ricerca; sulla sua rete meno dell'1% dei siti blocca i bot di ricerca, mentre il 17% ha attivato un blocco dell'addestramento. Quell'articolo è di sei settimane prima del token condiviso: se usi Cloudflare, nelle prossime settimane controlla cosa scrive davvero nel tuo robots.txt.

Cosa fare sul tuo sito questa settimana

1. Decidi due cose separate. Vuoi che i tuoi contenuti addestrino i modelli? Vuoi comparire nelle risposte AI? Per un brand che vive di visibilità la combinazione tipica è no alla prima e sì alla seconda.
2. Se vuoi dire no all'addestramento, aggiungi il gruppo condiviso. Costa due righe, è innocuo per i crawler che non lo conoscono e verrà letto da inizio 2027. Nel frattempo i token specifici continuano a funzionare.
3. Non toccare i crawler di ricerca. Googlebot, Bingbot, OAI-SearchBot e gli equivalenti di Perplexity e Anthropic devono restare liberi, altrimenti sparisci dalle citazioni. Quali sono e cosa fanno lo trovi nella guida ai crawler AI.
4. Scegli esplicitamente per Google-Extended. Allow se vuoi restare nelle risposte di Gemini, Disallow se preferisci rinunciare a Gemini per non addestrare. Non lasciare che sia il token condiviso a decidere per te.
5. Cerca noarchive e nocache nei template e negli header HTTP. Se li usi, pianifica il passaggio ai tag ai-grounding entro il 1° marzo 2027 e verifica il sito in Bing Webmaster Tools prima del 15 dicembre.
6. Controlla cosa pubblica davvero il server. Tra robots.txt dichiarato e applicato c'è spesso distanza, come mostrano i dati 2026. Nell'analisi tecnica Geosnap controlla anche il robots.txt dei siti che monitora.

Un robots.txt coerente con queste scelte può essere così:

# Ricerca e risposte AI: lascia passare i crawler di ricerca
User-agent: Googlebot
User-agent: Bingbot
User-agent: OAI-SearchBot
Allow: /

# Addestramento: un solo segnale per tutti i fornitori che lo leggono
User-Agent: __usage_ai-training
Disallow: /

# Google: scelta esplicita (Allow = resti nelle risposte di Gemini,
# ma i contenuti possono addestrare i modelli Gemini)
User-agent: Google-Extended
Allow: /

Ultima cosa da ricordare: il segnale è una preferenza volontaria, non un meccanismo di enforcement. Chi non partecipa non è obbligato a rispettarlo, e Microsoft scrive che nessuna scelta «garantisce inclusione, traffico o pagamenti». Ma per la prima volta i quattro fornitori più grandi leggono la stessa riga, e questo rende molto più semplice fare la cosa che conta per la visibilità: separare ciò che non vuoi (l'addestramento) da ciò che vuoi (essere letti e citati).

Fonti

• Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal-00) (IETF Datatracker, 2026-10-30)
• Google's common crawlers: Google-Extended (Google Search Central, 2026-10-30)
• Google Adopts New AI Training Control (Search Engine Roundtable, 2026-10-30)
• Microsoft Bing Separates AI Training From AI Search Grounding With New Controls (Search Engine Roundtable, 2026-10-30)
• OpenAI to Honor Shared Robots.txt Signal for AI Training Preferences (Unite.AI, 2026-10-30)
• Bing replaces NoArchive and NoCache with separate AI training and grounding controls (Relevant Audience, 2026-10-31)
• Google plans to honour a shared AI training opt-out in robots.txt from 2027 (Relevant Audience, 2026-10-31)
• Have it both ways: stay discoverable in search while disallowing AI training (Cloudflare, 2026-09-15)