# Segnale unico nel robots.txt contro l'addestramento AI: cosa fare sul tuo sito

> OpenAI, Google, Microsoft e Anthropic leggeranno __usage_ai-training, un gruppo robots.txt per dire no all'addestramento. Sintassi, date e cosa non bloccare.

URL: https://geosnap.ai/blog/segnale-unico-robots-txt-addestramento-ai-cosa-fare-sul-tuo-sito
Lingua: italiano
Versione EN: https://geosnap.ai/en/blog/segnale-unico-robots-txt-addestramento-ai-cosa-fare-sul-tuo-sito
Autore: Rinald Sefa, CMO Geosnap · Categoria: Guide
Editore: Geosnap (Maind Group S.r.l.), https://geosnap.ai

## In breve

Il 30 ottobre 2026 OpenAI, Google, Microsoft e Anthropic hanno annunciato che rispetteranno un segnale condiviso nel robots.txt: un gruppo User-Agent: \_\_usage\_ai-training che, con le solite righe Disallow e Allow, dice se i tuoi contenuti possono addestrare modelli generativi. Riguarda solo l'addestramento: non ti toglie dalla ricerca né dalle risposte AI, ma Google lo leggerà come un blocco di Google-Extended se non specifichi quel token, e Google-Extended governa anche le citazioni in Gemini. Arriva tra dicembre 2026 e inizio 2027: puoi già scriverlo, ma decidi separatamente cosa fare con ricerca e grounding.

- Il token \_\_usage\_ai-training usa la sintassi robots.txt che conosci: Disallow vale «no all'addestramento», Allow «sì», e il gruppo User-Agent: \* non conta.
- Il segnale riguarda solo l'addestramento: i crawler di ricerca (Googlebot, Bingbot, OAI-SearchBot) vanno lasciati liberi se vuoi essere citato.
- Per Google il token senza Google-Extended equivale a un Disallow di Google-Extended, che blocca anche il grounding in Gemini: scegli esplicitamente.
- Bing separa addestramento e grounding con i tag ai-training e ai-grounding; chi usa noarchive o nocache ha tempo fino al 1° marzo 2027.
- Le date: Anthropic già partita, OpenAI nei prossimi mesi, Microsoft dal 1° febbraio 2027, Google a inizio 2027. Le regole attuali restano valide.

Scritto dall'agente AI di Geosnap, rivisto e approvato da Rinald Sefa.

Il 30 ottobre 2026 quattro aziende che addestrano modelli AI hanno detto la stessa cosa nello stesso giorno: rispetteranno un segnale unico nel robots.txt con cui un sito dichiara se i suoi contenuti possono essere usati per addestrare modelli generativi. Fino a ieri dovevi conoscere il nome di ogni crawler (GPTBot, Google-Extended, ClaudeBot e così via) e scrivere una regola per ciascuno. Qui trovi cosa è stato annunciato, come si scrive il segnale, quando verrà letto e, soprattutto, cosa non devi bloccare se vuoi continuare a comparire nelle risposte di ChatGPT, Gemini e Google AI Mode.

## Cosa hanno annunciato OpenAI, Google, Microsoft e Anthropic?

Che leggeranno tutti lo stesso token nel robots.txt: `__usage_ai-training`. Il segnale è descritto in una bozza presentata all'IETF da Kevin Kelley di Anthropic, [«Machine-Readable Training Preference Signal»](https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/), datata 30 ottobre 2026 e in scadenza il 3 maggio 2027. La bozza precisa che non introduce «nessun nuovo nome di direttiva e nessuna nuova grammatica»: usa i gruppi, i percorsi e la precedenza del robots.txt così come sono. Non è ancora uno standard: il datatracker IETF la classifica come contributo individuale, senza valore formale, e il gruppo di lavoro AI Preferences la sta ancora discutendo.

Le adesioni sono arrivate in poche ore. Google ha aggiornato il 30 ottobre la [pagina ufficiale dei suoi crawler](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers) con una nota: intende supportare il segnale AIPREF con `user-agent: __usage_ai-training` «in early 2027». Microsoft, riporta [Search Engine Roundtable](https://www.seroundtable.com/microsoft-bing-ai-controls-42429.html), inizierà a rispettarlo dal 1° febbraio 2027 insieme a nuovi controlli che separano addestramento e grounding. OpenAI, secondo [Unite.AI](https://www.unite.ai/openai-to-honor-shared-robots-txt-signal-for-ai-training-preferences/), lo implementerà «nei prossimi mesi» e precisa che i controlli attuali su GPTBot e OAI-SearchBot restano validi. Anthropic, che ha scritto la bozza, ha già iniziato a implementarla, come [riporta Relevant Audience](https://www.relevantaudience.com/geo/google-shared-ai-training-robots-txt-signal-2027/) citando l'e-mail di Kelley al gruppo di lavoro. John Mueller di Google ha aggiunto, parlando con [Search Engine Roundtable](https://www.seroundtable.com/google-ai-training-control-42430.html), che la proposta è coerente con il Codice di condotta europeo per i fornitori di modelli GPAI previsto dall'AI Act, che riconosce il robots.txt come metodo principale per esprimere preferenze leggibili dalle macchine.

## Come si scrive il segnale nel robots.txt?

Come un gruppo normale, con il token al posto del nome del crawler. Questo è l'esempio della bozza:

```
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
```

Significa: preferenza contro l'addestramento su tutto il sito, tranne la cartella `/press-kit/`, dove l'addestramento è gradito. `Disallow` esprime un «no», `Allow` un «sì», con la regola del percorso più lungo che già conosci. Quattro dettagli della [bozza](https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/) cambiano il risultato:

- Il gruppo `User-Agent: *` non vale per il token. Se le tue regole sono solo sotto l'asterisco, per questo segnale non hai espresso nulla.
- Se nel file non c'è nessun gruppo con il token, non hai espresso nessuna preferenza. Non è un «sì» implicito: è silenzio.
- Non è una direttiva di scansione. Un crawler può continuare a scaricare le pagine e semplicemente non usarle per addestrare. Per limitare la scansione servono ancora i gruppi con il nome del crawler.
- Le espressioni specifiche prevalgono su quelle generali, e gli accordi privati (per esempio una licenza sui contenuti) possono prevalere sul segnale.

Il token si affianca alle regole che hai già. Puoi tenere i gruppi per `GPTBot` e `Google-Extended` e aggiungere quello condiviso: chi lo legge applicherà la regola più specifica.

## Bloccare l'addestramento ti toglie dalle risposte AI?

No, se blocchi solo l'addestramento. Sì, se blocchi anche i crawler di ricerca o il grounding. Sono tre usi diversi dei tuoi contenuti e vanno tenuti separati:

| Uso | Cosa decide | Come si controlla |
| --- | --- | --- |
| Scansione per la ricerca | Se le tue pagine entrano nell'indice da cui nascono citazioni e clic | Gruppi robots.txt con il nome del crawler (Googlebot, Bingbot, OAI-SearchBot) |
| Grounding | Se la risposta AI può leggere la tua pagina nel momento in cui qualcuno fa la domanda | Google-Extended per Gemini; i nuovi tag `ai-grounding` di Bing; controlli in Search Console per Google |
| Addestramento | Se i tuoi testi finiscono nei pesi dei modelli futuri | `__usage_ai-training` più i token specifici (GPTBot, Google-Extended, Applebot-Extended) |

Il punto delicato è Google. Google-Extended non è un crawler ma un token di controllo e, secondo la [documentazione ufficiale](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers), governa due cose insieme: l'addestramento dei futuri modelli Gemini e il grounding, cioè l'uso dei tuoi contenuti nelle risposte di Gemini Apps e di Vertex AI. Non tocca l'inclusione in Google Search né il ranking. Mueller ha spiegato a [Search Engine Roundtable](https://www.seroundtable.com/google-ai-training-control-42430.html) che, se usi il token condiviso senza nominare Google-Extended, Google lo leggerà «as if the publisher had disallowed Google-Extended». Tradotto: un «no all'addestramento» generico, per Google, può costarti anche le citazioni in Gemini. Se vuoi dire no all'addestramento ma sì alle risposte di Gemini, devi scrivere un gruppo esplicito per Google-Extended con `Allow`, accettando che per Google i due usi viaggino insieme. Google AI Mode e AI Overviews non sono citati nell'annuncio.

Microsoft ha fatto la scelta opposta e li ha separati. Dal [30 ottobre](https://www.seroundtable.com/microsoft-bing-ai-controls-42429.html) Bing offre tre preferenze: AI Training, AI Grounding e una via di mezzo che consente il grounding solo nei prodotti Microsoft (Copilot e le risposte AI di Bing) ma non ai servizi di grounding venduti a terzi. Il grounding si imposta pagina per pagina con il meta tag Bingbot o con l'header X-Robots-Tag, per esempio `<meta name="Bingbot" content="ai-grounding:disallow">`, mentre l'addestramento si può dichiarare per tutto il sito con il token condiviso nel robots.txt, come [ricostruisce Relevant Audience](https://www.relevantaudience.com/geo/bing-ai-grounding-controls-replace-noarchive-nocache/) dall'annuncio Microsoft. L'avviso di Microsoft è chiaro: bloccare il grounding riduce in modo significativo la visibilità nelle esperienze AI, mentre i risultati classici di Bing non cambiano.

## Quando entra in vigore e cosa succede alle regole attuali?

Tra dicembre 2026 e inizio 2027, con un calendario diverso per ogni fornitore. Le regole attuali restano valide: nessuno ha annunciato di smettere di leggere GPTBot, Google-Extended o gli altri token.

| Quando | Chi | Cosa succede |
| --- | --- | --- |
| 30 ottobre 2026 | Anthropic | Ha iniziato a implementare il segnale descritto nella sua bozza |
| «Nei prossimi mesi» | OpenAI | Implementazione del token; GPTBot e OAI-SearchBot continuano a valere |
| 15 dicembre 2026 | Microsoft | In Bing Webmaster Tools arrivano preferenze temporanee di grounding per i siti che usano NoArchive o NoCache |
| Inizio 2027 | Google | Supporto al token, letto come Disallow di Google-Extended se non lo specifichi |
| 1° febbraio 2027 | Microsoft | Bing inizia a rispettare AI Training e AI Grounding durante la scansione |
| 1° marzo 2027 | Microsoft | NoArchive e NoCache non valgono più come preferenze AI |
| 30 settembre 2027 | Microsoft | Scadono le preferenze temporanee di grounding |

Le date Microsoft sono quelle riportate da [Search Engine Roundtable](https://www.seroundtable.com/microsoft-bing-ai-controls-42429.html). Se il tuo sito usa `noarchive` o `nocache` per tenere i contenuti fuori da Copilot, hai una scadenza vera: entro il 1° marzo 2027 devi riscriverli con i nuovi tag, altrimenti per Bing torni ad «Allow» alla prima nuova scansione.

C'è poi il livello CDN. Cloudflare ha spiegato il [15 settembre 2026](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) che l'impostazione «Disallow AI Training» pubblica una preferenza contro l'addestramento nel robots.txt tramite Bot Preference Sync e lascia passare i crawler misti (Googlebot, Bingbot, Applebot) per la ricerca; sulla sua rete meno dell'1% dei siti blocca i bot di ricerca, mentre il 17% ha attivato un blocco dell'addestramento. Quell'articolo è di sei settimane prima del token condiviso: se usi Cloudflare, nelle prossime settimane controlla cosa scrive davvero nel tuo robots.txt.

## Cosa fare sul tuo sito questa settimana

1. **Decidi due cose separate.** Vuoi che i tuoi contenuti addestrino i modelli? Vuoi comparire nelle risposte AI? Per un brand che vive di visibilità la combinazione tipica è no alla prima e sì alla seconda.
2. **Se vuoi dire no all'addestramento, aggiungi il gruppo condiviso.** Costa due righe, è innocuo per i crawler che non lo conoscono e verrà letto da inizio 2027. Nel frattempo i token specifici continuano a funzionare.
3. **Non toccare i crawler di ricerca.** Googlebot, Bingbot, OAI-SearchBot e gli equivalenti di Perplexity e Anthropic devono restare liberi, altrimenti sparisci dalle citazioni. Quali sono e cosa fanno lo trovi nella [guida ai crawler AI](https://geosnap.ai/blog/il-tuo-sito-blocca-chatgpt-guida-crawler-ai).
4. **Scegli esplicitamente per Google-Extended.** `Allow` se vuoi restare nelle risposte di Gemini, `Disallow` se preferisci rinunciare a Gemini per non addestrare. Non lasciare che sia il token condiviso a decidere per te.
5. **Cerca `noarchive` e `nocache`** nei template e negli header HTTP. Se li usi, pianifica il passaggio ai tag `ai-grounding` entro il 1° marzo 2027 e verifica il sito in Bing Webmaster Tools prima del 15 dicembre.
6. **Controlla cosa pubblica davvero il server.** Tra robots.txt dichiarato e applicato c'è spesso distanza, come [mostrano i dati 2026](https://geosnap.ai/blog/blocchi-ai-robots-txt-quanti-siti-li-applicano-davvero-dati-2026). Nell'analisi tecnica Geosnap controlla anche il robots.txt dei siti che monitora.

Un robots.txt coerente con queste scelte può essere così:

```
# Ricerca e risposte AI: lascia passare i crawler di ricerca
User-agent: Googlebot
User-agent: Bingbot
User-agent: OAI-SearchBot
Allow: /

# Addestramento: un solo segnale per tutti i fornitori che lo leggono
User-Agent: __usage_ai-training
Disallow: /

# Google: scelta esplicita (Allow = resti nelle risposte di Gemini,
# ma i contenuti possono addestrare i modelli Gemini)
User-agent: Google-Extended
Allow: /
```

Ultima cosa da ricordare: il segnale è una preferenza volontaria, non un meccanismo di enforcement. Chi non partecipa non è obbligato a rispettarlo, e Microsoft scrive che nessuna scelta «garantisce inclusione, traffico o pagamenti». Ma per la prima volta i quattro fornitori più grandi leggono la stessa riga, e questo rende molto più semplice fare la cosa che conta per la visibilità: separare ciò che non vuoi (l'addestramento) da ciò che vuoi (essere letti e citati).

## Fonti

- [Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal-00)](https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/) (IETF Datatracker, 2026-10-30)
- [Google's common crawlers: Google-Extended](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers) (Google Search Central, 2026-10-30)
- [Google Adopts New AI Training Control](https://www.seroundtable.com/google-ai-training-control-42430.html) (Search Engine Roundtable, 2026-10-30)
- [Microsoft Bing Separates AI Training From AI Search Grounding With New Controls](https://www.seroundtable.com/microsoft-bing-ai-controls-42429.html) (Search Engine Roundtable, 2026-10-30)
- [OpenAI to Honor Shared Robots.txt Signal for AI Training Preferences](https://www.unite.ai/openai-to-honor-shared-robots-txt-signal-for-ai-training-preferences/) (Unite.AI, 2026-10-30)
- [Bing replaces NoArchive and NoCache with separate AI training and grounding controls](https://www.relevantaudience.com/geo/bing-ai-grounding-controls-replace-noarchive-nocache/) (Relevant Audience, 2026-10-31)
- [Google plans to honour a shared AI training opt-out in robots.txt from 2027](https://www.relevantaudience.com/geo/google-shared-ai-training-robots-txt-signal-2027/) (Relevant Audience, 2026-10-31)
- [Have it both ways: stay discoverable in search while disallowing AI training](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) (Cloudflare, 2026-09-15)

## Domande frequenti

### Il token \_\_usage\_ai-training funziona già oggi?

Anthropic ha detto di aver iniziato a implementarlo; OpenAI parla di «prossimi mesi», Microsoft lo rispetterà dal 1° febbraio 2027 e Google a inizio 2027. Puoi aggiungerlo subito: i crawler che non lo conoscono lo ignorano e i token specifici che hai già continuano a valere.

### Se aggiungo il token sparisco da ChatGPT, Gemini e Google AI Mode?

No, finché lasci passare i crawler di ricerca (OAI-SearchBot, Googlebot, Bingbot). L'eccezione è Google: se non nomini Google-Extended, il token viene letto come un Disallow di Google-Extended, che governa anche il grounding nelle risposte di Gemini. Per restare in Gemini scrivi un gruppo Google-Extended con Allow.

### Devo togliere le regole per GPTBot, Google-Extended o ClaudeBot?

No. Nessun fornitore ha annunciato di abbandonare i propri token e la bozza IETF prevede che le espressioni specifiche prevalgano su quelle generali. Il gruppo condiviso si aggiunge, non sostituisce.

### Uso noarchive o nocache: cosa cambia?

Per Bing cambia molto. Dal 1° marzo 2027 quei tag non valgono più come preferenze AI: devi passare ai nuovi tag ai-training e ai-grounding e, se vuoi mantenere il blocco nel periodo di transizione, registrare una preferenza temporanea in Bing Webmaster Tools dal 15 dicembre 2026.

### È uno standard ufficiale?

Non ancora. È una bozza individuale presentata all'IETF il 30 ottobre 2026, in scadenza il 3 maggio 2027, discussa nel gruppo di lavoro AI Preferences. Vale perché i quattro grandi fornitori hanno detto che la rispetteranno, non perché sia stata approvata.