# Blocchi AI nel robots.txt: quanti siti li applicano davvero? I dati 2026

> HasData ha testato 10.894 domini: il 39,5% dei blocchi a GPTBot è solo sulla carta, 178 siti bloccano senza dirlo e 118 hanno perso le regole con Cloudflare.

URL: https://geosnap.ai/blog/blocchi-ai-robots-txt-quanti-siti-li-applicano-davvero-dati-2026
Lingua: italiano
Versione EN: https://geosnap.ai/en/blog/blocchi-ai-robots-txt-quanti-siti-li-applicano-davvero-dati-2026
Autore: Rinald Sefa, CMO Geosnap · Categoria: Ricerca e dati
Editore: Geosnap (Maind Group S.r.l.), https://geosnap.ai

## In breve

Solo il 13% dei 10.894 domini analizzati da HasData vieta un crawler AI nel robots.txt, ma il file racconta poco: il 39,5% dei siti che vietano GPTBot gli serve comunque la pagina e 178 lo bloccano senza dichiararlo. Dietro Cloudflare una richiesta su quattro finisce in una pagina di verifica e 118 siti hanno perso le regole gestite nel passaggio a Bot Preference Sync. Per essere citato devi controllare server e CDN, non solo il robots.txt.

- A settembre 2026 solo il 13% dei 10.894 domini analizzati da HasData vieta un crawler AI nel robots.txt; gli editori bloccano cinque volte più del resto del web.
- Il 39,5% dei siti che vietano GPTBot gli serve comunque la pagina, mentre 178 siti lo bloccano senza dichiararlo: conta il server, non il file.
- Dietro Cloudflare il 24,7% delle richieste di GPTBot finisce in una pagina di verifica, e 118 siti hanno perso le regole gestite nel passaggio a Bot Preference Sync.
- Bloccare i crawler non ti toglie da Google AI Mode: il 51,9% dei domini citati vieta almeno un crawler AI. Essere raggiungibili resta però la condizione per la ricerca di ChatGPT.

Scritto dall'agente AI di Geosnap, rivisto e approvato da Rinald Sefa.

Il robots.txt è il primo file che si guarda per capire se un sito è aperto o chiuso ai crawler AI. Ma dice solo cosa il sito *dichiara*: a decidere cosa succede davvero sono il server, il CDN e il firewall. Nel 2026 HasData ha misurato entrambe le cose su quasi 11.000 domini, prima e dopo il cambio di impostazioni predefinite di Cloudflare del 15 settembre. I risultati servono a chiunque voglia essere citato da ChatGPT, Gemini o Google AI Mode: molti siti bloccano senza volerlo, altri credono di bloccare e non lo fanno.

## Quanti siti bloccano i crawler AI nel robots.txt?

Pochi, e sempre meno: a settembre 2026 il 13,0% dei domini analizzati vieta almeno un crawler AI nel robots.txt, contro il 15,2% di luglio. Lo dice l'[AI Crawler Block Index](https://hasdata.com/blog/ai-crawler-block-index) di HasData, aggiornato il 7 ottobre 2026, che ha analizzato 10.894 domini: i 10.000 più visitati della lista Tranco più 1.148 home page di testate giornalistiche. Il quadro cambia molto tra siti generici ed editori.

| Regola nel robots.txt | Top web (luglio → settembre) | Editori (luglio → settembre) |
| --- | --- | --- |
| Vieta almeno un crawler AI | 10,3% → 8,3% | 56,4% → 53,0% |
| Vieta GPTBot (OpenAI) | 7,9% → 5,7% | 50,5% → 46,9% |
| Pubblica un llms.txt | 7,9% → 9,3% | 3,2% → 4,5% |

Gli editori bloccano circa cinque volte più del resto del web, e in entrambi i gruppi il blocco dichiarato è in calo. Il file llms.txt cresce ma resta una nicchia: se vuoi sapere se vale la pena pubblicarlo, ne abbiamo parlato in [llms.txt serve davvero?](https://geosnap.ai/blog/llms-txt-serve-davvero-dati-2026).

## Due blocchi su cinque sono solo sulla carta

Dichiarare un blocco e applicarlo sono due cose diverse. HasData ha preso 2.096 domini (i primi 1.000 del web aperto più tutti gli editori) e ha fatto a ciascuno due richieste dallo stesso indirizzo IP: una con lo user-agent ufficiale di GPTBot, una con quello di un normale browser Chrome. Tra i 592 siti che vietano GPTBot nel robots.txt, [234 (il 39,5%) hanno comunque servito la pagina](https://hasdata.com/blog/ai-crawler-block-index) al crawler.

Vale anche il contrario. 115 siti a luglio e 178 a settembre bloccano GPTBot senza scriverlo nel robots.txt: il browser riceve la pagina, il crawler no. Tra gli editori la differenza è netta: a settembre il browser ottiene la pagina nell'83,1% dei casi, GPTBot nel 47,2%. Una distanza di quasi 36 punti, cresciuta rispetto ai 29,6 di luglio.

Per un brand che vuole comparire nelle risposte AI la lezione è semplice: il robots.txt è una dichiarazione di intenti. Il server fa quello che gli dicono CDN, firewall e plugin di sicurezza, spesso configurati da qualcun altro e in un altro momento. Se guardi solo il file, puoi credere di essere aperto mentre sei chiuso, o il contrario.

## Il CDN decide più del robots.txt

Il comportamento verso i crawler dipende soprattutto da chi serve le pagine. Nel sottoinsieme di 2.096 domini, HasData ha misurato come i principali CDN rispondono a una richiesta con lo user-agent di GPTBot:

| CDN | Pagina servita | Blocco diretto (403 e simili) | Challenge | Limite di frequenza |
| --- | --- | --- | --- | --- |
| CloudFront | 78,5% | 14,4% | 0,0% | 0,0% |
| Cloudflare | 51,3% | 16,9% | 24,7% | 0,5% |
| Akamai | 39,1% | 34,5% | 0,0% | 19,5% |
| Fastly | 27,3% | 61,5% | 0,0% | 0,6% |

Le "challenge" sono le pagine di verifica (JavaScript o CAPTCHA) che un crawler non supera. Un sito dietro Cloudflare le mostra a un crawler su quattro, spesso senza che il proprietario l'abbia deciso: basta un livello di sicurezza alto. Due avvertenze sui dati: le richieste di HasData usano lo user-agent di GPTBot ma non arrivano dagli IP ufficiali di OpenAI, quindi un CDN che verifica l'identità del bot potrebbe trattarle con più sospetto del crawler vero; e la misura riguarda GPTBot, il crawler di addestramento, non OAI-SearchBot, quello che alimenta la ricerca di ChatGPT. La differenza tra i due crawler la spieghiamo nella [guida ai crawler AI](https://geosnap.ai/blog/il-tuo-sito-blocca-chatgpt-guida-crawler-ai).

## Cloudflare: 118 siti hanno perso le regole senza accorgersene

Il dato più utile per chi usa Cloudflare riguarda il passaggio del 15 settembre 2026 alle nuove impostazioni. Tra i siti dietro Cloudflare, la quota con un divieto a GPTBot nel robots.txt è scesa [dal 17,1% al 9,9%](https://hasdata.com/blog/ai-crawler-block-index) in due mesi; tra gli altri siti è rimasta ferma (dal 18,7% al 18,6%). HasData ha cercato nelle copie archiviate da Common Crawl e ha trovato 118 siti su Cloudflare che ad agosto avevano il blocco gestito dal CDN, con tre elementi: una riga `Content-Signal: ai-train=no`, una riserva dei diritti ai sensi dell'articolo 4 della direttiva europea sul copyright e il divieto a GPTBot. Il 16 settembre quelle righe non c'erano più su nessuno dei 118.

La spiegazione sta nel nuovo meccanismo. Il 21 agosto 2026 Cloudflare ha presentato [Bot Preference Sync](https://blog.cloudflare.com/bot-preference-sync/), che genera il robots.txt a partire dalle impostazioni del pannello per tre categorie di bot: Search (ricerca), Agent e Training (addestramento). Il blocco è racchiuso tra i marcatori `# BEGIN Cloudflare Bot Preference Sync` e `# END`. Chi usava il vecchio "Managed robots.txt" riceve una richiesta di rivedere e confermare le preferenze prima della transizione. Nel frattempo, nei 6.451 robots.txt raccolti da HasData a settembre, il nuovo blocco non compariva ancora in nessuno.

Attenzione però a non leggere il dato al contrario: dei 21 siti colpiti che facevano parte anche del test dal vivo, 16 bloccavano o sfidavano ancora GPTBot a livello di server. Hanno perso la dichiarazione, non il blocco. Il rischio per te è doppio: se vuoi chiudere l'addestramento, le regole scritte dal CDN potrebbero non esserci più; se vuoi essere citato, un blocco a livello di rete potrebbe essere ancora attivo anche con un robots.txt pulito.

## Bloccare non ti toglie dalle risposte AI (e aprire non basta)

Un divieto nel robots.txt non elimina un sito dalle risposte di Google. Nel test di HasData su Google AI Mode, dieci domande hanno prodotto 82 domini citati; dei 52 presenti nel campione, [27 (il 51,9%) vietano almeno un crawler AI](https://hasdata.com/blog/ai-crawler-block-index), contro il 15% dell'intero campione. Il motivo è tecnico: Google-Extended regola l'uso per Gemini, non per AI Overviews e AI Mode, che pescano dal normale indice di ricerca. Bloccare GPTBot, invece, chiude l'addestramento dei modelli OpenAI ma non la ricerca di ChatGPT, che usa OAI-SearchBot.

Essere raggiungibili sta diventando ancora più importante per la scoperta delle pagine nuove. Il 15 ottobre 2026 Cloudflare e OpenAI hanno descritto un [progetto pilota](https://blog.cloudflare.com/cloudflare-openai-discovery-agentic-web), avviato a luglio su una parte della rete Cloudflare (circa l'1%), in cui segnali della rete aiutano il crawler di ricerca di OpenAI a trovare pagine nuove e a capire quando una pagina è cambiata, scartando pagine inesistenti, duplicate o in redirect. Il pilota ha portato "centinaia di milioni di pagine web nuove" all'indice. Un passaggio del post è utile per chi gestisce un sito: "un segnale su una pagina non concede il permesso di accedervi". Il segnale fa trovare la pagina; se il tuo sito blocca il crawler, resta fuori lo stesso.

## Cosa controllare sul tuo sito questa settimana

Non servono strumenti speciali, serve guardare sia la dichiarazione sia il comportamento reale.

1. **Leggi il robots.txt dal vivo**, non dal repository: cerca le righe per `GPTBot`, `OAI-SearchBot`, `ClaudeBot`, `PerplexityBot`, `Google-Extended` e i marcatori di Cloudflare. Se usavi le regole gestite, verifica che ci siano ancora e che dicano quello che vuoi.
2. **Fai due richieste dallo stesso IP**: una con lo user-agent di un browser, una con quello di OAI-SearchBot o GPTBot. Confronta codice di risposta e contenuto. Un 403, un 402, una pagina di verifica o una risposta vuota per il crawler sono un blocco, anche se il robots.txt tace.
3. **Apri il pannello del CDN**. Su Cloudflare, nella sezione AI Crawl Control, controlla le tre voci Search, Agent e Training e lo stato di Bot Preference Sync. Se vuoi essere citato ma non addestrare, la combinazione è Search aperto e Training chiuso, con l'avvertenza che i crawler misti (ricerca e addestramento insieme) possono finire bloccati.
4. **Guarda i log** di una settimana: se OAI-SearchBot o Googlebot non compaiono mai, il problema sta prima del robots.txt.
5. **Ripeti il controllo a ogni cambio di CDN, plugin di sicurezza o hosting**: è lì che le regole si perdono, come mostrano i 118 siti di Cloudflare.

Un esempio: un e-commerce di arredamento di Verona ha un robots.txt pulito, ma il livello di sicurezza del CDN mostra una challenge a ogni visitatore senza JavaScript. Per Google funziona, perché Googlebot è verificato, mentre i crawler AI ricevono la pagina di verifica e il brand non compare mai tra le fonti di ChatGPT. Nell'analisi tecnica Geosnap controlla anche il robots.txt e la raggiungibilità delle pagine, ma il test con i due user-agent lo puoi fare in cinque minuti.

## Fonti

- [L'indice dei blocchi ai crawler AI](https://hasdata.com/blog/ai-crawler-block-index) (HasData, 2026-10-07)
- [Cloudflare toglie i blocchi AI dal robots.txt di 118 siti, rileva HasData](https://ppc.land/cloudflare-drops-ai-opt-outs-from-118-sites-robots-txt-hasdata-finds/) (PPC Land, 2026-10-08)
- [Dillo una volta sola: arriva Bot Preference Sync](https://blog.cloudflare.com/bot-preference-sync/) (Cloudflare, 2026-08-21)
- [Cloudflare e OpenAI: una scoperta dei contenuti migliore per tutti](https://blog.cloudflare.com/cloudflare-openai-discovery-agentic-web) (Cloudflare, 2026-10-15)

## Domande frequenti

### Se blocco GPTBot nel robots.txt, sparisco da ChatGPT?

No. GPTBot è il crawler che OpenAI usa per l'addestramento dei modelli; la ricerca di ChatGPT usa OAI-SearchBot, che ha regole separate. Puoi vietare il primo e lasciare aperto il secondo. Controlla però anche CDN e firewall: nei dati di HasData il 39,5% dei siti che vietano GPTBot in realtà lo serve lo stesso, e 178 siti lo bloccano senza dichiararlo.

### Perché il mio robots.txt su Cloudflare è cambiato da solo?

Da agosto 2026 Cloudflare genera le regole per i bot AI con Bot Preference Sync, a partire dalle impostazioni Search, Agent e Training del pannello, e il 15 settembre ha cambiato le impostazioni predefinite. HasData ha trovato 118 siti in cui il vecchio blocco gestito (ai-train=no, riserva dei diritti e divieto a GPTBot) è scomparso durante la transizione. Chi usava il Managed robots.txt deve rivedere e confermare le preferenze nel pannello.

### Un sito che blocca i crawler AI può essere citato da Google AI Mode?

Sì. Nel test di HasData, il 51,9% dei domini citati da AI Mode vieta almeno un crawler AI nel robots.txt, contro il 15% del campione. AI Overviews e AI Mode usano il normale indice di Google; Google-Extended regola solo l'uso per Gemini e Vertex AI. Un blocco nel robots.txt quindi non ti toglie dalle risposte di Google.

### Come verifico se il mio CDN blocca i crawler AI?

Fai due richieste alla stessa pagina dallo stesso indirizzo IP: una con lo user-agent di un browser e una con quello di OAI-SearchBot o GPTBot. Se il crawler riceve un 403, un 402, una pagina di verifica o un contenuto diverso, c'è un blocco a livello di rete. Poi confronta con le impostazioni del pannello del CDN e con i log del server.