Gli agenti AI visitano il tuo sito: bloccarli o no? Cosa dice Cloudflare

Non sono solo i crawler di ricerca e di addestramento a leggere il tuo sito. Sempre più richieste arrivano da agenti che lavorano per una persona precisa: un assistente che confronta tre preventivi, legge un menù, controlla se un prodotto è disponibile. Il 5 novembre 2026 Cloudflare ha dedicato a questi agenti un lungo intervento e nuovi controlli, e il giorno dopo il suo amministratore delegato ha detto che per alcuni clienti sono «una piaga». Qui trovi cosa li distingue dai crawler, perché costano, perché il robots.txt non basta a governarli e cosa conviene fare se vuoi che i brand continui a comparire nelle risposte dell'AI.

Che differenza c'è tra un crawler AI e un agente che lavora per un utente?

Un crawler visita il sito per conto di un motore; un agente lo visita per conto di una persona, adesso. Nell'intervento del 5 novembre Cloudflare definisce gli «agenti AI personali» come automazioni che ricevono istruzioni da un umano e perseguono un obiettivo controllando un computer o un browser nel cloud, ospitate da un operatore come OpenAI o Meta. Gli agenti che girano sul dispositivo dell'utente restano fuori dal discorso.

La distinzione è già scritta nella documentazione dei crawler di OpenAI, che separa tre user agent:

• OAI-SearchBot indicizza le pagine per la ricerca di ChatGPT: se lo blocchi, il sito non compare nelle risposte.
• GPTBot raccoglie contenuti per addestrare i modelli: bloccarlo non ti toglie dalla ricerca.
• ChatGPT-User apre una pagina quando un utente lo chiede. OpenAI scrive che «non è usato per scansionare il web in modo automatico», che non decide cosa compare nella ricerca e che, poiché le azioni partono da un utente, «le regole del robots.txt potrebbero non applicarsi».

Lo stesso schema vale per gli altri motori: accanto ai crawler di ricerca esistono Claude-User e Perplexity-User, che si muovono solo quando qualcuno fa una domanda. Se nel 2026 hai sistemato il robots.txt seguendo la guida ai crawler AI, questi agenti sono la parte che quelle regole coprono meno.

Perché Cloudflare dice che gli agenti costano ai siti?

Perché generano richieste che il sito paga senza ricevere né una visita né una vendita. Nella conferenza sui risultati del terzo trimestre, riportata da The Register il 6 novembre, Matthew Prince ha usato l'esempio dei ristoranti: un agente che deve scegliere dove prenotare apre mille siti e scarica mille menù, e «999 di quei ristoranti hanno appena subito un costo». Alcuni clienti, ha aggiunto, considerano gli agenti «una piaga per il loro business e vogliono tenerli lontani».

I numeri che Cloudflare mette in fila sono questi:

• secondo Fortune, il traffico automatico ha superato quello umano a maggio 2026, prima del previsto, e «quasi il 60% delle richieste» ai siti arriva oggi da bot;
• Prince prevede che tra cinque anni il traffico automatico possa valere mille volte quello umano;
• nella conferenza del 6 novembre ha detto che circa il 5% del web ha attivato i prodotti di protezione dei contenuti di Cloudflare dal 1° luglio.

L'intervento del 5 novembre elenca quattordici problemi aperti, dalla verifica dell'identità all'uso di carte non autorizzate, e conclude che «in quasi tutti, il sito sopporta il costo principale». Uno dei casi descritti è esattamente quello dei preventivi: il sito paga per servire la pagina «e non ottiene una visita, un'impressione pubblicitaria o un acquisto». Tieni però presente che Cloudflare vende i prodotti che risolvono il problema che descrive: i dati sono utili, la lettura va fatta con questo in mente.

Il robots.txt basta per governare gli agenti?

No. Cloudflare lo dice in chiaro: «Il robots.txt dice dove può andare un crawler, ma non è adatto a esprimere cosa possono fare gli agenti». Oggi un agente capisce le regole di un sito «provando qualcosa e interpretando la risposta», di solito scoprendo se viene bloccato. Per questo Cloudflare chiede un formato leggibile dalle macchine che dichiari quali azioni sono permesse, e ha promosso una coalizione, Trusted Agent Delegation, per portare il problema all'IETF.

I dati confermano che il file da solo non ferma gli agenti. Il rapporto di TollBit sul primo semestre 2026, ripreso da Search Engine Journal, ha misurato che sui siti europei analizzati circa il 15% dei bot AI identificati che recuperano pagine ha raggiunto indirizzi vietati; ChatGPT-User, Bytespider e Youbot lo hanno fatto su quasi metà dei siti europei che li avevano elencati. Lo stesso rapporto dice che solo il 9% dei siti europei vieta Claude-User, contro il 26% in Nord America, e il 13% Perplexity-User, contro il 26%.

Questo non significa che gli agenti violino le regole: OpenAI dichiara apertamente che per ChatGPT-User il robots.txt può non valere. Significa che, se vuoi davvero decidere chi entra, devi farlo a livello di server o CDN, come già vale per i blocchi dichiarati e non applicati. Il nuovo segnale unico contro l'addestramento non c'entra: riguarda i modelli, non gli agenti.

Cosa perde un brand se blocca gli agenti?

Perde il momento in cui l'assistente di un cliente sta scegliendo. Quando una persona chiede a ChatGPT «trovami un hotel a Bologna con parcheggio sotto i 150 euro», l'agente apre le pagine dei prezzi e delle camere e risponde con quello che riesce a leggere. Se la tua pagina restituisce una verifica anti-bot, un errore o una pagina vuota, la risposta la costruisce con i siti dei concorrenti. Cloudflare lo scrive nel suo elenco: «Non ci si aspetta mai che gli agenti siano umani», quindi un CAPTCHA li ferma senza che l'utente lo sappia.

La scelta non è tutto o niente. Dal 15 settembre 2026 Cloudflare ha sostituito l'interruttore unico «Block AI Bots» con tre controlli indipendenti, ricerca, addestramento e agenti, con impostazioni predefinite diverse per i nuovi siti: chi ospita pubblicità ha la ricerca attiva, l'addestramento vietato e gli agenti bloccati sulle pagine con annunci; tutti gli altri hanno i tre canali aperti. Lo stesso comunicato dice che meno dell'1% dei siti blocca i crawler di ricerca e il 17% limita l'addestramento: la maggioranza ha già capito che ricerca e addestramento vanno trattati in modo diverso. Con gli agenti vale la stessa logica.

Pensa a un'agenzia di viaggi di Torino: se il listino delle partenze è leggibile, l'assistente del cliente la propone; se è dietro una verifica, propone un'altra agenzia. Il costo di servire quella pagina è reale, ma il costo di non comparire è più alto.

Cosa controllare oggi sul tuo sito

1. Guarda i log. Cerca gli user agent ChatGPT-User, Claude-User e Perplexity-User e verifica quale codice di risposta ricevono. Un 403 o una pagina di verifica su prezzi e schede prodotto è un problema da risolvere subito.
2. Controlla CDN e firewall. Il 5 novembre Cloudflare ha annunciato che Security Analytics separa gli assistenti personali in una categoria di traffico a parte e che le policy di accesso permettono, per ogni agente, di consentirlo su tutto il sito, bloccarlo solo sulle pagine con pubblicità o escluderlo. Se usi un altro fornitore, cerca l'equivalente: il punto è non lasciare la decisione a una regola generica anti-bot.
3. Separa ricerca, addestramento e agenti. Decidi tre cose diverse, non una. Nell'analisi tecnica Geosnap controlla anche il robots.txt e la raggiungibilità delle pagine dai motori AI, così vedi se un blocco vale solo sulla carta o anche sul server.
4. Metti le informazioni nell'HTML. Un agente che legge la pagina in pochi secondi deve trovare prezzo, disponibilità, orari e condizioni nel testo, non in un'immagine o dopo tre clic.
5. Proteggi le azioni, non le letture. Cloudflare ha aperto in accesso anticipato una funzione che mostra, su login e registrazioni, se la richiesta arriva da un agente e da quale: usa controlli di questo tipo dove c'è un rischio, non sulle pagine che vuoi far leggere.

Cosa arriva nei prossimi mesi

Un modo per riconoscere gli agenti e chi c'è dietro. Cloudflare propone che gli agenti firmino le richieste con Web Bot Auth e dichiarino un livello di identità dell'utente, da nessuno a un identificativo unico, in modo che un sito possa fermare un singolo account che abusa senza bloccare l'agente per tutti. La coalizione Trusted Agent Delegation porterà queste proposte all'IETF, dove il gruppo AIPREF lavora già alle preferenze per i crawler. Il comunicato del 15 settembre anticipa inoltre che entro l'inizio del 2027 Cloudflare vuole dare ai siti un controllo su quanto contenuto finisce nei riassunti AI.

Nel frattempo la regola pratica è semplice: tratta gli agenti come clienti con poca pazienza. Rendi leggibile ciò che vuoi vendere, metti un cancello solo dove serve e controlla nei log che il cancello non sia finito davanti alla vetrina.

Fonti

• Gli agenti non sono umani (ma un po' sì) (Cloudflare, 2026-11-05)
• Gli agenti AI sono «una piaga» per alcuni gestori di siti, dice Cloudflare (The Register, 2026-11-06)
• Cloudflare: ricerca e addestramento AI non sono più un aut aut (Cloudflare, 2026-09-15)
• I bot superano il traffico umano sul web: il CEO di Cloudflare vuole che le aziende AI paghino (Fortune, 2026-09-18)
• Panoramica dei crawler OpenAI (OpenAI Developers, 2026-11-08)
• OpenAI: il robots.txt potrebbe non applicarsi al bot di ChatGPT che recupera le pagine (Search Engine Journal, 2026-08-14)