Chiuda la porta agli addestratori, non ai bibliotecari.

Un’azienda, tre bot con compiti diversi

La maggior parte dei fornitori di IA documenta tre tipi di visitatori. Un crawler di addestramento raccoglie pagine che potrebbero servire a costruire modelli futuri. Un crawler di ricerca costruisce l’indice che l’assistente consulta quando risponde citando le fonti. Un fetcher utente apre una pagina specifica perché qualcuno, in chat, gliel’ha chiesto.

Fonti: documentazione dei crawler di OpenAI, policy di Anthropic sui crawler, documentazione dei bot di Perplexity e elenco dei crawler comuni di Google. Queste pagine cambiano: legga la versione attuale prima di modificare un file in produzione.

Bloccare GPTBot non la nasconde dalla ricerca di ChatGPT

È l’equivoco più frequente. OpenAI precisa che ogni impostazione è indipendente: un sito può consentire a OAI-SearchBot di comparire nei risultati di ricerca e negare l’accesso a GPTBot. Quindi «abbiamo bloccato GPTBot e siamo spariti da ChatGPT» richiede un’altra spiegazione. Controlli OAI-SearchBot, il firewall e, perché no, se la pagina è semplicemente poco pertinente rispetto alla domanda.

Vale anche il contrario. Consentire GPTBot non le compra una citazione. OpenAI non descrive l’accesso per l’addestramento come un fattore di posizionamento nella ricerca di ChatGPT, e non abbiamo visto prove che funzioni così. Se qualcuno le dice il contrario, chieda la fonte.

Google e Bing funzionano in modo diverso

Non esiste un «bot delle AI Overview» separato da autorizzare. La guida di Google all’ottimizzazione per l’IA spiega che, per comparire nelle funzioni di IA generativa, una pagina deve essere indicizzata e idonea a comparire in Google Search con uno snippet. In pratica: normale accesso per Googlebot e controlli sugli snippet. Google-Extended è un’esclusione separata per l’addestramento e il grounding di Gemini, e Google afferma che non è un segnale di posizionamento in Search.

Search Console offre anche un proprio controllo sull’IA generativa per Search. Merita un’occhiata se le sue pagine non compaiono mai nelle AI Overview pur essendo ben posizionate.

Microsoft ha annunciato i controlli per Copilot tramite i tag già esistenti di Bing, non con un nuovo crawler. Nell’annuncio del 2023, NOARCHIVE tiene una pagina fuori dalle risposte in chat e dall’addestramento dei modelli, mentre NOCACHE limita le risposte a URL, titolo e snippet. Search Engine Journal ha riportato a febbraio 2026 che le linee guida aggiornate di Bing descrivono ancora NOARCHIVE come un modo per tenere i contenuti fuori dalle risposte di Copilot. Non siamo riusciti a caricare la pagina ufficiale delle linee guida per confermarne la formulazione: la verifichi prima di fare affidamento sull’effetto esatto.

Che cosa fa llms.txt (finora, non molto)

llms.txt è stato proposto a settembre 2024 come file Markdown che offre ai modelli linguistici un riepilogo ordinato di un sito. È una proposta, non uno standard che i principali assistenti si sono impegnati ad adottare.

Google è insolitamente diretta: creare un file llms.txt «non danneggerà né aiuterà» la sua visibilità in Google Search, perché Google Search lo ignora. Ahrefs ha misurato le richieste ai file llms.txt su 137.210 domini nei propri dati di analytics a maggio 2026, riportando che il 97% dei file trovati non aveva ricevuto alcuna richiesta. Sono dati di un fornitore, raccolti su siti attenti alla SEO: li consideri un indizio forte, non un censimento.

Quindi: se il file richiede dieci minuti e aiuta uno strumento per sviluppatori che usa davvero, nessun problema. Se un’agenzia glielo vende come strategia per ottenere citazioni, le sta vendendo un file di testo.

Il vero guardiano potrebbe non essere il robots.txt

Il robots.txt è una richiesta, non una serratura. Lo standard, RFC 9309, dice che le sue regole «non sono una forma di autorizzazione all’accesso». Per i team di marketing, però, è più comune il problema opposto: qualcosa davanti al sito blocca i bot che il robots.txt accoglie volentieri.

Cloudflare, per esempio, ha iniziato a chiedere ai nuovi domini se consentire i crawler IA a luglio 2025, e le sue impostazioni sui bot IA sono cambiate da allora, anche nel modo di trattare i bot che mescolano ricerca e addestramento. Se qualcuno ha spuntato una casella durante la configurazione, il robots.txt potrebbe dire sì mentre il firewall dice no.

• Apra il robots.txt pubblicato e annoti ogni user agent IA citato.
• Controlli nel firewall della CDN o dell’hosting le regole sui bot IA, le modalità anti-bot o le verifiche (challenge) sulle pagine pubbliche.
• Cerchi nei log del server o della CDN OAI-SearchBot, Claude-SearchBot, PerplexityBot e Bingbot. Ricevono risposte 200, oppure 403 e challenge?
• Metta per iscritto la decisione bot per bot, con motivazione e data. Tra un anno sarà lei stesso a ringraziarsi.

Un’impostazione di partenza sensata per la maggior parte dei brand

Se l’obiettivo è essere consigliati nelle risposte dell’IA, un punto di partenza ragionevole è: consentire i crawler di ricerca, valutare a parte i crawler di addestramento e lasciare intatto l’accesso dei normali motori di ricerca. Gli editori con archivi di valore possono legittimamente scegliere diversamente: le licenze sono una decisione di business, non un trucco SEO.

Poi misuri, invece di tirare a indovinare. L’accesso rende soltanto possibile una citazione. Essere davvero menzionati dipende dal fatto che la sua pagina risponda alla domanda del cliente meglio delle alternative. La nostra guida per migliorare la visibilità del brand nell’IA affronta questa parte, e la base di partenza gratuita mostra come verificare prima e dopo.