AI e robots.txt: nuovi controlli e Google-Extended
Google prevede di supportare da inizio 2027 un segnale condiviso nel robots.txt per indicare se i contenuti di un sito possono essere usati per addestrare modelli di AI generativa.
Nel frattempo, Google-Extended è già disponibile. Limitarlo non cambia l’indicizzazione o il ranking su Google Search.
Può invece incidere sull’uso delle pagine come fonti nelle risposte di Gemini.
È una distinzione che conta per un editore che vuole continuare a farsi trovare su Google e allo stesso tempo limitare l’uso delle proprie inchieste per il training.
La scelta dipende da dove vuole mantenere visibilità e da quali usi dei contenuti intende limitare.
Cos’è Google-Extended e cosa controlla?
Google-Extended è un identificatore che Google legge nel file robots.txt.
Si indica sulla riga User-agent e non corrisponde a un crawler separato.
Google continua a usare i suoi crawler esistenti. Nei log del server, quindi, non vedrai un bot chiamato Google-Extended.
Il controllo riguarda due usi dei contenuti che Google ha già scansionato.
- Addestramento delle future generazioni di modelli Gemini che alimentano Gemini Apps e le API Gemini di Vertex AI.
- Grounding in Gemini Apps e in Grounding with Google Search su Vertex AI. Quando riceve una richiesta, il sistema può attingere all’indice di Google e usare una pagina come fonte per costruire la risposta, senza addestrare il modello in quel momento.
Un editore può, per esempio, escludere la sezione /inchieste/ con una regola per Google-Extended e continuare a consentirne la scansione a Googlebot.
La sezione può restare indicizzata in Search: la restrizione si applica agli usi coperti da Google-Extended.
Se vuoi limitare il training e restare disponibile come fonte in Gemini, Google-Extended da solo non permette di separare le due scelte.
Come funzionerà il nuovo controllo AI nel robots.txt?
Nell’annuncio del 30 Ottobre 2026, Google ha spiegato che intende supportare un segnale basato sul lavoro di AIPREF, il gruppo dell’Internet Engineering Task Force (IETF) che si occupa delle preferenze d’uso dei contenuti per l’AI.
La bozza tecnica, aggiornata il 16 Novembre, propone l’identificatore __usage_ai-training. Usa la sintassi del robots.txt e permette di esprimere una preferenza per tutto il sito o per singoli percorsi.
L’idea è che un sito possa indicare la stessa preferenza a più fornitori, purché ciascuno supporti il segnale.
Per Google c’è un dettaglio importante.
Se il sito usa il nuovo segnale per escludere il training e non specifica una regola per Google-Extended, Google prevede di interpretare quella scelta come una restrizione per Google-Extended.
L’effetto potrebbe quindi estendersi anche al grounding nei prodotti Gemini coperti da quel controllo.
Le regole specifiche per Google-Extended continueranno a funzionare accanto al segnale condiviso.
Per ora, Google ha annunciato il supporto e deve ancora attivarlo. Il segnale è descritto in una bozza e ogni fornitore potrà decidere se adottarlo.
Fino al rilascio, per Google restano validi i controlli già disponibili.
Bloccare Google-Extended esclude il sito da AI Overviews e AI Mode?
No. Gemini Apps e le funzionalità AI di Google Search seguono controlli diversi.
AI Overviews e AI Mode fanno parte di Google Search. Per poter comparire come link di supporto, una pagina deve essere indicizzata e idonea a essere mostrata con uno snippet.
Bloccare Google-Extended non modifica questi requisiti.
Se vuoi limitare ciò che Google mostra o riutilizza nelle funzionalità AI di Search, i controlli da valutare sono nosnippet, data-nosnippet e max-snippet.
Per escludere del tutto una pagina dall’indice puoi usare noindex. Googlebot deve poter raggiungere la pagina per leggere la direttiva.
Bloccarla anche nel robots.txt può impedirgli di vedere il noindex.
Come gestire i crawler AI da oggi?
Prima di toccare il robots.txt, conviene distinguere accesso, indicizzazione e uso dei contenuti.
Un sito può voler mantenere accessibili a Google le pagine che generano traffico e contatti, lasciare aperta la possibilità di comparire nelle risposte AI e limitare il training dove il fornitore offre un controllo separato.
OpenAI, per esempio, documenta due impostazioni indipendenti. OAI-SearchBot riguarda la ricerca in ChatGPT, mentre GPTBot è associato all’addestramento dei modelli.
Puoi quindi consentire il primo e limitare il secondo. Google-Extended, invece, gestisce insieme il training e gli usi di grounding descritti sopra.
Per un audit, partirei da tre verifiche.
- Leggi il file pubblicato. Controlla le regole generali, quelle per i singoli bot e i file dei sottodomini rilevanti. Il
robots.txtdel dominio principale non si applica automaticamente agli altri host. - Individua le sezioni che richiedono regole diverse. Guide pubbliche, schede prodotto e ricerche originali possono avere obiettivi diversi. Se la struttura degli URL lo consente, applica la regola alla sezione interessata.
- Verifica gli URL chiave dopo ogni modifica. Il report
robots.txtdi Search Console mostra il file recuperato da Google ed eventuali errori. Con Controllo URL puoi verificare se Google riesce a scansionare le pagine prioritarie. Questi strumenti verificano l’accesso per Search. Non dicono se una pagina sia stata usata per addestrare un modello.
Prima del 2027, la decisione utile è quali contenuti rendere disponibili, a chi e per quale uso.
Quando Google attiverà il segnale condiviso, sarà più semplice capire dove usarlo e dove mantenere una regola specifica.
Se stai rivedendo le impostazioni del tuo sito, con la consulenza SEO per AI, AEO e GEO di RichClicks puoi partire da un audit delle regole di accesso e delle pagine che vuoi mantenere visibili in Search e nei motori AI.









