Dal 15 settembre 2026 cambierà la gestione dei bot AI e dei crawler utilizzati per l’indicizzazione. Una configurazione non corretta potrebbe influire sulla presenza del sito nei motori di ricerca.
Cloudflare è uno dei servizi più utilizzati per proteggere siti e applicazioni web, migliorandone sicurezza, disponibilità e prestazioni. In molti casi, l’azienda potrebbe utilizzarlo senza esserne pienamente consapevole, perché la configurazione è avvenuta in passato da un fornitore con il quale è stata interrotta la collaborazione.
A breve, Cloudflare introdurrà nuove regole per distinguere i crawler impiegati per la ricerca da quelli utilizzati per l’addestramento dei modelli di intelligenza artificiale e per le attività degli agenti AI.
Search, Agent e Raining
Cloudflare suddividerà il traffico automatizzato in tre categorie principali:
- Search: crawler che indicizzano le pagine per renderle disponibili nei risultati di ricerca;
- Agent: sistemi che accedono a un sito per svolgere attività richieste da un utente;
- Training: crawler che acquisiscono contenuti per addestrare o perfezionare modelli AI.
Per i nuovi domini attivati sulla piattaforma, i bot classificati come Training e Agent saranno bloccati per impostazione predefinita nelle pagine che ospitano inserzioni pubblicitarie. I crawler destinati esclusivamente alla ricerca continueranno invece a essere autorizzati.
Il rischio dei crawler a uso misto
L’aspetto più delicato riguarda i crawler utilizzati per più finalità.
Googlebot, Applebot e Bingbot possono svolgere attività che non si limitano alla sola indicizzazione. Quando un unico bot combina ricerca e utilizzo dei contenuti da parte dell’intelligenza artificiale, diventa difficile distinguere le diverse ragioni per cui accede al sito.
Cloudflare applicherà ai crawler multifunzione la regola più restrittiva tra quelle configurate. Se nell’account è attivo il blocco dei bot destinati al Training, il sistema potrebbe quindi bloccare anche un crawler impiegato per indicizzare le pagine.
Questo non significa che tutti i siti protetti da Cloudflare perderanno automaticamente visibilità. Significa però che alcune configurazioni dovranno essere verificate per evitare conseguenze indesiderate.
Protezione dei contenuti o visibilità?
Una configurazione troppo permissiva potrebbe consentire ai sistemi AI di acquisire e riutilizzare i contenuti pubblicati. Una configurazione troppo restrittiva potrebbe invece impedire l’accesso a crawler importanti per la presenza del sito nei motori di ricerca.
Non esiste un’impostazione adatta a tutte le organizzazioni. La scelta deve considerare:
- il valore dei contenuti pubblicati;
- l’importanza del traffico proveniente dai motori di ricerca;
- la presenza di informazioni proprietarie;
- le categorie di bot da autorizzare o bloccare;
- gli obiettivi commerciali e di visibilità del sito.
La configurazione deve quindi essere valutata considerando insieme sicurezza, indicizzazione e strategia digitale.
La sicurezza deve essere monitorata
Il cambiamento annunciato da Cloudflare evidenzia un principio fondamentale: non basta attivare uno strumento di sicurezza e considerare concluso il lavoro.
Le piattaforme evolvono, le impostazioni cambiano e nascono nuove categorie di traffico. Una configurazione corretta al momento dell’attivazione potrebbe non essere più adeguata dopo alcuni mesi.
Per questo la sicurezza deve essere monitorata e aggiornata da professionisti capaci di valutarne anche gli effetti operativi e commerciali.
Molte aziende potrebbero non sapere se il proprio sito utilizza Cloudflare o quali impostazioni siano attualmente configurate.
I-Team mette a disposizione una consulenza gratuita per verificare:
- se il sito utilizza Cloudflare;
- le regole applicate ai crawler e ai bot AI;
- i possibili effetti delle modifiche previste dal 15 settembre;
- eventuali rischi per l’indicizzazione e la visibilità online;
- l’adeguatezza della configurazione di sicurezza.
La sicurezza non è una configurazione da effettuare una sola volta, ma un processo da controllare e aggiornare nel tempo.
Richiedi una verifica gratuita