AI Dictionary › Regolamentazione
Rischio sistemico AI
Systemic risk in the AI context refers to the possibility that a model or AI system, because of its scale, spread or capability, produces extensive negative effects that go beyond a single use or a single user, reaching society, the economy or public safety on a large scale. It is a concept distinct from the risk tied to a single AI application, because it concerns the aggregate impact of a model used by millions of people or integrated into critical infrastructure.
Systemic risk in the AI context refers to the possibility that a model or AI system, because of its scale, spread or capability, produces extensive negative effects that go beyond a single use or a single user, reaching society, the economy or public safety on a large scale. It is a concept distinct from the risk tied to a single AI application, because it concerns the aggregate impact of a model used by millions of people or integrated into critical infrastructure.
In the EU AI Act, systemic risk is associated in particular with the most capable general-purpose models, identified based on thresholds of computational capacity used during training or other indicators of advanced capability. These models are subject to additional obligations beyond those for other GPAI models: in-depth risk assessments, specific safety testing (including that carried out by independent third parties), serious-incident monitoring and reinforced cybersecurity measures.
For frontier model providers, systemic risk entails more structured internal governance processes, often inspired by safety practices already in use in other highly critical sectors, such as aviation or nuclear energy, adapted to the specific nature of generative AI models.
The concept entered the regulatory debate from 2023 onward, when the growing power of the most advanced language models pushed legislators and safety researchers to distinguish between ordinary risks, manageable with traditional risk-management tools, and risks of a scale requiring specific oversight at the level of the individual model.
Il rischio sistemico in ambito AI indica la possibilità che un modello o sistema di intelligenza artificiale, per la sua scala, diffusione o capacità, produca effetti negativi estesi che vanno oltre il singolo utilizzo o il singolo utente, arrivando a impattare la società, l'economia o la sicurezza pubblica su larga scala. È un concetto distinto dal rischio legato a una singola applicazione AI, perché riguarda l'impatto aggregato di un modello usato da milioni di persone o integrato in infrastrutture critiche.
Nell'EU AI Act, il rischio sistemico è associato in particolare ai modelli per finalità generali più potenti, identificati sulla base di soglie di capacità computazionale utilizzate in fase di addestramento o di altri indicatori di capacità avanzate. Per questi modelli sono previsti obblighi aggiuntivi rispetto agli altri modelli GPAI: valutazioni approfondite dei rischi, test di sicurezza specifici (compresi quelli condotti da terze parti indipendenti), monitoraggio degli incidenti gravi e misure di cybersicurezza rafforzate.
Per i fornitori di modelli di frontiera, il rischio sistemico comporta processi di governance interna più strutturati, spesso ispirati a pratiche di sicurezza già in uso in altri settori ad alta criticità, come l'aviazione o l'energia nucleare, adattate alla natura specifica dei modelli di AI generativa.
Il concetto è entrato nel dibattito regolatorio a partire dal 2023, quando la crescente potenza dei modelli linguistici più avanzati ha spinto legislatori e ricercatori di sicurezza a distinguere tra rischi ordinari, gestibili con gli strumenti tradizionali di gestione del rischio, e rischi di scala tale da richiedere una sorveglianza specifica a livello di singolo modello.
From our network
Magellano GPS — Fleet Tracking Made Simple
Real-time GPS tracking, remote engine lock, fuel and CO₂ reporting for your fleet.
Visit magellanogps.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.