Apprendimento Rinforzato Multi‑agente per il Ripristino Resiliente di Sistemi Energetici Elettrico‑Gas

Introduzione

Le catastrofi estreme provocano il verificarsi di guasti a cascata che attraversano le reti elettriche e del gas, minacciando la sicurezza energetica urbana. In questo contesto, gli eventi estremi sono definiti come disturbi in cui la percentuale iniziale di componenti danneggiati supera il 30 % del totale, l’attrezzatura di accoppiamento cruciale è compromessa e le linee di trasmissione o i canali di trasporto del gas risultano parzialmente o totalmente interrotti. Tale situazione rende impossibile mantenere l’approvvigionamento energetico con la configurazione operativa pre‑disastro e impedisce il recupero tramite semplice ricalibrazione locale.

La forte interdipendenza tra i flussi energetici elettrici e del gas, la presenza di unità di generazione a gas centralizzate, lunghi tratti di trasporto e compressori elettrici comporta legami temporali e di coupling rigidi nel processo di recupero post‑disastro.

Problemi e Sfide Attuali

Le ricerche esistenti presentano numerose difficoltà strutturali:

• Il percorso di propagazione dei guasti dipende da topologia, relazioni di conversione energetica e distribuzione iniziale dei danni, con alta incertezza evolutiva.
• Le relazioni di coupling tra nodi danneggiati mostrano caratteristiche dinamiche complesse che variano con l’intensità del disastro.
• Durante il recupero, le risorse sono limitate e l’ordine di riparazione è vincolato dalla topologia della rete.
• Esiste un meccanismo fisico‑operativo bidirezionale tra il sistema elettrico e quello del gas, generando fenomeni di coupling temporale.
• Il processo di ricostruzione della tensione elettrica e della pressione del gas è intrinsecamente asimmetrico in termini di velocità di risposta, meccanismi di regolazione e vincoli di stabilità.
• L’ordine di ripristino dei nodi accoppiati può generare conflitti inter‑sistema, rendendo inefficaci le strategie di pianificazione tradizionali basate su assunzioni deterministiche.

Approcci Tradizionali

Le metodologie esistenti includono:

• Programmazione Mista Intera (MIP): utilizzata per modellare il recupero elettrico in più fasi, descrivendo esplicitamente la ricostruzione topologica e il ripristino del carico. Offre vantaggi nella chiarezza strutturale e nella descrizione dei vincoli.
• Modellazione del Gas: si basa sul meccanismo di flusso e sull’equilibrio di pressione, pianificando i tempi di riparazione assumendo condizioni quasi stazionarie.
• Apprendimento Rinforzato (RL): astrae il processo di recupero come problema decisionale sequenziale, apprendendo mapping in spazi di stato ad alta dimensionalità per migliorare l’adattabilità a disturbi incerti.

Le applicazioni MA‑DRL (Multi‑Agent Deep Reinforcement Learning) sono finora limitate a scenari monorete o a sistemi debolmente accoppiati, dove la funzione di valore d’azione congiunta non incorpora esplicitamente le dipendenze fisiche inter‑sottosistemi.

Proposta di Un Nuovo Modello

Il presente lavoro costruisce un ambiente di Processi Decisionale di Markov (MDP) per condizioni di disastro, definendo variabili di stato multidimensionale:

• Stato di guasto dei nodi.
• Distribuzione di tensione (elettrica) e pressione (gas).
• Vincoli delle risorse di recupero disponibili.

Si impiega un’architettura di addestramento centralizzato ed esecuzione distribuita per il MA‑DRL, consentendo la coordinazione delle politiche tra i sottosistemi elettrico e del gas mediante valutazione del valore d’azione congiunto e esecuzione di politiche locali.

Struttura della Ricompensa

È stata introdotta una struttura di ricompensa a più round per incorporare tre fattori chiave:

• Disponibilità energetica: percentuale di carico soddisfatto.
• Velocità di recupero: riduzione del tempo di inattività.
• Stabilità del recupero: capacità del sistema di mantenere operatività stabile dopo ogni passo.

Meccanismo di Curriculum Learning

Per superare la scarsa densità del segnale di ricompensa e i fallimenti di esplorazione in condizioni di alta perturbazione, è stato introdotto un meccanismo di curriculum learning. Le scenari di addestramento sono organizzati in ordine crescente di intensità del disastro, permettendo alla politica di:

• Acquisire comportamenti di recupero stabili in ambienti a bassa perturbazione.
• Trasferire gradualmente tale struttura a condizioni di disturbo estremo.
• Ottenere una convergenza più rapida e una generalizzazione robusta.

Modellazione degli Effetti di Ritardo

Il modello incorpora gli effetti di ritardo per trasmettere le conseguenze a lungo termine delle decisioni di riparazione al segnale di apprendimento, assicurando che le azioni immediate vengano valutate anche in base al loro impatto futuro sul sistema.

Risultati Sperimentali

Gli esperimenti sono stati condotti su scenari di intensità di disastro livello IV, con i seguenti risultati:

• Il tasso di disponibilità di energia raggiunge l’82,4 % entro le prime 0–3 ore post‑disastro.
• Il tempo totale di completamento del recupero collaborativo è di 5,7 ore.
• La percentuale di operatività stabile dopo il recupero è del 93,1 %.

Questi dati dimostrano l’efficacia della strategia di recupero collaborativo basata su MA‑DRL rispetto a metodi tradizionali.

Implicazioni e Potenziale Tecnologico

La ricerca evidenzia che l’apprendimento rinforzato profondo può fornire un percorso pratico per migliorare la resilienza dei sistemi energetici integrati, consentendo:

• Pianificazione dinamica e adattiva in presenza di alta incertezza.
• Coordinamento in tempo reale tra sottosistemi elettrici e del gas.
• Riduzione dei tempi di inattività e aumento della stabilità operativa.

Questo approccio apre la strada a ulteriori sviluppi, quali l’integrazione di fonti rinnovabili distribuite, la gestione di reti micro‑grigliate e l’estensione a scenari di disastri multipli.

Conclusioni

Il modello proposto, combinando MA‑DRL, training centralizzato, reward a più round, curriculum learning e modellazione dei ritardi, supera le limitazioni dei metodi tradizionali nella gestione di sistemi energetici elettrico‑gas sotto disastri estremi. I risultati sperimentali confermano una significativa miglioria nella disponibilità, nella rapidità e nella stabilità del recupero, dimostrando il valore dell’intelligenza artificiale avanzata per la resilienza delle infrastrutture critiche.