Agenti IA aggirano i limiti imposti dall’uomo. Intervista a Paganini «La garanzia assoluta non esiste»

È successo. Durante alcuni test interni, agenti sperimentali di OpenAI hanno aggirato i controlli che avrebbero dovuto isolarli da Internet e hanno raggiunto sistemi reali di Hugging Face, una delle principali piattaforme utilizzate per sviluppare e distribuire modelli di intelligenza artificiale. Hanno sfruttato vulnerabilità e sono riusciti a impartire comandi ai server della piattaforma, ottenendo accessi che non avrebbero dovuto avere. Le ricostruzioni più recenti indicano inoltre che non si sarebbe trattato di un episodio isolato.
Un agente di intelligenza artificiale non si limita a rispondere a una domanda. Riceve un obiettivo e deve raggiungerlo. Ed è proprio questa capacità a porre una questione sempre più difficile da ignorare. Se questi sistemi sono costruiti per cercare autonomamente la strada più efficace verso un risultato, possiamo davvero essere certi che i paletti fissati dagli esseri umani siano invalicabili?
mge NEWS ha intervistato Pierluigi Paganini, esperto di cybersecurity e intelligence, per capire che cosa distingue un’istruzione da una barriera tecnica, quali strumenti possono realmente limitare l’azione di un agente e soprattutto se sia possibile azzerare il rischio che trovi una strada che chi lo ha progettato non aveva previsto.

Partiamo dall’inizio. Che cos’è tecnicamente un agente di intelligenza artificiale e in cosa differisce da un normale modello con cui interagiamo attraverso un chatbot?
 «Un chatbot risponde principalmente alle richieste dell’utente. Un agente, invece, riceve un obiettivo e può pianificare una serie di azioni per raggiungerlo, usando strumenti come browser, terminale, API, file o sistemi esterni. In pratica non si limita a dire cosa fare: può anche farlo».

Quando diciamo che un agente ha una certa autonomia, che cosa significa concretamente? Chi stabilisce l’obiettivo, quali azioni può compiere e quali strumenti può utilizzare?
 «L’obiettivo lo definisce l’essere umano, mentre il sistema decide come raggiungerlo entro i limiti che gli vengono assegnati. Questi limiti possono riguardare strumenti, siti accessibili, permessi, tempo e tipo di operazioni consentite. Il problema nasce quando l’agente trova un modo alternativo per ottenere lo stesso risultato usando una possibilità che i progettisti non avevano previsto».

 In questi esperimenti gli agenti avevano dei paletti fissati dagli esseri umani. Come hanno potuto allora utilizzare siti esterni e servirsene anche per lasciare informazioni recuperabili da altri agenti? È venuta meno una regola impartita al modello, una barriera tecnica oppure entrambe le cose?
 «In questi casi il problema non sembra essere stato un modello che ha semplicemente ignorato una regola. OpenAI ha spiegato che alcuni ambienti di test contenevano configurazioni che permettevano agli agenti di raggiungere Internet o di usare servizi interni come canali di comunicazione, anche quando queste possibilità non erano previste. In un altro caso, gli agenti hanno usato sistemi intermedi autorizzati a scaricare pacchetti per inoltrare richieste verso Internet». 

 Quanto è importante distinguere tra un divieto dato attraverso le istruzioni e un limite tecnico che renda materialmente impossibile compiere una determinata azione?
 «È fondamentale. Dire a un agente "non usare Internet" è una regola comportamentale; impedire al sistema di avere realmente una connessione di rete è un controllo tecnico. La seconda misura è molto più forte, perché non chiede al modello di rispettare un limite: gli impedisce di avere quella possibilità».

 Esistono oggi strumenti tecnici realmente efficaci per impedire a un agente di IA di oltrepassare i limiti fissati dagli esseri umani, anche quando è progettato per cercare autonomamente soluzioni alternative? Oppure non è possibile garantire al cento per cento che non trovi una strada imprevista?
 «Esistono controlli molto efficaci, ma non esiste oggi una garanzia assoluta. Isolamento di rete, sandbox, permessi minimi e separazione dei sistemi possono ridurre drasticamente il rischio, ma la sicurezza dipende anche dal fatto che non esistano percorsi indiretti verso risorse esterne. Gli incidenti recenti mostrano proprio questo punto: un agente può sfruttare una capacità apparentemente innocua per raggiungere un risultato che non era stato previsto». 

 Se questi strumenti esistono, quali sono e quanto funzionano davvero? Sandbox, limitazioni dell’accesso alla rete, autorizzazioni granulari, supervisione umana, registrazione delle operazioni possono rendere un limite realmente invalicabile oppure possono soltanto ridurre il rischio che venga superato?
 «Una combinazione di questi controlli può rendere un sistema molto più sicuro. Ma bisogna progettare la sicurezza assumendo che un singolo controllo possa fallire: la rete va isolata, i permessi limitati, le azioni sensibili sottoposte ad approvazione e tutte le operazioni registrate. OpenAI stessa descrive i propri agenti come sistemi che richiedono più livelli di protezione, non una singola barriera». 

 Un agente viene costruito proprio per trovare il modo più efficace di raggiungere un obiettivo. Esiste quindi una tensione strutturale tra questa capacità e la necessità di impedirgli di percorrere strade che i progettisti non avevano previsto?
 «Sì, ed è uno dei problemi centrali dei sistemi agentici. Più libertà diamo al sistema di decidere come raggiungere un obiettivo, più aumentano le possibilità che trovi una soluzione non prevista. Non significa che l'agente abbia una volontà propria: significa che ottimizza il compito assegnato in modi che possono sorprendere chi lo ha progettato».

Come fa un sistema di questo tipo a distinguere un limite che non deve assolutamente oltrepassare da un semplice ostacolo rispetto al quale cercare una soluzione alternativa?
 «Non possiamo dare per scontato che lo sappia sempre. Per un modello, una frase come "non puoi fare X" può entrare in conflitto con un obiettivo che considera prioritario, mentre un limite tecnico ben progettato non gli lascia semplicemente quella possibilità. Per questo i controlli più importanti non dovrebbero dipendere soltanto dall'interpretazione del modello».

Quanto di ciò che è accaduto dipende dalle caratteristiche degli attuali agenti di IA e quanto invece da come erano stati progettati l’esperimento e le relative misure di sicurezza? Siamo davanti a un problema intrinseco degli agenti oppure soprattutto a barriere che si sono dimostrate insufficienti?
 «Direi entrambe le cose, ma non nella stessa misura. Gli incidenti di OpenAI includono casi in cui configurazioni errate hanno dato agli agenti capacità che non avrebbero dovuto avere, quindi c'è una responsabilità evidente nella progettazione dell'ambiente. Allo stesso tempo, il fatto che gli agenti abbiano trovato modi non previsti per usare quelle capacità dimostra un problema più generale di controllo dei sistemi autonomi». 

Il fatto che siano stati coinvolti siti e infrastrutture reali appartenenti a soggetti estranei agli esperimenti quanto cambia la valutazione dell’episodio dal punto di vista della cybersecurity? Quali potrebbero essere i rischi concreti se sistemi di questo tipo avessero accesso a strumenti e infrastrutture più sensibili?
 «La cambia parecchio, perché si passa da un errore confinato in un laboratorio a un evento con conseguenze su sistemi di terzi. Nel caso Hugging Face, OpenAI ha spiegato che gli agenti hanno raggiunto infrastrutture reali e, in altri episodi, hanno usato servizi pubblici come siti di paste, servizi di cattura delle richieste e strumenti web. Se un agente avesse accesso a sistemi aziendali, account cloud, database o infrastrutture critiche, un errore di questo tipo potrebbe trasformarsi in una vera compromissione».

Quanto è accettabile lasciare autonomia operativa a un sistema se non siamo certi che i limiti tecnici imposti dagli esseri umani siano davvero invalicabili?
 «La risposta, secondo me, dipende dal valore di ciò a cui diamo accesso. Più un sistema può creare danni reali, più dobbiamo pretendere controlli tecnici indipendenti dal modello, permessi minimi e supervisione sulle azioni ad alto impatto. L'autonomia non dovrebbe essere trattata come un interruttore acceso o spento: va concessa in proporzione al rischio che può generare».

Leggi anche:
- Sapete che i vostri figli hanno anche un "profilo spam" sui social? Cos'è e come comportarsi