L'Intelligenza Artificiale (IA) sta rivoluzionando il modo in cui affrontiamo e risolviamo problemi complessi in vari campi, dalla sanità alla finanza, dall'industria automobilistica alla giustizia. Tuttavia, mentre l'IA diventa sempre più presente nelle nostre vite, emerge una domanda cruciale: come fa esattamente l'IA a prendere le sue decisioni? Per esempio, come fa un'applicazione di IA a determinare se una persona è idonea per un prestito? Questa domanda ci porta al cuore del "problema della scatola nera" nell'IA. In questo articolo esploreremo cos'è il problema della scatola nera, perché è rilevante, e quali sono le possibili soluzioni.

Dentro la mente dell’IA: il problema della scatola nera

Quando si parla di "scatola nera" nell'IA, non si intende un oggetto fisico. Questo termine si riferisce ai sistemi di intelligenza artificiale che prendono decisioni o fanno previsioni in modo non trasparente, impedendo alle persone di comprendere il loro processo decisionale. È come se l'IA fosse un meccanismo chiuso dentro a una scatola: si inseriscono dei dati da un lato e si ottiene un risultato dall'altro, ma non si può vedere cosa succede all'interno.

Analogamente, si può pensare a come i bambini imparano a riconoscere le lettere dell'alfabeto o gli animali. Dopo aver visto tanti esempi di lettere “A” o di cani, saranno in grado di identificare una “A” o un cane. Ma se chiedessimo loro (o anche a un adulto!) come fanno a riconoscerli, probabilmente non saprebbero spiegarcelo. L'IA funziona in modo simile: impara a riconoscere schemi ricorrenti e tendenze nei dati che le vengono forniti, ma non sa spiegare il suo processo decisionale.

Tecnicamente, gli esperti sanno benissimo come funzionano le reti neurali e qual è il processo con cui aggiornano i loro parametri interni durante l’addestramento (ne abbiamo parlato qui). Tuttavia, non riescono a capire fino in fondo come ogni parametro contribuisca al risultato finale.

Perché è un problema, con storie vere

Difficoltà nel correggere risultati indesiderati

Poiché non si comprende come i parametri interagiscono per produrre i risultati finali, non si sa come modificarli se si vuole correggere un risultato indesiderato. Per esempio, nel 2015 L'IA di Google Photos ha erroneamente etichettato due persone afroamericane come "gorilla". Tuttavia, non c'era un modo chiaro per correggere questo errore senza riaddestrare da zero il modello.

Ragazzi di colore etichettate come “gorilla” da Google Photos

Fiducia e affidabilità

La mancanza di trasparenza rende difficile fidarsi dei sistemi di IA. Per esempio, il sistema Watson era stato progettato da IBM per assistere i medici nella diagnosi e nel trattamento del cancro. Tuttavia, i medici trovavano difficile fidarsi delle raccomandazioni di Watson perché il sistema spesso suggeriva trattamenti non appropriati o non fattibili. La mancanza di trasparenza su come Watson arrivasse alle sue conclusioni ha portato a scetticismo tra il personale sanitario.

“IBM Watson: come mai la sanità IA è così difficile?” su Forbes

Responsabilità

Chi è responsabile quando un'IA commette un errore? Un esempio è l'algoritmo COMPAS utilizzato dalla giustizia statunitense per valutare la probabilità che un criminale commetta un altro reato. Se COMPAS stima delle probabilità troppo alte, chi è responsabile dell’enorme impatto sulle vite degli imputati? I programmatori? L'azienda produttrice?

“L’IA sta mandando le persone in prigione, e sbagliando tutto” su MIT Technology Review

Sicurezza

Sistemi di IA che non comprendiamo del tutto possono prendere decisioni dannose inaspettate. Per esempio, ci sono stati diversi casi in cui il sistema Autopilot di Tesla non è riuscito a riconoscere ostacoli o ha interpretato male le condizioni stradali, portando a incidenti. Senza una comprensione chiara di come il sistema prende le sue decisioni, è difficile creare IA sicure.

“Autopilot e guida automatica completa di Tesla associati a centinaia di incidenti, dozzine di morti” su The Verge

Problemi etici

I sistemi di intelligenza artificiale possono incorporare e amplificare i pregiudizi e le discriminazioni esistenti nella società. Un esempio famoso è lo strumento di reclutamento basato sull'IA di Amazon, che discriminava contro le donne. Questo perché era stato addestrato su curriculum presentati in un periodo di dieci anni, che erano prevalentemente di uomini. Anche in questo caso, non è possibile correggere questo errore senza addestrare di nuovo l’IA su una diversa selezione di curriculum.

“Amazon abbandona il segreto strumento IA di selezione del personale che mostrava pregiudizi contro le donne” su Reuters

Conformità alle norme

La scarsa comprensibilità di questi sistemi complica il rispetto delle regole sulla trasparenza. Per esempio, nel 2019, è stato rivelato che gli appaltatori di Apple ascoltavano le registrazioni delle interazioni degli utenti con l’assistente Siri senza il loro consenso esplicito. Queste registrazioni includevano conversazioni private e informazioni sensibili. Apple ha dovuto affrontare un’indagine per le violazioni della privacy, oltre a subire un danno di immagine.

“Confermato: Apple coinvolta nello scandalo sulla privacy di Siri, ha permesso agli appaltatori di ascoltare registrazioni vocali private” su Forbes

Idee per un’IA più trasparente

Per affrontare il problema della scatola nera, esperti del settore stanno sviluppando approcci sia tecnici che normativi.

Spiegabilità

La spiegabilità mira a creare sistemi di IA che possano spiegare il loro processo decisionale, permettendo agli umani di capire come e perché una certa decisione è stata presa. Questo porterebbe le IA ad essere anche più conformi alle norme di legge.

Pensa ad un’IA progettata per prevedere il rischio di un paziente di sviluppare una patologia, basandosi sulla sua cartella clinica. Un modo per rendere questa IA più spiegabile è creare grafici che mostrano quali fattori (come età, peso, pressione sanguigna, …) l'IA ha considerato più importanti nella sua previsione. Questo aiuta i medici a capire in che modo l’IA ha raggiunto le sue conclusioni.

La spiegabilità, però, ha anche dei limiti. I modelli di IA avanzati, come le reti neurali profonde (“deep learning"), sono molto complessi ed è difficile renderli completamente spiegabili. Nel caso della previsione di malattie, anche conoscere i fattori chiave usati dall'IA non spiega completamente il suo processo di decisione. Inoltre, tecniche di spiegabilità che funzionano in un ambito, come quello della medicina, potrebbero non funzionare in un ambito diverso, come quello della finanza. Se invece si volessero semplificare i modelli per renderli più spiegabili, si perderebbero le capacità di fare previsioni accurate.

Interpretabilità

L'interpretabilità è un sottoinsieme della spiegabilità che si concentra sul capire come ogni parte di un'IA contribuisce al risultato.

Un esempio di successo nell’ambito dell’interpretabilità è stato ottenuto con una rete neurale per il riconoscimento delle immagini. I ricercatori sono riusciti a identificare neuroni specifici che rilevano elementi interpretabili dall'uomo, dai più semplici come linee e bordi, ai più complessi come occhi, facce di cani e automobili.

Esempi di immagini che attivano al massimo alcuni neuroni di una rete per il riconoscimento di immagini (ogni immagine quadrata corrisponde a un neurone). Immagini tratte da Zoom In: An Introduction to Circuits di Chris Olah

Tuttavia, come per la spiegabilità, i modelli altamente complessi sono molto difficili da interpretare, e ogni campo e applicazione richiede tecniche specifiche.

Approcci normativi

Sempre più legislatori stanno lavorando per imporre standard di trasparenza nell'IA. Ad esempio, l'Unione Europea ha sviluppato l'AI Act, che mira a classificare le applicazioni di IA in categorie di rischio e imporre requisiti di trasparenza. Più un'IA opera in un campo ad alto rischio, come la medicina, più deve essere trasparente.

Tuttavia, ci sono sfide nella standardizzazione dei modelli di IA. Una legge di New York che richiede ai datori di lavoro di sottoporre a ispezione i loro strumenti IA di decisione sull'impiego per pregiudizi razziali e di genere, per esempio, è stata giudicata inefficace da uno studio della Cornell University.

Modelli open-source

Lo sviluppo di IA open-source può aumentare la trasparenza permettendo a chiunque di esaminare il codice. Anche questo approccio, però, ha i suoi limiti. Le aziende spesso nascondono componenti chiave, come i dati di addestramento o il modo in cui li hanno pre-processati, per proteggere la loro proprietà intellettuale.

Ricapitolando: la sfida dell’IA comprensibile

Il problema della scatola nera nell'intelligenza artificiale si riferisce al fatto che non sappiamo spiegare esattamente come i modelli di IA arrivano alle loro decisioni e previsioni. Questo porta a problemi etici, di affidabilità, sicurezza e conformità alle norme. Mentre gli esperti lavorano su soluzioni tecniche come la spiegabilità e l'interpretabilità, è anche necessario un impegno da parte di aziende, politica e società civile per garantire che l'IA sia trasparente, equa e affidabile.

Per  approfondire quali rischi specifici pongono le IA moderne, puoi leggere questo articolo.

‍