L'Intelligenza Artificiale (IA) sta rivoluzionando il modo in cui affrontiamo e risolviamo problemi complessi in vari settori, dalla sanità alla finanza, dall'industria automobilistica alla giustizia. Tuttavia, mentre l'IA diventa sempre più presente nelle nostre vite, emerge una domanda cruciale: come fa esattamente l'IA a prendere le sue decisioni? Per esempio, come fa un algoritmo di IA a determinare se una persona è idonea per un prestito? 

La mancanza di trasparenza nel processo decisionale dell’intelligenza artificiale è nota come "problema della scatola nera". In questo articolo esploreremo cos'è il problema della scatola nera, perché rappresenta un rischio e quali soluzioni vengono studiate per rendere più “interpretabili” i sistemi di intelligenza artificiale.

Dentro la mente dell’IA: cos’è il problema della scatola nera?

Quando si parla del "problema della scatola nera" nell'IA, non si fa riferimento a un oggetto fisico. Questo termine si riferisce ai sistemi di intelligenza artificiale che prendono decisioni o fanno previsioni in modo non trasparente, impedendo alle persone di comprendere il loro processo decisionale. È come se l'IA fosse un meccanismo chiuso dentro a una scatola: si inseriscono dei dati da un lato e si ottiene un risultato dall'altro, ma non si può vedere cosa succede all'interno.

Analogamente, si può pensare a come i bambini imparano a riconoscere le lettere dell'alfabeto o gli animali. Dopo aver visto tanti esempi di lettere “A” o di cani, saranno in grado di identificare una “A” o un cane. Ma se chiedessimo loro (o anche a un adulto!) come fanno a riconoscerli, probabilmente non saprebbero spiegarcelo. L'IA funziona in modo simile: impara a riconoscere schemi ricorrenti e tendenze nei dati che le vengono forniti, ma non sa spiegare il suo processo decisionale.

Tecnicamente, gli esperti sanno benissimo come si costruisce una rete neurale, come aggiorna i suoi parametri interni durante l’addestramento e come i dati in ingresso vengono processati per arrivare al risultato finale (ne abbiamo parlato qui). Tuttavia, una volta completato l’addestramento, non riescono a capire come mai la rete abbia imparato quegli specifici parametri e come la loro interazione porti ai risultati finali. È un po’ come la sensazione che potreste avere se un genio della matematica vi spiegasse passo per passo come risolvere un problema al di là delle vostre capacità: potreste imparare a svolgere meccanicamente il procedimento, ma non riuscireste a capire il motivo dietro ai ciascuno step e la logica con cui gli step, messi insieme, portano al risultato corretto.

Perché la mancanza di trasparenza dell’IA è un problema, con storie vere

Le implicazioni del problema della scatola nera dell'IA toccano diversi ambiti. Ecco i principali problemi legati alla mancanza di trasparenza nelle decisioni dell'intelligenza artificiale.

Difficoltà nel correggere risultati indesiderati

Poiché non si comprende come i parametri interagiscono per produrre i risultati finali, non si sa come modificarli se si vuole correggere un risultato indesiderato. Per esempio, nel 2015 L'IA di Google Photos ha erroneamente etichettato due persone afroamericane come "gorilla". Tuttavia, non c'era un modo chiaro per correggere questo errore senza riaddestrare da zero il modello.

‍

Affidabilità dell’IA: la fiducia nelle decisioni automatizzate

La mancanza di trasparenza rende difficile fidarsi dei sistemi di IA. Per esempio, il sistema Watson era stato progettato da IBM per assistere i medici nella diagnosi e nel trattamento del cancro. Tuttavia, i medici trovavano difficile fidarsi delle raccomandazioni di Watson perché il sistema spesso suggeriva trattamenti non appropriati o non fattibili. La mancanza di trasparenza su come Watson arrivasse alle sue conclusioni ha portato a scetticismo tra il personale sanitario.

‍

Responsabilità: chi risponde degli errori dell’IA?

Chi è responsabile quando un'IA commette un errore? Un esempio è l'algoritmo COMPAS utilizzato dalla giustizia statunitense per valutare la probabilità che un criminale commetta un altro reato. Se COMPAS stima delle probabilità troppo alte, chi è responsabile dell’enorme impatto sulle vite degli imputati? I programmatori? L'azienda produttrice?

‍

Sicurezza dei sistemi di IA

Sistemi di IA che non comprendiamo del tutto possono prendere decisioni dannose inaspettate. Per esempio, ci sono stati diversi casi in cui il sistema Autopilot di Tesla non è riuscito a riconoscere ostacoli o ha interpretato male le condizioni stradali, portando a incidenti. Senza una comprensione chiara di come il sistema prende le sue decisioni, è difficile creare IA sicure.

‍

Problemi etici: pregiudizi e discriminazioni

I sistemi di intelligenza artificiale possono incorporare e amplificare i pregiudizi e le discriminazioni esistenti nella società. Un esempio famoso è lo strumento di reclutamento basato sull'IA di Amazon, che discriminava contro le donne. Questo perché era stato addestrato su curriculum presentati in un periodo di dieci anni, che erano prevalentemente di uomini. Anche in questo caso, non è possibile correggere questo errore senza addestrare di nuovo l’IA su una diversa selezione di curriculum.

‍

Conformità alle norme

La scarsa comprensibilità di questi sistemi complica il rispetto delle regole sulla trasparenza. Per esempio, nel 2019, è stato rivelato che gli appaltatori di Apple ascoltavano le registrazioni delle interazioni degli utenti con l’assistente Siri senza il loro consenso esplicito. Queste registrazioni includevano conversazioni private e informazioni sensibili. Apple ha dovuto affrontare un’indagine per le violazioni della privacy, oltre a subire un danno di immagine.

‍

Come rendere l’IA più trasparente?

Per affrontare il problema della scatola nera, esperti del settore stanno sviluppando approcci sia tecnici che normativi.

Spiegabilità

La spiegabilità dell’IA mira a creare sistemi di intelligenza artificiale capaci di spiegare il loro processo decisionale, permettendo agli umani di capire come e perché una certa decisione è stata presa. Questo porterebbe le IA ad essere anche più conformi alle norme di legge.

Pensate ad un’IA progettata per prevedere il rischio di un paziente di sviluppare una patologia, basandosi sulla sua cartella clinica. Un modo per rendere questa IA più spiegabile è creare grafici che mostrano quali fattori (come età, peso, pressione sanguigna, …) l'IA ha considerato più importanti nella sua previsione. Questo aiuta i medici a capire in che modo l’IA ha raggiunto le sue conclusioni.

La spiegabilità, però, ha anche dei limiti. I modelli di IA avanzati, come le reti neurali profonde (“deep learning"), sono molto complessi ed è difficile renderli completamente spiegabili. Nel caso della previsione di malattie, anche conoscere i fattori chiave usati dall'IA non spiega completamente il suo processo di decisione. Inoltre, tecniche di spiegabilità che funzionano in un ambito, come quello della medicina, potrebbero non funzionare in un ambito diverso, come quello della finanza. Se invece si volessero semplificare i modelli per renderli più spiegabili, si perderebbero le capacità di fare previsioni accurate.

Interpretabilità

L'interpretabilità è un sottoinsieme della spiegabilità che si concentra sul capire come ogni parte di un'IA contribuisce al risultato.

Un esempio di successo nell’ambito dell’interpretabilità è stato ottenuto con una rete neurale per il riconoscimento delle immagini. I ricercatori sono riusciti a identificare neuroni specifici che rilevano elementi interpretabili dall'uomo, dai più semplici come linee e bordi, ai più complessi come occhi, facce di cani e automobili.

‍

Tuttavia, come per la spiegabilità, i modelli altamente complessi sono molto difficili da interpretare, e ogni campo e applicazione richiede tecniche specifiche.

Approcci normativi: regolamentare la trasparenza dell’IA

Sempre più legislatori stanno lavorando per imporre standard di trasparenza nell'IA. Ad esempio, l'Unione Europea ha sviluppato l'AI Act, che mira a classificare le applicazioni di IA in categorie di rischio e imporre requisiti di trasparenza. Più un'IA opera in un campo ad alto rischio, come la medicina, più deve essere trasparente.

Tuttavia, ci sono sfide nella standardizzazione dei modelli di IA. Una legge di New York che richiede ai datori di lavoro di sottoporre a ispezione i loro strumenti IA di decisione sull'impiego per pregiudizi razziali e di genere, per esempio, è stata giudicata inefficace da uno studio della Cornell University.

Modelli open-source: trasparenza attraverso il codice aperto

Lo sviluppo di IA open-source può aumentare la trasparenza permettendo a chiunque di esaminare il codice. Anche questo approccio, però, ha i suoi limiti. Le aziende spesso nascondono componenti chiave, come i dati di addestramento o il modo in cui li hanno pre-processati, per proteggere la loro proprietà intellettuale.

Ricapitolando: la sfida dell’IA trasparente

Il problema della scatola nera nell'intelligenza artificiale si riferisce al fatto che non sappiamo spiegare esattamente come i modelli di IA arrivano alle loro decisioni e previsioni. Questo porta a problemi etici, di affidabilità, sicurezza e conformità alle norme. Mentre gli esperti lavorano su soluzioni tecniche come la spiegabilità e l'interpretabilità dell’IA, è anche necessario un impegno da parte di aziende, politica e società civile per garantire che l'intelligenza artificiale sia trasparente, equa e affidabile.

Per  approfondire quali rischi specifici pongono le IA moderne, potete leggere questo articolo.

‍