AI Act: quale impatto sull’industria dei medical devices?

Lo scorso 14 giugno il Parlamento europeo ha approvato, con modifiche, la proposta di Regolamento che mira a fornire un quadro giuridico uniforme per l’utilizzo dell’intelligenza artificiale nell’Unione Europea ( “AI Act”). L’iter di approvazione entra dunque nella sua fase finale, che vedrà coinvolti il Consiglio dell’Ue e la Commissione, con l’obbiettivo di giungere a un testo definitivo entro la fine dell’anno. Stando alla proposta, il Regolamento diverrà applicabile trascorsi 24 mesi dalla sua pubblicazione nella Gazzetta Ufficiale dell’Unione Europea.

Si tratta del primo, ambizioso, tentativo a livello globale di regolamentare i sistemi di AI. Alla base della proposta, la consapevolezza che queste tecnologie sono in grado di apportare una vasta gamma di benefici di carattere economico, sociale e ambientale in numerosi settori dell’attività umana, permettendo un miglioramento delle previsioni, l’ottimizzazione delle operazioni e dell’assegnazione delle risorse, la personalizzazione dell’erogazione di servizi. Tuttavia, il loro utilizzo può comportare anche nuovi rischi per i cittadini e per la società, in quanto il funzionamento e le caratteristiche di tali sistemi (l’opacità e la scarsa trasparenza, la loro complessità, la capacità di comportamenti autonomi) sono in grado, in potenza, di incidere negativamente su numerosi diritti fondamentali riconosciuti all’interno dell’Unione europea, dal rispetto della vita privata e dalla protezione dei dati personali, sino alla tutela della dignità umana.

Il Regolamento si propone di fornire una disciplina unitaria per i sistemi di AI, a partire dalla fase di sviluppo e fino alla loro commercializzazione e utilizzo, secondo un approccio proporzionato basato sul rischio.

Per taluni sistemi di AI (articolo 5) è previsto un divieto assoluto di immissione sul mercato, messa in servizio o utilizzo: tra questi, i sistemi che utilizzando “tecniche subliminali” o che sfruttando le “vulnerabilità umane” per distorcere i comportamenti di modo da potere provocare danni fisici o psicologici, o ancora, i sistemi di identificazione biometrica remota “in tempo reale” in spazi accessibili al pubblico utilizzati per finalità di contrasto dei reati, salvo limitate eccezioni. Si tratta di quei sistemi di identificazione in cui il rilevamento dei dati biometrici, il confronto e l’identificazione avvengono in tempo reale o comunque senza ritardi significativi.

Per altri sistemi di AI classificabili come ad alto rischio (articolo 6 e seguenti) sono invece previsti obblighi specifici quali l’adozione di un sistema di gestione dei rischi, obblighi di trasparenza nei confronti degli utenti, procedure di valutazione della conformità anche per tramite di organismi terzi ai fini dell’apposizione di un’apposita marcatura CE.

AI Act e dispositivi medici

Ai sensi della proposta di Regolamento, un sistema di intelligenza artificiale è definito come “un software sviluppato con una o più delle tecniche e degli approcci elencati nell’allegato I (tra i quali “approcci di apprendimento automatico, “approcci basati sulla logica e sulla conoscenza”) che può, per una determinata serie di obiettivi definiti dall’uomo, generare output quali contenuti, previsioni, raccomandazioni o decisioni che influenzano gli ambienti con cui interagiscono”. A fronte di tale definizione, è evidente che numerosi software classificati come dispositivi medici, anche già presenti sul mercato, dovranno ritenersi basati su sistemi di intelligenza artificiale ai sensi dell’AI Act e ne dovranno dunque rispettare le relative prescrizioni. Basti pensare a dispositivi che sfruttano l’AI per fornire assistenza ai medici nella diagnosi di patologie, o a quelli che forniscono opzioni di trattamento personalizzate sulla base di dati e informazioni riferibili a singoli pazienti. Di conseguenza, non vi è dubbio che tali dispositivi saranno soggetti all’AI Act e agli specifici obblighi ivi previsti.

Quale classificazione per i dispositivi che utilizzano sistemi di AI

La proposta di regolamento classifica come ad alto rischio un sistema di AI che soddisfa entrambe le seguenti condizioni:

• il sistema è destinato a essere utilizzato come componente di sicurezza di un prodotto, o è esso stesso un prodotto, disciplinato dalla normativa di armonizzazione dell’Unione elencata nell’allegato II. Va detto che la stessa proposta definisce “componente di sicurezza di un prodotto o di un sistema” come un componente che svolge una funzione di sicurezza per tale prodotto o sistema o il cui guasto o malfunzionamento mette in pericolo la salute e la sicurezza di persone o beni.
• il prodotto il cui componente di sicurezza è il sistema di AI, o il sistema di AI stesso in quanto prodotto, è soggetto a una valutazione della conformità da parte di terzi ai fini dell’immissione sul mercato o della messa in servizio di tale prodotto ai sensi della normativa di armonizzazione dell’Unione elencata nell’allegato II. Sono inoltre classificati ad alto rischio alcuni sistemi di AI individuati dall’Allegato III alla proposta di regolamento, essenzialmente sulla base della loro finalità (identificazione e categorizzazione biometrica delle persone, gestione e funzionamento di infrastrutture critiche, accesso a prestazioni e servizi pubblici, etc.).

Riguardo la prima condizione, l’Allegato II all’AI Act include espressamente fra le “normative di armonizzazione” anche il Regolamento UE 2017/745 sui dispositivi medici (“MDR”) e il Regolamento UE 2017/746 sui dispositivi medico-diagnostici in vitro (“IVDR”).

Riguardo la seconda condizione, giova ricordare che ai sensi del MDR tutti i dispositivi con classe di rischio IIa o superiore devono essere oggetto di valutazione di conformità da parte di un ente terzo (organismo notificato) ai fini della loro immissione in commercio.

Con riferimento ai software dispositivi medici, è bene richiamare la regola di classificazione numero 11 (Allegato VIII, Capo III) del MDR la quale prevede che il software “destinato a fornire informazioni utilizzate per prendere decisioni a fini diagnostici o terapeutici” rientri nella classe IIa, salvo collocarsi in taluni casi in classe III (se le decisioni possono determinare il decesso o un deterioramento irreversibile delle condizioni di salute di una persona) o in classe IIb (se le decisioni possono determinare un grave deterioramento delle condizioni di salute di una persona o un intervento chirurgico). Anche il software “destinato a monitorare i processi fisiologici” è collocato nella classe IIa, salvo si tratti di parametri fisiologici vitali la cui variazione può determinare un pericolo immediato per il paziente, nel qual caso rientra nella classe IIb. Solamente al di fuori di queste ipotesi, il dispositivo medico software rientra nella classe I. Ciò significa che un grande numero di software as medical devices ricadono in classe IIa o superiore ai sensi del MDR.

Pertanto, alla luce di quanto precede, un dispositivo medico che incorpora o è esso stesso un sistema di intelligenza artificiale (ossia un software classificato come dispositivo medico) ricadrebbe con alta probabilità tra i sistemi di AI ad alto rischio ai sensi dell’AI Act.

Sistemi di AI ad alto rischio e valutazione della conformità

In linea con un approccio basato sul rischio, i sistemi di AI ad alto rischio sono ammessi sul mercato europeo subordinatamente al rispetto di determinati requisiti obbligatori (sistema di gestione, obblighi di trasparenza nei confronti degli utenti, etc.) e ad una valutazione della conformità ex ante.

Per quanto attiene ai prodotti come i dispositivi medici, per i quali la normativa di settore già prevede procedure di valutazione della conformità condotte da terzi, la proposta di regolamento prescrive che la conformità del sistema di intelligenza artificiale all’AI Act sia valutata nell’ambito della valutazione della conformità condotta secondo la normativa di settore, al fine di ridurre al minimo l’onere per gli operatori ed evitare eventuali “duplicazioni” di procedure. Ciò significa, per i dispositivi medici di classe IIa o superiore, che tali valutazioni saranno condotte dagli organismi notificati già incaricati di valutare la sicurezza e le performance dei dispositivi ai sensi del MDR. Dunque, in tali ipotesi, il rilascio del certificato di conformità CE certificherà la conformità con entrambe le norme, il MDR e l’AI Act.

Il potenziale intreccio con le norme sulla protezione dei dati personali

In aggiunta alle regole sui dispositivi medici, l’AI Act è destinato ad intrecciarsi anche con la normativa sulla protezione dei dati personali e in particolare con il GDPR (Regolamento UE 2016/679), in considerazione dell’immensa mole di dati, anche personali, che i sistemi di intelligenza artificiale sono per loro natura destinati a processare. Senza voler toccare in questa sede le questioni connesse ai presupposti e ai limiti del trattamento di questi dati da parte dei software di AI, si evidenzia come l’esigenza di garantire la data accuracy, ossia soprattutto la qualità degli input data, che è uno dei requisiti cardine dei sistemi di AI, potrebbe di per sé comportare nuovi trattamenti di dati personali e generare ulteriori complessità.

In particolare, l’articolo 10 dell’AI Act prevede per i sistemi di AI che utilizzano tecniche comportanti l’addestramento di modelli con dati, siano sviluppati sulla base di set di dati di addestramento, convalida e prova che soddisfino specifici criteri di qualità ivi elencati riguardanti, tra l’altro, le modalità di raccolta, la pertinenza, rappresentatività ed esattezza dei set di dati, l’utilizzo di set di dati che tengano conto delle caratteristiche e dello specifico contesto geografico, comportamentale o funzionale all’interno del quale il sistema di IA ad alto rischio è destinato ad operare, etc.

Pertanto, anche la valutazione della conformità di un software con l’AI Act potrebbe effettivamente determinare un trattamento di dati personali e sollevando una serie di questioni sulla liceità ai sensi del GDPR, ad esempio in relazione alle tecniche di de-identificazione utilizzate, le misure di sicurezza adottate, etc. Il comma 5 dello stesso articolo 10 prevede che nella misura in cui sia strettamente necessario per consentire il rilevamento e la correzione dei bias (e tale risultato non sia raggiungibile con l’utilizzo di dati anonimi o sintetici) è consentito il trattamento delle categorie particolari di dati personali previsti dal GDPR (dati sanitari, relativi all’orientamento sessuale, ecc.) nel rispetto di determinate misure di salvaguardia. Ma cosa dire se, ad esempio, i data set includono dati di persone provenienti da Paesi exta-Ue per le quali non valgono le medesime regole? Potrebbero porsi questioni di trasferimento dati e conflitti giurisdizionali? Naturalmente sono solo ipotesi, ma resta il fatto che non è chiaro fino a che punto possa o debba spingersi la valutazione dell’accuracy degli input data, soprattutto laddove dati anonimi non siano sufficienti a raggiungere tale obiettivo e a valutarlo.

Impatto sulla procedura per l’immissione in commercio dei dispositivi con AI

Come anticipato, il fatto che la valutazione di conformità all’AI Act sia inglobata per i dispositivi medici nella valutazione di conformità al MDR svolta dagli organismi notificati dovrebbe, nelle intenzioni del legislatore europeo, evitare duplicazioni e appesantimenti burocratici. Tuttavia, restano molti gli aspetti potenzialmente critici, tra i quali l’effettiva capacità degli organismi notificati di assorbire tale carico di lavoro ulteriore, ma soprattutto la loro idoneità a valutare sistemi di intelligenza artificiale secondo l’AI Act, dal momento che ciò richiederà competenze tecniche altamente specialistiche di cui è probabile che tali enti siano attualmente sprovvisti. Senza contare che la doppia valutazione richiederà senza dubbio un aggravio di lavoro per le aziende e gli organismi notificati che rischia di tradursi in un allungamento dei tempi e dei costi della procedura di certificazione. Soprattutto considerata la già attuale scarsità degli organismi notificati per far fronte al processo di ricertificazione di tutti i dispositivi medici dovuto al passaggio dalla Direttiva 93/42/CEE al MDR. Dunque, una nuova sfida che si aggiunge ad una sfida già esistente. L’auspicio è di acquisire rapidamente – a tutti i livelli – ulteriori strumenti per poter reagire, anche considerato che la nuova normativa sulla responsabilità civile per i danni causati da sistemi di intelligenza artificiale è già in cantiere.