När kommer AI-modeller att läcka din känsliga data?

– Världen är inte så enkel att det finns risk eller så finns det inte risk. All verksamhet innebär någon form av risk och det är viktigt att kunna specificera och värdera denna risk, på samma sätt som man bedömer och värderar en möjlig nytta.

Så förklarar Magnus Kjellberg, Föreståndare för Kompetenscentrum AI, Sahlgrenska Universitetssjukhuset, varför LeakPro är så värdefullt.

Tillsammans med AstraZeneca, Region Halland, Scaleout, Syndata, RISE och AI Sweden deltar Sahlgrenska Universitetssjukhuset i projektet där nyckelfrågor som handlar om läckande AI-modeller står i centrum:

• Hur kan vi värdera sannolikheten för att en AI-modell läcker data den tränats med? 
• Hur kan vi minska risken för att det sker? 
• Och hur förenar vi den tekniska definitionen av risk med den juridiska, vilket är nödvändigt för att kunna fatta beslut om hur en AI-modell kan användas? 

AI-modeller kan vara personuppgifter 

Varför svar på de frågorna är nödvändiga blev tydligt i Regulatory Pilot Testbed (se faktaruta). Där konstaterade Integritetsskyddsmyndigheten (IMY) att det då inte gick att bedöma sannolikheten för att modeller, tränade på personuppgifter, läcker träningsdata. Som en konsekvens måste modellerna i sig betraktas som personuppgifter, och därför hanteras utifrån hur personuppgifter regleras.

Johan Östman, research scientist och projektledare på AI Sweden, förklarar vad den slutsatsen innebär:

– Det IMY pekade på begränsar sjukvårdens möjligheter att använda AI, men risken för läckage kan också behöva hanteras ur bland annat affärsmässiga perspektiv i näringslivet. Detta innebär att liknande juridiska svårigheter kan uppstå hos andra svenska organisationer vilket potentiellt begränsar viljan till innovation och användning av AI. Detta har till exempel uppkommit i våra diskussioner med bland annat myndigheter, säger han.

I den regulatoriska sandlådan arbetade projektdeltagarna med det som kallas för federerad inlärning. Men slutsatsen gäller många scenarier där man vill dela modeller som blivit exponerade för känslig data, till exempel när modeller görs tillgängliga som molntjänster eller när hela modeller delas.

Den regulatoriska sandlådan fick därför en naturlig uppföljare i LeakPro. Projektet är en del av det större sammanhang där AI Sweden, genom flera initiativ inom ramen för AI Labs, bygger förmågor och kunskap inom AI Safety (se faktaruta).

Behovet av riskvärdering

–  Det finns ingen fri lunch, vi vill dela modeller för att det kan vara till nytta för oss men risken kommer aldrig att vara noll, så att ha en bra riskbedöming av riskerna är väldigt viktigt för oss. Vi vill både estimera och minimera riskerna för dataläckage när vi delar modeller inom ett samarbete eller genom en vetenskaplig publikation, säger Ola Engkvist, Head of Molecular AI, AstraZeneca.

Markus Lingman, överläkare, professor och strateg på region Halland, för ett liknande resonemang kring sjukvårdens behov:

– Vi behöver alltid förhålla oss till att det finns en balans mellan risk och nytta. Med moderna metoder tillgängliga är det svårt att påstå att något är 100 procent anonymt och då behövs tydlighet i hur stor den eventuella risken är. Här finns väldigt lite vägledning från lagstiftaren. Subjektiva begrepp som ”rimlig risk” hjälper inte så långt i dessa sammanhang, säger han.  

LeakPro angriper de här kunskapsluckorna på tre fronter: Den tekniska, den organisatoriska och den juridiska.

Det tekniska perspektivet handlar om att förstå hur och när modeller läcker, och vad man kan göra för att minska sannolikheten eller till och med förhindra att det händer.

– Att modeller kan läcka är känt från tester i “labbförhållanden”, där förutsättningarna har gjorts fördelaktiga för angriparen som vill hämta ut data ur modellen. Vi vill ta reda på om, hur och när detta kan ske från modeller som faktiskt är satta i produktion, under verkliga förhållanden, säger Johan Östman.

Målsättningen för LeakPro är att utveckla verktyg som bedömer risken för att ett informationsläckage sker. På så vis får användarna möjlighet att testa att lägga till olika typer av försvar, göra en ny bedömning och successivt bygga en lösning som är tillräckligt säker för den tänkta tillämpningen.

De organisatoriska och juridiska  perspektiven handlar om att ge ledningsgrupper och andra beslutsfattare bättre underlag för beslut om hur AI ska användas. Målet är verktyg som icke-tekniker kan använda för att förstå läckageriskerna från en specifik modell så att man därmed kan fatta välunderbyggda beslut om när, hur och om modellen ska användas. Eftersom modellerna kan klassas som personuppgifter faller hanteringen av modellerna i sig själva dessutom in under GDPR.

Av den anledning har LeakPro även en referensgrupp för de juridiska aspekterna, där IMY är med. Johan Östman uttrycker det som ett försök att få “den tekniska definitionen av risk att möta den juridiska definitionen av samma begrepp”.

Magnus Kjellberg utvecklar det resonemanget ytterligare:

– För att kunna fatta välinformerade beslut där vi som organisation balanserar nytta mot risk måste vi ha ett tydligt sätt att mäta just risk. Ur juridisk synpunkt är det viktigt att det råder någon form av konsensus hur nya AI-lösningar kan hanteras och riskbedömas. Verktyg för att göra det för den senaste AI-tekniken saknas, och därför är ett projekt som LeakPro viktigt för oss, säger han.

Resultat med bredd

De delar av projektet som handlar om de tekniska aspekterna sker tillsammans med AstraZeneca, Sahlgrenska Universitetssjukhuset och Region Halland. Här kommer fokus att vara på tillämpningar för life science och sjukvård. Men genom en tvärsektoriell referensgrupp får projektet input från fler sektorer, för att därmed också kunna utveckla metoder och verktyg som går att använda i andra sektorer.

Linda Lindström, jurist på eSamverksansprogrammet (eSam), ser stor potentiell nytta för offentlig sektor:

– Att kunna dela data och kunna utbyta AI-modeller bedöms innebära stora nyttor för offentlig verksamhet. Att kunna göra detta på ett rättssäkert sätt är viktiga frågor för våra statliga myndigheter och som vi inom eSam har flera aktiviteter kring. När eSam fick information om LeakPro-projektet och dess syfte och därtill möjligheten att delta i referensgruppen såg vi en ytterligare möjlighet att gemensamt komma framåt i dessa frågor, säger hon och fortsätter:

– Utan mer specificerade mätvärden kring risker kan detta ofta leda till att en rättslig och säkerhetsmässig bedömning är svår att genomföra och då med konsekvensen att delning av data eller utbyte av modell helt uteblir och därmed i förlängningen också utebliven samhällsnytta.

Arbetet inom LeakPro har dessutom tydliga kopplingar till andra projekt som AI Sweden driver, berättar Johan Östman:

– Det finns till exempel en tydlig koppling till ett annat av våra projekt, där vi jobbar ihop med banker för att utveckla lösningar baserade på federerad inlärning  för att hitta penningtvätt  (federerad inlärning för anti-penningtvätt). Finanssektorn är ytterligare ett exempel på bransch med hårda personuppgiftslagar och där intresset för teknik som minskar riskerna för läckage är stort, säger han.

För mer information, kontakta