Hoppa till huvudinnehåll

LeakPro skapar förutsättningar för samarbeten kring känslig data

onsdag, januari 29, 2025

I senaste avsnittet av AI Sweden Podcast berättar Johan Östman, forskare och projektledare på AI Sweden, om projektet LeakPro. Ambitionen är att bättre förstå – och därmed också kunna förhålla sig till – risken för att modeller läcker träningsdata.

A picture of Johan Östman

Ska man i en mening beskriva vad vi försöker göra handlar det om att låsa upp samarbeten kring känslig data.

A picture of Johan Östman

Johan Östman

Research scientist på AI Sweden

LeakPro bygger vidare på slutsatser som drogs i ett tidigare AI Sweden-projekt. I Regulatory Pilot Testbed jobbade Region Halland och Sahlgrenska Universitetssjukhuset tillsammans med IMY och AI Sweden. Syftet var då att utforska hur federerad inlärning skulle kunna användas i sjukvården. Integritetsskyddsmyndigheten konstaterade att det inte gick att bedöma sannolikheten för att modeller, tränade på personuppgifter, läcker träningsdata. Som en konsekvens måste modellerna i sig betraktas som personuppgifter, och därför hanteras utifrån hur personuppgifter regleras.

I LeakPro är ambitionen att svara på den centrala frågan: Hur stor är sannolikheten för att en viss modell läcker träningsdata? De som jobbar för att hitta svaret är AstraZeneca, Region Halland, Sahlgrenska Universitetssjukhuset, Scaleout, Syndata, RISE och AI Sweden

Känner man till sannolikheten för läckage öppnas två dörrar. Den ena gör det möjligt att fatta verksamhetsbeslut. “Är risken för att träningsdata läcker rimlig i förhållande till värdet som modellen kan skapa?” Den andra gör det möjligt för utvecklare att utvärdera sina modeller och utveckla dem vidare så att risken för läckage minskar till en acceptabel nivå.

– Det vi vill bygga är något som är relevant och användbart, och för att göra det måste vi ligga i frontlinjen av den akademiska forskningen, för att använda de skarpaste attackerna som finns, säger Johan Östman.

I poddavsnittet utvecklar han bakgrunden till projektet, hur samverkan mellan aktörer från olika sektorer stärker LeakPro, vad målbilden är, och hur resan dit ser ut.

Ett utdrag kan du lyssna på här:

Lyssna på hela avsnittet

To play this Spotify content, you need to "Allow all" cookies.

Adjust your settings

an icon showing a shield with incoming arrow, AI in the center and threat being dissolved into stars
Flera undersökningar har belyst möjligheten att extrahera data från tränade maskininlärningsmodeller...

Relaterade AI Sweden nyhetsartiklar

Johan Östman and Fazeleh Hoseini, Research engineers at AI Sweden

När kommer AI-modeller att läcka din känsliga data?

2024-06-05
Projektet LeakPro är ett ambitiöst initiativ vars mål är att ge svenska organisationer nödvändig kunskap och verktyg som behövs för att de ska kunna använda AI tränade på känslig data. Att AI-modeller...
Mats Nordlund speaking during the AI in Automotive event October 1, 2024

AI Sweden startar AI & Security Consortium

2024-10-16
AI Sweden etablerar AI & Security Consortium. Initiativet bygger på framgångarna från Edge Learning Consortium och kommer att inkludera både nya och pågående projekt inom säkerhetsområdet.
A large group of students

AI-talanger tacklar säkerhetsutmaningar

2024-08-23
Hur kan AI bidra till att upptäcka misstänkta fartygsrörelser till havs, stärka IT-infrastrukturens motståndskraft mot hackerattacker och förhindra dataläckage från AI-modeller? Det är tre av de...