LeakPro 1: Läckage och risköversyn av maskininlärningsmodeller

Utmaningar

Maskininlärningsmodeller är algoritmer som internt kodar förmågan att identifiera mönster i en datakälla. Inom många domäner, t.ex. inom livsvetenskap eller finans, kan data dock vara känslig. Det är därför av viktigt att bedöma svårigheten i att extrahera känslig information under realistiska angreppsscenarier.

Projektet skapade LeakPro, en plattform för att bedöma informationläckage i relation till i) tränade maskininlärningsmodeller, ii) under träning med federerad inlärning, och iii) vid användning av syntetiska data.

Syfte

Det primära syftet var att skapa LeakPro, en öppen plattform för att utvärdera risken för informationläckage i maskininlärningsapplikationer. LeakPro följer följande principer:

1. Öppenhet: LeakPro utvecklades som ett öppet verktyg för det svenska ekosystemet. Då inferensattacker främst existerar som isolerade öar inom forskningslitteraturen strävade vi efter att samla in attackmetoder av hög kvalitet för olika modaliteter och göra dem tillgängliga för icke-experter.
2. Skalbarhet: Eftersom det finns en mängd olika inferensattacker och området ständigt utvecklas var det viktigt att LeakPro designades modulärt för att möjliggöra skalbarhet och inkludering av nya attacker. Dessutom låter LeakPro användare att bedöma informationsläckage i, för sina användingsfall, realistiska miljöer. På så sätt möjliggör LeakPro identifiering/validering av realistiska attackvektorer.
3. Relevans: För att säkerställa LeakPro:s fortsatta relevans antog vi inte bara en öppen källkod-strategi utan arbetade också för dess integration inom RISE Cyber Range för att förbereda för en långsiktig överlämning. Dessutom, för att verifiera LeakPro:s praktiska tillämpning, hade vi ambitionen att integrera LeakPro internt hos AstraZeneca, Sahlgrenska och Region Halland.

Utfall

LeakPro erbjuder en holistisk plattform, som kan köras lokalt, för att bedöma informationsläckage i följande sammanhang:

1. Av tränade maskininlärningsmodeller under medlemskapattacker och konstruktionsattacker av träningsdata under öppen åtkomst (white-box) och API-åtkomst (black-box). Flera datamodaliteter stöds, t.ex. tabell, bilder och text.
2. Under träningsstadiet för federerad inlärning där angriparen utgör antingen en klient eller server: Attackerna som inkluderats är medlemskapsinferens och återskapande av träningsdata.
3. Informationläckaget mellan syntetiska data och dess ursprungliga datakälla: Intressanta attacker inkluderar medlemskapsinferens, länkbarhet och inferens av saknade värden.
4. LeakPro finns tillgängligt som open source.
5. LeakPro fortsätter 2025–2027 med ett utökat fokus. Läs mer om LeakPro 2.

LeakPro repository

Tillgänglig under Apache 2.0 licens: LeakPro repository

För mer information, kontakta