LeakPro 2: Operativ hantering av integritetsrisker i AI-system

LeakPro 2 är ett ramverk för att utvärdera och minska integritetsrisker i maskininlärningsmodeller. Det kombinerar integritetsattacker, utvärdering av integritetsstärkande tekniker (PET) och strukturerade arbetsflöden för att stödja praktisk bedömning av integritetsrisker.

Utmaningar

Maskininlärningsmodeller är algoritmer som internt kodar förmågan att identifiera mönster i en datakälla. Inom många områden, till exempel livsvetenskap eller finans, kan data vara känsliga. Det är därför av högsta vikt att bedöma svårighetsgraden i att extrahera känslig information under realistiska angreppsscenarier.

Data och AI-modeller driver modern innovation inom näringsliv, forskning och teknik. Deras transformativa potential beror ofta på förmågan att dela och samarbeta över organisatoriska och sektorsövergripande gränser. Samtidigt innehåller dataset och modeller ofta känslig information, vilket gör dem svåra att utbyta. Oro kring integritet, immateriella rättigheter, efterlevnad av regelverk och konkurrensfördelar fungerar som barriärer som begränsar möjligheterna till samarbete och saktar ner innovationstakten.

The Penrose triangle
CC (Attribution-Share Alike 3.0 Unported)

"The Privacy Triangle"

Penrose-triangeln är en "omöjlig" geometrisk figur. Den kan fungera som en metafor för de motstridiga krav som AI-utvecklare, jurister och organisationer brottas med:

Tekniken kräver precision, regelverken är öppna för tolkning och organisationer behöver praktiska riktlinjer.

LeakPro 2 fortsätter och utökar omfattningen från LeakPro 1 genom att bygga vidare på en plattform för att bedöma informationsläckage från:

Tränade maskininlärningsmodeller
Risken för informationsläckage under träning med federerad inlärning
Risken för informationsläckage i syntetiska data

Utöver att bedöma risken för läckage anpassar LeakPro 2 tekniska resultat till juridiska och organisatoriska granskningsstandarder, samt lägger till ramverk för organisatorisk revision och lagstiftning. Denna utveckling syftar till att överbrygga klyftan mellan abstrakta integritetsförordningar, såsom EU:s AI-förordning (AI Act), och det praktiska behovet av robusta, datadrivna säkerhetsbedömningar.

Projektets syfte

Dagens integritetsutvärderingar genererar tekniska mätvärden som är svåra att tolka och agera på. Organisationer behöver tydliga, beslutsunderlag för att hantera integritetsrisker och uppfylla regulatoriska krav. LeakPro 2 adresserar detta genom att:

Operationalisera "integritetstriangeln": Kärnsyftet med LeakPro 2 är att utveckla LeakPro-verktyget till ett omfattande referensramverk som systematiskt kopplar samman resultat från tekniska attacker med kvantifiering av organisatorisk skada och regelefterlevnad.
Objektiva konsekvensbedömningar avseende dataskydd (DPIA): Genom att direkt koppla resultaten från empiriska integritetsattacker till kvantifierbara mätningar av skada för de registrerade, syftar projektet till att omvandla DPIA:er från subjektiva gissningar till objektiva, evidensbaserade bedömningar.
Expansion till generativ AI: Projektet kommer att utöka LeakPro "horisontellt" till att även täcka generativa modeller, såsom stora språkmodeller (LLM) och diffusionsmodeller, parallellt med att stärka det befintliga stödet för bild-, tabell- och tidsseriedata.
Optimering av integritetsstärkande tekniker (PET): Projektet kommer att expandera "vertikalt" till att inkludera systematisk optimering och validering av PET:er, genom att använda empiriska attacker för att hjälpa organisationer att hitta den perfekta balansen mellan integritetsskydd och datanytta.