LeakPro 2 utökar framgångsrikt verktyg för integritetsbedömning inom AI

– Att få en uppfattning om sannolikheten för att en attack kan lyckas är en bra början, men det säger inte tillräckligt om hur allvarliga konsekvenserna skulle vara, säger Fazeleh Hoseini, forskare och projektledare för LeakPro 2. Hon fortsätter:

Hanterar integritetsparadoxen

För branscher som omfattas av strikta integritetskrav, som hälso- och sjukvård, finans och offentlig sektor, har "integritetsparadoxen" länge varit ett hinder för innovation: Hur kan man dra nytta av kraften i AI utan att riskera att känsliga data exponeras? Som ett svar på den frågan lanserades LeakPro 2023 för att utveckla ett verktyg som bedömer integritetsrisker inom maskininlärning.

LeakPro 1 utvecklade tekniska attacker mot AI-modeller för att kunna kvantifiera risken för att sådana attacker leder till dataläckage. Resultatet blev ett open source-verktyg som redan används av partnerorganisationer för att utvärdera säkerheten i AI-modeller.

Täcker också generativ AI, efterlevnad och konsekvenser

Fazeleh Hoseini liknar projektets expansion i fas två vid Penrose-triangeln, en ”omöjlig” geometrisk figur som en metafor för de motstridiga krav som AI-utvecklare, jurister och organisationer brottas med: Tekniken kräver precision, reglerna är öppna för tolkning och organisationer behöver praktiska riktlinjer.

Med partner som Scaleout som produktifierar verktyget, Syndata som arbetar med syntetiska data och Recorded Future som bidrar med expertis inom cybersäkerhet, blir LeakPro 2 en katalysator för integritetsmedveten AI i Sverige. Projektets mål att göra koden till öppen källkod är en medveten strategi för att demokratisera integritet inom AI och göra avancerad riskbedömning tillgänglig för alla, från startup-bolag till myndigheter.

En av de mest efterfrågade funktionerna i den här andra fasen av LeakPro är det tidigare nämnda stödet för stora språkmodeller (LLM:er). I den första fasen bedömdes generativa modeller vara möjliga att utvärdera, men de exkluderades på grund av sin komplexitet. Nu är de högprioriterade.
 

Genom att inkludera LLM:er i LeakPro 2:s uppsättning av attacker kan organisationer bedöma om de AI-modeller de använder eller delar oavsiktligt exponerar känsliga data, oavsett om det rör personlig information, forskning eller konfidentiella registerdata.

– LeakPro 2 är inte bara en fortsättning på ett framgångsrikt projekt; det är en expansion som förvandlar ett användbart verktyg till ett praktiskt ramverk för ansvarsfull AI. Utöver att mäta risker hjälper det även organisationer att aktivt minska dem genom att optimera integritetsstärkande tekniker (PET:er), såsom federerad inlärning och syntetiska data, för att hitta rätt balans mellan integritet och nytta. Genom att integrera riskbedömning, PET-optimering, regelefterlevnad och organisatoriska arbetsflöden bygger vi en resurs för ett säkrare och mer tillförlitligt införande av AI, säger Fazeleh Hoseini.