USA-Sverige Förstudie: Säkerhet för AI-agenter

Om förstudien

Förstudien (Steg 1), "From Networks and Talent Programs to International Collaborations", syftade till att dra nytta av AI Swedens ekosystem för att sammanföra behoven hos den svenska industrin med amerikanska intressenter. Genom möten, digitala workshops och ett besök från Harvard University hos AI Sweden identifierades de mest akuta forskningsbehoven: att säkra tillämpade LLM-lösningar och agentiska system inom samhällskritiska sektorer.

Förstudien resulterade i ett utkast till en Steg 2-ansökan kallad "SAFE-CARE" – ett projekt som använder en digital vårdassistent hos VGR som ett konkret testfall för AI-driven red-teaming. Bilaterala samfinansieringsmöjligheter för ett nytt studentutbytesprogram undersöktes också, även om intresset från finansiärer var otillräckligt.

Under förstudien diskuterades ett brett urval av samarbetsprojekt för att utvärdera deras strategiska relevans:

• Agentiska dynamiker
• Beslutsstödssystem
• Undersökning av dynamik vid långtidsinteraktioner i LLM:er
• Kontextförbättring för stora multimodala modeller
• Flerspråkig användning av LLM:er
• AACR-stöd/Forskningsförslag gällande data
• Tillämpningar av generaliserad SVD (GSVD) inom transportsäkerhet
• Integritetsbevarande modellträning (ExpM+NF)
• Prompt injection i LLM:er via filuppladdningar (t.ex. PDF)
• Modellering av systemsäkerhet genom dynamiska strukturfunktioner (DSF)
• Cybersecurity i LLM-eran: Studie av prediktivt försvar och attacker
• Säkerhet i kundanpassade LLM-system

Av dessa framstod de två sista – Cybersecurity in the Age of LLMs: Predictive Defense and Attack Study och Custom LLM Systems Security – som de mest relevanta med störst potential för svensk-amerikanskt samarbete, vilket utgör grunden för det fortsatta arbetet.

Insikter från ekosystemet: Partnerenkät

För att förankra behoven i det svenska ekosystemet genomförde AI Sweden en digital enkät som skickades till ett stort antal partner. Resultaten understryker en tydlig efterfrågan på säkerhetsramverk för tillämpad AI:

• Huvudsakligt fokus: Organisationer har ett starkt fokus på att säkra kundanpassade LLM-system (RAG, lokala LLM-tjänster och agenter). 50 % av respondenterna identifierade detta som sin högsta prioritet, medan resterande 50 % ansåg det vara lika kritiskt som andra säkerhetsområden.
   
• Prioriterade användningsfall: De viktigaste användningsområdena som identifierades var agentiska system (80 %), följt av LLM-assistenter (70 %) och RAG-system (70 %).
   
• Kritiska orosmoln: De högst rankade prioriteringarna i ekosystemet inkluderar datasekretess och läckage, säkring av agentiska verktyg (API:er/arkitektur) samt behovet av dedikerade red-team-granskningar av interna system.
   
• Samarbeten och engagemang: Partners uttryckte en stark vilja att bidra genom expertis inom sakområden (t.ex. genom att tillhandahålla specifika användningsfall inom hälso- och sjukvård eller offentlig sektor) samt genom att tillhandahålla tekniska resurser (beräkningskraft och dataprover) för att stödja forskningsgruppen.

Utmaningar

AI-agenter och autonoma system integreras snabbt i samhället, men ramverken för att bedöma deras säkerhet är fortfarande underutvecklade. Kombinationen av inbyggda svagheter i AI-modeller och befogenheten att utföra handlingar skapar komplexa sårbarheter, vilket förvärras av det växande hotet från autonoma AI-hackeragenter.

Projektets syfte

Att snabbt destillera projektidéer och para ihop amerikansk och svensk expertis för att utforma en stark Steg 2-projektansökan. Syftet var att gå från allmän matchmaking till att designa ett tillämpat, bilateralt forsknings- och innovationsprojekt med fokus på proaktivt cyberförsvar och LLM-säkerhet.

Resultat

Den huvudsakliga leveransen var en rapport som sammanfattade resultaten samt en komplett Steg 2-ansökan till Vinnova.

Ytterligare resultat inkluderade etableringen av en bilateral forskningspipeline för AI-säkerhet samt utforskandet av studentutbytesprogram mellan USA och Sverige.

För mer information, kontakta: