Hoppa till huvudinnehåll

Stora språkmodeller som ett verktyg för att lura hackare

onsdag, oktober 16, 2024

Går det att använda AI för att göra honeypots mer attraktiva för angripare och därmed få dem att lämna ifrån sig mer information om sina attacker? Den frågan ska få ett svar i forskningsprojekt med Volvo Group, Västra Götalandsregionen, Aixia, Scaleout Systems, Dakota State University och AI Sweden.

– Det är välkänt att angripare utnyttjar AI för att förbättra sina metoder. Vi ska undersöka nya sätt att använda artificiell intelligens på försvarssidan, säger Bobby Bridges, Mathematician and Innovation Leader på AI Sweden.

I projektet, med finansiering från Vinnova, kommer de deltagande organisationerna att utveckla ett nytt, innovativt ramverk för AI-säkerhet som kombinerar stora språkmodeller (LLM) med federerat lärande.

– Vår vision är att integrera smarta honeypots i nätverk för federerat lärande. Vi vill skapa ny kunskap om hur LLM kan användas för att utforma smarta, anpassningsbara honeypots, säger Bobby Bridges, som nyligen började på AI Sweden och kommer att leda projektet.

A picture of Robert (Bobby) Bridges

Robert (Bobby) Bridges
Mathematician and Innovation Leader på AI Sweden

Honeypots är ett välkänt verktyg inom cybersäkerhet. De är datorer som drar till sig hackares uppmärksamhet, antingen för att avleda attacker från en organisations riktiga system eller för att lära sig mer om deras metoder.

– Vi har byggt upp expertis kring stora språkmodeller och federerat lärande under flera år. Federerat lärande är en metod som låter flera aktörer samarbeta i träningen av modeller. Honeypot-projektet låter oss koppla ihop de här områdena och skapa praktiska tillämpningar inom säkerhetsområdet, säger Mats Nordlund, Director of AI Labs på AI Sweden. Han fortsätter:

– Sedan 2021 har AI och säkerhet varit en del av arbetet i vårt Edge Learning Lab, bland annat efter rekommendationer från vårt expertråd. Vi accelererar nu ytterligare våra insatser inom området, under paraplyet AI & Security, eftersom skärningspunkten mellan AI och säkerhet blir allt viktigare för många av våra partners. Detta inkluderar både projekt som syftar till att göra själva AI-tekniken mer robust och säker, men också att utforska hur AI kan användas för att förbättra säkerheten inom andra områden. Vårt arbete med anpassningsbara honeypots är ett exempel på det senare.

Mats Nordlund speaking during the AI in Automotive event October 1, 2024

Mats Nordlund
Director of AI Labs på AI Sweden

Läs vidare

Golden honeycomb pattern on a computer component with a metallic shine

AI-Powered Honeypots

Honeypots are decoy computing systems that mimic real environments to trick attackers into revealing their tools. Can AI enhance honeypot deception to increase cybersecurity?
Mats Nordlund speaking during the AI in Automotive event October 1, 2024

AI Sweden startar AI & Security Consortium

2024-10-16
AI Sweden etablerar AI & Security Consortium. Initiativet bygger på framgångarna från Edge Learning Consortium och kommer att inkludera både nya och pågående projekt inom säkerhetsområdet.
A collage with two portraits: Mauricio Muñoz and Dr. Robert (Bobby) Bridges

Två internationella AI-experter förstärker AI Swedens satsningar inom säkerhet och automotive

2024-09-16
Genom rekryteringen av två internationella AI-experter stärker AI Sweden sin tekniska spetskompetens. – Jag är väldigt glad att välkomna både Robert (Bobby) Bridges och Mauricio Muñoz till AI Sweden...
A large group of students

AI-talanger tacklar säkerhetsutmaningar

2024-08-23
Hur kan AI bidra till att upptäcka misstänkta fartygsrörelser till havs, stärka IT-infrastrukturens motståndskraft mot hackerattacker och förhindra dataläckage från AI-modeller? Det är tre av de...
Johan Östman and Fazeleh Hoseini, Research engineers at AI Sweden

När kommer AI-modeller att läcka din känsliga data?

2024-06-05
Projektet LeakPro är ett ambitiöst initiativ vars mål är att ge svenska organisationer nödvändig kunskap och verktyg som behövs för att de ska kunna använda AI tränade på känslig data. Att AI-modeller...