Unik kompetens kring språkmodeller stärker Sveriges och Europas oberoende

Stora språkmodeller är grunden till tjänster och möjligheter vi på kort tid kommit att ta för givna, och till framtida samhällsservice och konkurrenskraft. Arbetet med stora öppna modeller, som inom det europeiska samarbetsprojektet OpenEuroLLM där Sverige och AI Swedens språkteam har en nyckelroll, bygger och behåller avancerad AI-kompetens i Sverige. 

För AI Sweden var samarbetet med RISE och WASP WARA Media & Language kring GPT-SW3, den första stora språkmodellen för de nordiska språken, en viktig milstolpe. Modellen lanserades hösten 2023 och satte AI Swedens språkteam på den europeiska kartan. 

Två år senare är AI Sweden med i fyra stora EU-projekt med fokus på språkteknologi. 

– Det mest ambitiösa är OpenEuroLLM, med 20 ledande europeiska forskningsinstitutioner, företag och superdatorcenter som deltagare. Det här är den mest omfattande satsningen som görs för att Europa ska komma ikapp den internationella utvecklingen av språkmodeller, säger Magnus Sahlgren. 

Projektet har av EU-kommissionen fått en så kallad STEP-märkning (Strategic Technologies for Europe Platform), vilket innebär att man anser att projektet är av särskild strategisk betydelse för Europa. Målet är att bygga en familj av högpresterande, flerspråkiga språkmodeller som kan användas av såväl privat näringsliv som offentlig sektor. 

I diskussioner med organisationer i både privat och offentlig sektor får AI Swedens språkteam signaler om att det finns en efterfrågan på öppna och transparenta modeller som utvecklats i EU.

Magnus Sahlgren fortsätter:

– För många tillämpningar är transparens i utvecklingen av språkmodellerna viktigt. Det räcker inte med att man kan köra den på egna servrar och därmed slippa exponera känsliga uppgifter på nätet. Det finns användningsfall där det också är viktigt att veta vilken träningsdata som använts och mer detaljer om hur träningen gått till, bland annat för att vi ska kunna lita på dem och känna oss trygga med att de är anpassade efter europeiska värderingar, fortsätter Magnus Sahlgren.

AI Sweden är en central partner i OpenEuroLLM-konsortiet och har en framträdande roll i flera av arbetspaketen. NLU-teamet på AI Sweden koordinerar bland annat arbetet med att träna modellernas tokeniserare, samt arbetet med finjustering och efterträning av modellerna.

– Vår roll sträcker sig från expertis inom data etik och regelefterlevnad till djup teknisk kunskap om modellutveckling, säger Magnus Sahlgren.
 

Digital suveränitet högt på EUs agenda

Frågan om digital resiliens och digital suveränitet hamnar allt högre upp på EU:s agenda. Det syntes bland annat i formuleringar i den AI-strategi som EU-kommissionens ordförande Ursula von der Leyen presenterade i början av oktober.

– Strategin är tydlig med två saker: Att användningen av AI måste accelerera i hela Europa, både i offentlig och privat sektor – och att inte minst offentlig sektor måste sträva efter att “köpa europeiskt" när de gör sina teknikval, gärna med ett fokus på AI-lösningar med öppen källkod, säger Nina Ökvist.

De här resonemangen börjar i den geopolitiska utvecklingen, men blir snabbt konkret när det gäller utveckling och val av teknik. Och det är en fråga som är större än vilka kommersiella tjänster på nätet som kan eller inte kan användas för att lösa kontorsuppgifter.

– I takt med att vi bland annat vill använda språkmodeller som skräddarsydda lösningar för kritiska uppgifter kommer frågorna om vem som tränat dem och hur de tillgängliggörs att bli allt mer centrala. Ska vi använda dem för att skapa värde i sjukvården, försvaret och i näringslivet behöver vi ta ett större ägandeskap över tekniken. Både utvecklingen av modellerna, men också var i världen de körs, säger Nina Ökvist, och fortsätter:

– Projektet är betydande för Europas och Sveriges suveränitet. Öppna modeller minskar beroende, främjar innovation, konkurrenskraft och mångfald. Öppen källkod möjliggör transparens och säkerhet, möjliggör granskning och bygger förtroende. Projektet bygger avancerad AI-kompetens i Sverige, vilket är en strategisk tillgång för nationen.

Spetskompetens som grund för värdeskapande tillämpningar

Den unika kunskap som genom de här sammanhangen byggs upp i språkteamet skapar inte bara förutsättningar för Sverige att vara en del av de stora europeiska projekten. Den är också otroligt värdefull i konkreta tillämpningar, inte minst i arbetet med en gemensam digital assistent för svensk offentlig sektor, “Svea”. 

– I utvecklingen av Svea har det blivit uppenbart hur otroligt komplext det är att möta offentlig sektors alla krav kring språklig förmåga, kunskapsinnehåll, efterlevnad av svensk och europeisk lagstiftning och så vidare. Tack vare expertkompetensen som finns hos kollegorna i språkteamet har vi bland annat kunna skapa processer för att ta fram träningsdata som nu används för att utveckla skräddarsydda modeller anpassade efter kommuners, regioners och myndigheters behov av informationshämtning, säger Jonatan Permert, projektledare för Svea.

Relaterade artiklar