SuperLim

Syfte

SuperLim-projektet utgör grunden för en nationell testbädd för svenska språkmodeller genom att skapa en svensk version av (Super)GLUE. Genom att tillhandahålla en standardiserad samling av benchmarkingtester för svenska språkmodeller, stöder samarbetet det nationella ansvaret att underlätta utvecklingen av pålitliga och robusta NLP-applikationer.

Benchmarkingtesterna utgör ett väsentligt steg i möjliggörandet av implementeringen av kvalitativa NLP-applikationer i stor skala i Sverige. Överförbarheten av resultaten från pågående initiativ och projekt beror i stor utsträckning på en sådan infrastruktur.

Projektets mål

Målet med projektet är att börja skapa ett nationellt utvärderingsramverk. Projektet består av datainsamling samt annotering av data.

Resultat

Hitta förhandsversionen av SuperLim på Språkbanken.

Bakgrund

Målet är att möjliggöra tillämpade lösningar med NLP på en bred, nationell nivå. Svensk Natural Language Processing (NLP) genomgår nu en omvandlande genombrott med utvecklingen av storskaliga svenska språkmodeller. De pågående initiativen för att göra svenska språkmodeller tillgängliga, och för att öka tillgängligheten till svenska språkdata, är viktiga steg mot detta mål.

Varje företag, universitet och offentlig myndighet kommer att kunna dra nytta av detta grundarbete när de tillämpar modeller som specifikt tränats för uppdrag som identifierats inom sin egen organisation. Detta kommer att ha en positiv inverkan på effektiviteten i många olika typer av yrken. Till exempel kan vårdpersonal fokusera på att ge vård istället för administration.

En förutsättning för att uppnå detta är att ha ett gemensamt sätt att beskriva kvaliteten på språkmodellerna och hur de fungerar. När man utvecklar eller implementerar applikationer som är baserade på svenska språkmodeller, är det av stor vikt att kunna förstå kvaliteterna hos både de underliggande algoritmerna samt applikationen själv. Prestandan för en språkmodell handlar inte bara om hur väl den har tränats för att förstå och utföra sin angivna uppgift. De data den tränas på och hur det påverkar modellen är minst lika viktigt för vår förståelse av de resultat vi får när vi tillämpar modellerna.

För att öka förklarbarheten hos språkmodeller och vad de faktiskt gör, finns det standardiserade benchmarkingtester för att beskriva en rad kvaliteter hos språkmodeller som finns i samlingarna GLUE/SuperGLUE. GLUE - General Language Understanding Evaluation - är en uppsättning av uppgifter för språkförståelse, som möjliggör utvärdering av språkmodeller med avseende på både prestanda och bias. Semantisk likhet, inneboende bias och fördomar, och ord i kontext är exempel på tester som kan hittas på plattformen. Men dessa tester är inte anpassade för svenska språkmodeller. 

Vill du veta mer?

Kontakt