Nu gör AI Sweden den första stora språkmodellen för de nordiska språken, GPT-SW3, fritt tillgänglig för företag och andra organisationer att använda i produkter och tjänster. Sverige som land får därmed tillgång till en grundläggande resurs som ökar vår förmåga att använda AI för att stärka konkurrenskraft och välfärd. GPT-SW3, som är utvecklad av AI Sweden i samarbete med WASP och RISE, är framtagen för svenska och nordiska språk.
GPT-SW3 kan användas för alla typer av tillämpningar som är möjliga att bygga med storskaliga språkmodeller, exempelvis lösningar för textanalys, klassificering, textgenerering, textbearbetning, innehållsmoderering och chattfunktioner.
Språkmodellen löser vissa av de hinder som både näringsliv och offentlig sektor brottats med kring storskaliga språkmodeller. Otydligheter kring träningsdata, oklara licensvillkor eller modeller som bara finns tillgängliga som molntjänster är några av de trösklar som finns för att idéerna ska kunna bli verklighet.
Det finns ett stort behov av en modell tränad på svensk text, med tydliga licensvillkor, som går att finjustera för egna behov och som är möjlig att köra på egen hårdvara i tillämpningar som kräver det av exempelvis juridiska eller konkurrensmässiga skäl. Alla de här behoven möter GPT-SW3, och därmed öppnas dörren för en mängd nya tillämpningar i svenskt näringsliv och offentlig sektor.
De undersökningar som gjorts kring generativ AI pekar alla på stora produktivitetsökningar. I en rapport från 2019 beräknade DIGG, Myndigheten för digital förvaltning, värdet som AI kan bidra med i offentlig sektor till 140 miljarder kronor årligen. Det var innan generativ AI hade slagit igenom.
Många aktörer inom både privat och offentlig sektor arbetar redan idag med generativ AI, inklusive språkmodeller. I Region Halland har man utforskat språkmodeller för att sammanfatta journaltext, förutspå oönskade vårdhändelser, koda journaler, extrahera information ur fritext och skapa utskrivningsmeddelanden till patienter.
GPT-SW3 är en så kallad generativ, förtränad modell. På engelska heter detta generative pre-trained models, och därifrån kommer förkortningen GPT. Genom att ha analyserat stora mängder text har språkmodellen hittat mönster i det svenska språket. De mönstren kan sedan användas för att komplettera text: När man skickar in en kortare eller längre text till en GPT-modell kommer den att svara på ett statistiskt rimligt sätt.
GPT-SW3 släpps i sex olika storlekar, från 126 miljoner parametrar upp till 40 miljarder. Modellen är inte en färdig produkt eller tjänst. För att kunna använda GPT-SW3 måste utvecklare bygga en produkt eller tillämpning med hjälp av GPT-SW3
Utvecklare kan hitta de olika varianterna av GPT-SW3 på HuggingFace, där även licensen och användarvillkoren finns.
GPT-SW3 är resultatet av ett samarbete mellan AI Sweden, WASP och RISE med finansiering från Vinnova
Magnus Sahlgrens blogginlägg om GPT-SW3
Registrera dig för att få uppdateringar om vårt arbete med GPT-SW3 och NLU