Hoppa till huvudinnehåll

GPT-SW3 valideringsprojekt

Kan en storskalig svensk generativ språkmodell sänka tröskeln för att använda avancerade språkmodeller för att lösa textbearbetningsuppgifter inom en mängd olika sektorer och användarfall?

GPT-SW3 graphic showing input by public sector, industry, startups and academia

Slutseminarium

Den 26 September 2024 hölls ett slutseminarium för valideringsprojektet på AI Swedens kontor i Stockholm. Ta del av inspelningen:

Utmaningar

I ett antal projekt, särskilt "Språkmodeller för svenska myndigheter", har det blivit tydligt att det finns ett konkret behov av kraftfulla svenska språkmodeller, både inom offentlig och privat sektor. Dock är det utmanande för enskilda aktörer att anpassa och implementera modeller för sina organisatoriska behov på grund av svårigheter att attrahera kvalificerad personal, dålig dataförberedelse och att skaffa lämplig hårdvara.

AI Sweden tror att grundläggande modeller utgör ett lovande alternativ för att ta itu med dessa utmaningar. De har potentialen att förändra traditionella sätt att lösa textbearbetningsbehov.

Projektets syfte

Detta projekt testar hypotesen att grundläggande modeller kan sänka tröskeln för att använda avancerade språkmodeller för att lösa textbearbetningsuppgifter inom privat och offentlig sektor.

Det undersöker möjligheten att använda en storskalig svensk generativ språkmodell för att skapa en generell lösning för textbearbetningsuppgifter som kan användas av många olika intressenter. Projektet bygger på den storskaliga generativa språkmodellen GPT-SW3, som AI Sweden utvecklar i samarbete med RISE, WASP WARA Media & Language och NVIDIA. Projektet kommer att göra GPT-SW3 tillgänglig via ett API och ett användarvänligt webbaserat gränssnitt, utveckla lösningar för textbearbetningsuppgifter (t.ex. genom uppmaningar och p-tuning), och validera användningen av modellen i olika användarfall, med tydliga ägare från offentlig sektor, näringsliv och akademi.

Projektets nyckelinnovationer är dels API:t och det webbaserade gränssnittet för modellen, och dels valideringen av att använda modellen för att lösa ett stort antal olika textbearbetningsuppgifter.

Hur?

Projektet samlar intressenter från offentlig sektor, näringsliv och akademi. AI Sweden och RISE kommer att utveckla API-lösningen som det första steget i projektet. I nästa steg fokuserar projektet på olika användningsfall i intressenternas organisationer.

Dessa användningsfall fokuserar på textbearbetningsapplikationer som textgenerering och sammanfattning, kategorisering och informationsextraktion.

Arbetet kommer att ske iterativt: AI Sweden och RISE validerar och förbättrar API-lösningen med hjälp av resultat från de olika användarfallen. Intressenterna ansvarar för sina respektive användarfall med stöd av AI Sweden och RISE.

Förväntade resultat

Om detta projekt lyckas kommer det att drastiskt sänka tröskeln för att använda avancerade språkmodeller för att lösa textbearbetningsuppgifter. Detta kommer att leda till en disruptiv förändring och acceleration i användningen av AI-driven svensk språkteknologi. Intressenterna kommer inte längre att behöva investera i kostsamma processer för att samla in träningsdata för sina specifika behov, och de kommer inte heller att behöva köpa och driva dyra hårdvaruresurser. Resultaten och resurserna som produceras inom detta projekt kommer att vara tillämpliga inom praktiskt taget alla sektorer och industrier. Man hoppas att teknologin kan användas så brett som möjligt.

  • Sänka tröskeln för att använda avancerade språkmodeller för att lösa textbearbetningsuppgifter inom offentlig och privat sektor

  • Kostnads- och tidsbesparingar för intressenter

  • Bättre tjänster för medborgare och kunder

  • Öka AI-kompetensen inom området för grundläggande modeller, vilket är värdefullt för svensk konkurrenskraft och samhällsnytta

Handbok för prompting

Med denna handbok vill vi ge en övergripande förklaring till vad en språkmodell är, en introduktion till Prompt Engineering, och demonstrera dess stora potential genom att gå igenom några enkla applikationer. Handboken kan användas som ett verktyg för att framgångsrikt skapa uppmaningar på egen hand och förhoppningsvis utveckla och förbättra specifika applikationer.

Handboken är ett pågående arbete och kommer att uppdateras under projektets gång.

Kolla in handboken för prompting

Text saying GPT-SW3 with ac background image of letters

Statusuppdatering: GPT-SW3: en grundläggande modell för svensk NLP

Presentation vid referensgruppsmötet "Offentlig sektor och tillämpad språkteknologi" på AI Sweden
Magnus Sahlgren, AI Sweden

8 juni, 2022

Text saying GPT-SW3 with ac background image of letters

Statusuppdatering: GPT-SW3 – En svensk basmodell för texthantering / valideringsprojekt

Presentation vid referensgruppsmötet “Offentlig sektor och tillämpad språkteknologi” på AI Sweden
Magnus Sahlgren, AI Sweden

15 december, 2022

Kontakt

A picture of Ariel Ekgren
Ariel Ekgren
Senior Research Scientist
+46 (0)70-793 13 94

Pågående projekt NLU

DeployAi logo on a turquoise background

DeployAI

Projektet DeployAI ska bygga, driftsätta och lansera en fullt operativ AI-on-demand-plattform (AIoDP) som främjar pålitliga, etiska och transparenta europeiska AI-lösningar för användning inom...
A woman standing by a desk in fromt of her computer

En gemensam digital assistent för offentlig sektor

Detta är ett samarbete mellan svenska myndigheter, kommuner, regioner och näringslivet, koordinerat av AI Sweden. Syftet är att främja nationell samverkan kring AI för textuppgifter och skapa...
One of the supercomputors in the Barcelona Supercomputing Center

EuroLingua-GPT

AI Sweden och Fraunhofer Institute for Intelligent Analysis and Information Systems tränar tillsammans en ny modell av stora språkmodeller för alla de officiella europeiska språken.
Photo in black and white of trucks on a parking lot seen from above

FormAI

FormAI utforskar användningen av generativ AI i kombination med formell verifiering för att utveckla säker och pålitlig programvara inom fordonsområdet.
An illustrative composition featuring multiple screens arranged in a circular formation, radiating light from the center

Multimodal språkmodell

Nu tar AI Swedens språkteam nästa stora steg genom att starta utvecklingen av Sveriges första stora multimodala språkmodell. Den nya modellen förväntas, precis som GPT-SW3, bli en viktig nationell...
An AI-generated image showing cars driving and people walking in a city setting

Next generation infrastructure

Inom ramen för Next Generation Infrastructure Project utvecklar AI Sweden nästa generations infrastruktur för träning, distribution och iterativ förbättring av grundmodeller genom att hantera...
Photo of a large amounts of text documents laying on a table, seen from above. AI-generated

TrustLLM

TrustLLM kommer att utveckla europeiska stora språkmodeller (LLM) i en aldrig tidigare skådad skala, tränade på den största textmängden hittills inom europeisk AI, som täcker en rad...