Hoppa till huvudinnehåll

EuroLingua-GPT

AI Sweden och Fraunhofer Institute for Intelligent Analysis and Information Systems tränar tillsammans en ny modell av stora språkmodeller för alla de officiella europeiska språken.

Photo: By courtesy of Barcelona Supercomputing Center - www.bsc.es

Foto: MareNostrum5, Med tillstånd av Barcelona Supercomputing Center - www.bsc.es

Utmaningar

Både offentlig och privat sektor i EU frågar efter öppna, kraftfulla språkmodeller som är tränade för de europeiska språken. EuroLingua-GPT är ett sätt att möta det behovet.

Projektets syfte

NLU-gruppen inom AI Sweden och Fraunhofer Institute for Intelligent Analysis and Information Systems (IAIS) har gemensamt säkrat beräkningstid på den nya superdatorn MareNostrum 5 vid Barcelona Supercomputing Center. Tilldelningen som beviljats genom EuroHPC:s "Extreme Scale Access" omfattar 8,8 miljoner GPU-timmar på H100-chip.

Detta är en av de största tilldelningarna som beviljats av det gemensamma företaget för högpresterande datorsystem i Europa (EuroHPC JU) för att utveckla stora europeiska AI-språkmodeller (LLMs) på EuroHPC-infrastrukturen. 

Från och med slutet av maj 2024 kommer partnerna att börja beräkna de första flerspråkiga modellerna. Projektet "EuroLingua-GPT" kommer att pågå i ett år och göra stora europeiska flerspråkiga modeller med öppen källkod tillgängliga.

De modeller som utvecklas på EuroHPC-infrastrukturen är avsedda att fungera både som basmodeller för allmänna ändamål för att främja forskning och vetenskap och som specialiserade modeller för specifika branscher eller ämnen för produktiv användning i företag eller offentlig förvaltning genom gemensamma överföringsprojekt.

Förväntat utfall

Projektet kommer att träna och släppa en serie stora språkmodeller som tränats på alla Europas officiella språk. De kommer att finnas i storlekar från 7 miljarder parametrar upp till 180 miljarder parametrar.

Fokus för de nya modellerna ligger på 46 indoeuropeiska språk, inklusive de 24 officiella europeiska språken - flerspråkiga AI-språkmodeller är fortfarande sällsynta. Träningen av modellerna kommer att inledas i slutet av maj 2024 och de första gemensamma modellerna förväntas publiceras under de kommande månaderna.

Förutom själva modellerna kommer projektet också att utveckla ett nytt ramverk för utbildning av LLM:er.

Photo: By courtesy of Barcelona Supercomputing Center - www.bsc.es

Foton: MareNostrum5, Med tillstånd av Barcelona Supercomputing Center - www.bsc.es

Photo: By courtesy of Barcelona Supercomputing Center - www.bsc.es

Fakta

Deltagare: AI Sweden och Fraunhofer IAIS

Projektperiod: 2024-2025

För mer information, kontakta

A picture of Magnus Sahlgren
Magnus Sahlgren
Head of Research, NLU
+46 (0)76-315 34 80
Photo of Amelia Högberg
Amelia Högberg
Project administrator & Event manager NLU team
+46 (0)70-431 92 38