EuroLingua-GPT

Utmaningar

Både offentlig och privat sektor i EU frågar efter öppna, kraftfulla språkmodeller som är tränade för de europeiska språken. EuroLingua-GPT är ett sätt att möta det behovet.

Projektets syfte

NLU-gruppen inom AI Sweden och Fraunhofer Institute for Intelligent Analysis and Information Systems (IAIS) har gemensamt säkrat beräkningstid på den nya superdatorn MareNostrum 5 vid Barcelona Supercomputing Center. Tilldelningen som beviljats genom EuroHPC:s "Extreme Scale Access" omfattar 8,8 miljoner GPU-timmar på H100-chip.

Detta är en av de största tilldelningarna som beviljats av det gemensamma företaget för högpresterande datorsystem i Europa (EuroHPC JU) för att utveckla stora europeiska AI-språkmodeller (LLMs) på EuroHPC-infrastrukturen. 

Från och med slutet av maj 2024 kommer partnerna att börja beräkna de första flerspråkiga modellerna. Projektet "EuroLingua-GPT" kommer att pågå i ett år och göra stora europeiska flerspråkiga modeller med öppen källkod tillgängliga.

De modeller som utvecklas på EuroHPC-infrastrukturen är avsedda att fungera både som basmodeller för allmänna ändamål för att främja forskning och vetenskap och som specialiserade modeller för specifika branscher eller ämnen för produktiv användning i företag eller offentlig förvaltning genom gemensamma överföringsprojekt.

Förväntat utfall

Projektet kommer att träna och släppa en serie stora språkmodeller som tränats på alla Europas officiella språk. De kommer att finnas i storlekar från 7 miljarder parametrar upp till 180 miljarder parametrar.

Fokus för de nya modellerna ligger på 46 indoeuropeiska språk, inklusive de 24 officiella europeiska språken - flerspråkiga AI-språkmodeller är fortfarande sällsynta. Träningen av modellerna kommer att inledas i slutet av maj 2024 och de första gemensamma modellerna förväntas publiceras under de kommande månaderna.

Förutom själva modellerna kommer projektet också att utveckla ett nytt ramverk för utbildning av LLM:er.

För mer information, kontakta