"De resultaten laten zien dat AMALIA-DPO [Directe Voorkeur Optimalisatie] de beste prestaties van de volledig open modellen behaalt met een aanzienlijke marge, en zelfs de beste resultaten behaalt van alle modellen in lexicologie en semantiek, waarmee een robuuste beheersing van de specifieke taalkundige competenties" van het Portugees in verschillende categorieën wordt aangetoond.

Het Portugese Amália LLM [Large Language Model] is voortdurend verder ontwikkeld door het consortium van Portugese universiteiten, dat de ontwikkeling ervan leidt.

Volgens het technische rapport, in een diepgaande evaluatie van Europees Portugees, heeft Amália duidelijke voordelen ten opzichte van andere open modellen.

In Portugese nationale examens (Portugese vragen met lange antwoorden) "behaalt Amália de beste score van alle volledig open source modellen, met een goed begrip van complexe zinnen en een coherente tekstproductie, met de juiste grammatica en register".

In dit rapport, "presenteren we een LLM die prioriteit geeft aan de Europese Portugese taal en haar culturele context," leest het document, waarin staat dat Amália gebruik maakt van gegevens van arquivo.pt en post-training gegevens die specifiek zijn opgesteld voor Europees Portugees.

Het document geeft aan dat de LLM is getraind met behulp van taalmodellering en instructie-aanpassingsstrategieën.

"Een fundamentele uitdaging bij de ontwikkeling van dit model was het gebrek aan benchmarks om de voortgang van de prestaties van het model te volgen," merkt het rapport op.

Om deze beperking te verzachten, "gebruikten we nationale PT-PT-examens, creëerden we een linguïstische benchmark en vertaalden we verschillende datasets" met een speciaal machinevertaalmodel van hoge kwaliteit.

"De evaluatie toonde aan dat Amália beter presteert dan alle eerdere open-source modellen in PT-PT en veel 'open-gewicht' modellen [die de gewichten (getrainde parameters) delen]," concludeert het technische rapport.

"Experimenten met taalbegrip en inferentiebenchmarks laten state-of-the-art of vergelijkbare resultaten zien, terwijl het model in taalgeneratiebenchmarks uitblinkt in de kwaliteit van de gegenereerde tekst. Beveiligingsexperimenten laten ook zien dat het model in lijn is met de stand van de techniek," leest het rapport.

In de toekomst "zullen we andere methoden voor versterkingsleren onderzoeken en nieuwe combinaties van trainingsgegevens ontwikkelen om het redeneervermogen in PT-PT te verbeteren".

Met andere woorden, in de praktijk geven deze resultaten aan dat Amália betrouwbaar wordt als assistent in Europees Portugees.

Het rapport werd geschreven door João Magalhães (UNL) en André Martins (IST), de coördinatoren, en een team van ongeveer 20 mensen van de Universiteit van Lissabon en Universidade Nova de Lisboa.

Het Amalia-model wordt ontwikkeld door een team dat bestaat uit de Universidade Nova de Lisboa, het Instituto Superior Técnico, de Universidade de Coimbra, de Universidade do Porto, de Universidade do Minho en de Fundação para a Ciência e Tecnologia.

Het creatieproces van Amália begon met het verzamelen en verwerken van Europese Portugese gegevens op grote schaal, die werden gefilterd op basis van relevantie en taalkundige kwaliteit. Hiervoor werd het Portugese webarchief gebruikt. Het model werd vooraf getraind op deze gegevens en vervolgens verfijnd op andere datasets om instructies op te volgen, te redeneren en problemen op te lossen.

Er werd gebruik gemaakt van grootschalige computerinfrastructuur om de modellen te trainen, met behulp van nationale supercomputers (Mare Nostrum 5 en Deucalion) en Europese supercomputers (via het EuroHPC-netwerk).