Hizkuntza Eredu Handiak (LLM)

Hizkuntza-eredu handiak (HEH edo LLM, ingelesez: Large Language Model) milaka miloi parametro dituzten sare neuronaletan (gehienbat transformer[2]-ak) oinarritutako hizkuntza-ereduak dira, oro har, hizkuntza-ulermena eta sormena lortzeko duten gaitasunagatik ezagunak. Gaitasun hauek eskuratzeko, entrenamenduan datu-kopuru erraldoiak eta ikasketa-teknika ezberdinak erabiltzen dituzte.

Hizkuntza eredu handiak entrenatzeko erabiltzen den konputazio-lanaren gorakada azkarra. HEH itxi onenen entrenamendu-kostuak eredu irekiko onenen entrenamendu-kostuak baino askoz ere handiagoak dirudite. GPT-4 eta antzeko ereduen entrenamendu-kostua ez da publikoki ezagutzen; beraz, estimazio bat baino ez da. Datuak Epoch-enak dira 2023an, eta grafikoa Stanfordeko Unibertsitateko AI index-ekoa da 2024an.

Hizkuntza-eredu autorregresibo gisa, sarrerako testu bat hartu eta hurrengo token edo hitza zein izan daitekeen aurreikusten dute, behin eta berriz.

Esaldi batean hurrengo hitza iragartzea bezalako zeregin sinpleetan trebatuta egon arren, horrekin batera giza hizkuntzaren sintaxiaren eta semantikaren zati handi bat ikasteko gaitasuna ere lortzen dute. Gainera, hizkuntza-eredu handiek munduari buruzko ezagutza orokorra ere badutela erakusten dute, eta entrenamenduan zehar gertaera ugariri buruz ikasteko gai direla. Hala ere, entrenamendua corpuseko testuaren gainean egiten denez, horrenganako menpekotasun handia dute gero, hau da, corpuseko testuak dituen zehaztasun-ezak eta alborapenak heredatzen dituzte.

Adibide aipagarriak dira OpenAIren GPT ereduak (adibidez, GPT-3.5 eta GPT-4, ChatGPT txatbotean erabiltzen direnak), Google-ren PaLM (Bard-en erabilia) eta Meta-ren LLaMa, baita BLOOM, Ernie 3.0 Titan eta Anthropic-en Claude 2 ere.

2024ko Informatikari Euskaldunen Bilkuraren barruan sei hizkuntza-eredu handi jarri zuten lehian euskarazko elkarrizketetan. Helburua EHUko Hitz zentroan garatzen den Latxa eredua «sistema komertzial hoberenen kontra» lehian jartzea izan zen, eta horra ondorioetako bat: GPT-4o eredu ezagunaren parean geratu zen ia. Dema horretan ikusi zen euskaraz «hobekien» zekien sistema Claude Sonnet 3.5 sistema komertziala zela, bigarren GPT-4o sistema geratu zen, eta haren «ia parean» geratu zen Latxa. Beherago geratu zen Gemini Flash 1.5, eta «askoz beherago» Command R+ eta LLama 3.1. Azken hori Latxa eredu berriaren «oinarria» da.

• 
  ChatGPT
• 
  Claude
• 
  Gemini
• 
  Latxa
• 
  Perplexity AI

Propietateak

Aurre entrenamendu datu multzoak

HEHak testu-datu multzo handietan aldez aurretik trebatzen dira. Gehien erabiltzen diren testu-datu multzo batzuk Common Crawl, The Pile, MassiveText,​ Wikipedia eta GitHub dira. Datu multzoek 15.000.000 milioi hitz arteko tamaina heldu ziren 2024an. Baliabide urri dituen hizkuntza izanik, euskarazko testu-corpus handienen tamaina milaka aldiz txikiago izaten da; esate baterako EusCrawl corpusa (288 milioi hitz). Hala ere bada berri on bat, euskarazko corpus ·txiki horiek" ingelesezko corpus itzel batekin batera entrenatuz gero, lortzen den eredua gauza da euskaraz modu duinean egiteko eta gauza da ingelesezko corpus handiaren ezagutza orokorra euskaraz erabiltzeko ere. Horrela, HiTZ zentroak 2024ko urtarrilean garatu zuen Latxa ereduan LLaMA 2 ereduko corpusa (2 bilioi hitz) erabili zuten eta euskarazko EusCrawl corpusa (288 milioi hitz, 6 mila aldiz txikiagoa) gehitu zioten.

Bestalde, izugarria da ikustea zelan hazten diren testu-corpusen tamaina. Esate baterako, lehen aipatutako LLaMA 2 ereduko corpusak 2 bilioi hitz zeuzkan 2023ko uztailean, eta urtebete geroago, 2024ko uztailean, LLaMA 3 eredu berriko corpusak 15,7 bilioi hitz zeuzkan. Urtebeteko epean entrenamendu-corpusaren tamaina ia zortzi aldiz handiagoa zen. Noski, HiTZ Zentroak corpus libre handiago hori erabili du Latxaren bertsio hobe bat sortzeko.

Eskalatzeko legeak

Oro har, HEH bat lau parametrorekin deskriba daiteke: ereduaren tamaina, prestakuntza-datuen multzoaren tamaina, prestakuntza-kostua eta entrenamenduaren ondorengo errendimendua. Lau aldagai horietako bakoitza zehatz-mehatz defini daiteke zenbaki erreal batean, eta enpirikoki lege estatistiko sinpleen bidez erlazionatuta aurkitzen da, "eskala-legeak" izenekoak.

Garai baterako modu autorregresiboan trebatutako HEHentzako eskalatze-lege partikular batek ("Chinchilla eskala"), ikaskuntza-tasa logaritmikoko programazio batekin, hau dio:

${\begin{cases}C=C_{0}ND\\L={\frac {A}{N^{\alpha }}}+{\frac {B}{D^{\beta }}}+L_{0}\end{cases}}$

aldagaiak hauek dira:

$C$ eredua entrenatzearen kostua da, FLOPetan.

$N$ ereduko parametro kopurua da.

$D$ entrenamendu multzoko token kopurua da.

$L$ token bakoitzeko (nats / token) batez besteko log probabilitate-galera negatiboa da, probako datu multzoan trebatutako HEHak lortutakoa.

eta parametro estatistikoak hauek dira:

$C_{0}=6$, hau da, parametro bakoitzeko 6 FLOP kostatzen da token batean entrenatzea. Kontuan izan prestakuntza-kostua inferentzia-kostua baino askoz handiagoa dela, non parametro bakoitzeko 1 eta 2 FLOP kostatzen diren token bat ondorioztatzeko.

$\alpha =0.34,\beta =0.28,A=406.4,B=410.7,L_{0}=1.69$

Gaitasun emergenteak

Normalean eredu txikien antzekoen errendimenduan oinarritutako hainbat zereginetan eredu handien errendimendua estrapola dezakeen arren, batzuetan eredu handiek "fase-aldaketako etena" izaten dute, non ereduak bat-batean ezagutzen ez diren gaitasun handiak eskuratzen dituen. Hauek "gaitasun emergenteak" izenez ezagutzen dira eta azterketa sakonen gai izan dira. Ikertzaileek adierazi dute gaitasun horiek "ezin direla aurreikusi eredu txikiagoen errendimendua estrapolatuz bakarrik". Gaitasun horiek programatuta edo diseinatuta aurkitu beharrean, kasu batzuetan HEHa publikoki zabaldu ondoren aurkitzen dira. Ehunka trebetasun aurkitu dira. Adibideak honako hauek dira: urrats anitzeko aritmetika, unibertsitate-mailako azterketak gainditzea, hitz baten esanahia identifikatzea, pentsamendu-katea, Nazioarteko Alfabeto Fonetikoa deskodetzea eta abar.

Aluzinazioak

HEH-sortzaileek beren aurre-entrenamendu datuek justifikatzen ez duten egiazko aldarrikapenak ziurtasunez baieztatzen dituztela ikusi da, "aluzinazioa" deitu izan den fenomenoa da hori.

Arkitektura

Hizkuntza-eredu handiek transformer izeneko arkitektura erabili dute gehienbat, 2018az geroztik, datu sekuentzialetarako ikaskuntza sakoneko teknika estandarra bihurtu da (lehen, LSTM bezalako arkitektura errepikakorrak ziren ohikoenak).

Tokenizazioa

HEHak funtzio matematikoak dira, eta hauen sarrera eta irteera zenbakien zerrendak dira. Ondorioz, hitzak zenbaki bihurtu behar dira.

Orokorrean, HEH batek tokenizatzaile bat erabiltzen du. Tokenizatzailea testuen eta zenbaki osoen zerrenden arteko mapak egiten dituen funtzio bijektibo bat da. Tokenizatzailea normalean aurreentrenamentu-datu multzo osora egokitzen da eta gero izoztu egiten da HEHa entrenatu aurretik. Aukera arrunt bat byte bikoteen kodeketa da.

Tokenizatzaileen beste ezaugarri bat testu-konpresioa da, eta horrek konputazioa aurrezten du. "Non dago" bezalako hitz edo esaldi arruntak token batean kodetu daitezke, 7 karaktere izan beharrean. OpenAI GPT-ek tokenizer bat erabiltzen dute, eta token bat 4 karaktere ingururekin osatzen da, edo 0,75 hitz ingururekin, ingelesezko testu arruntean. Ingelesezko testu ezohikoa ezin da hain erraz aurreikusi, beraz, gutxiago konprimitu ahalko da, beraz, token gehiago behar ditu kodetzeko.

Tokenizatzaile batek ezin ditu zenbaki oso arbitrarioak sortu. Normalean $\{0,1,2,...,V-1\}$ barneko zenbaki osoak soilik ateratzen dituzte, $V$ hiztegiaren tamainari deritzo.

Tokenizatzaile batzuk testu arbitrarioak kudeatzeko gai dira (normalean Unicode-n zuzenean funtzionatuz), baina beste batzuk ez. Kodetzerik gabeko testua topatzen denean, tokenizagailu batek "testu ezezaguna" adierazten duen token berezi bat sortuko luke (askotan 0). Hau [UNK] bezala idatzi ohi da, BERT dokumentuan bezala.

Askotan erabiltzen den beste token berezi bat [PAD] da, "betegarria" egiteko. Hau erabiltzen da normalean HEHak aldi berean testu-loteetan erabiltzen direlako, eta testu horiek ez dira luzera berdinean kodetzen. HEHek, oro har, sarrera zerrenda ez-irregularra izatea eskatzen dutenez, kodetutako testu laburragoak bete behar dira luzeagoaren luzerarekin bat etorri arte.

Irteera

HEH baten irteera bere hiztegiaren gaineko probabilitate banaketa da. Hau normalean honela ezartzen da:

• Testu bat jasotzean, HEH gehienak bektore bat sortzen du $y\in \mathbb {R} ^{V}$ non $V$ bere hiztegiaren tamaina den.
• $y$ bektorea softmax funtzio batetik pasatzen da $softmax(y)$) lortzeko.

Prozesuan, $y$ bektoreari logit bektore ez normalizatua deitzen zaio, eta $softmax(y)$ bektoreari probabilitate-bektorea. $softmax(y)$ bektoreak $V$ sarrera dituenez, guztiak ez-negatiboak, eta 1era batuta, $\{0,1,2,...,V-1\}$ probabilitate-banaketa gisa interpreta dezakegu, hau da, probabilitate banaketa bat da HEHaren hiztegian.

Entrenamendua

HEH gehienak aurre-entrenamendu generatiboa erabiliz entrenatzen dira, hau da, testu-token prestakuntza-datu multzo bat emanda, ereduak datu-multzoko tokenak aurreikusten ditu. Bi aurre-entrenamendu generatibo estilo orokor daude:

• Autorregresiboa: "Izokia jatea" bezalako testu-segmentu bat emanda, ereduak hurrengo tokenak aurreikusten ditu, "gustatzen zait" adibidez.
• Maskaratua: "Txokolatezko [MASKARA] [MASKARA] gustatzen zait" bezalako testu-segmentu bat emanda, ereduak maskaratutako tokenak aurreikusten ditu, adibidez "izozkia jatea".

HEHak datuen banaketaren ulermena erakusten duten bestelako zereginetan entrenatu daitezke.

Normalean, HEHak galera-funtzio zehatz bat minimizatzeko entrenatzen dira: token bakoitzeko batez besteko log probabilitate negatiboa (entropia gurutzatua ere deitzen zaio) adibidez. Eredu autorregresibo batek, "Izozkia jatea gustatzen" emanda, probabilitate-banaketa bat aurreikusten badu $Pr(\cdot |{\text{Izozkia jatea gustatzen}})$ orduan token honen log probabilitate negatiboa $-\log Pr({\text{zait }}|{\text{Izozkia jatea gustatzen}})$ izango da.

Entrenamenduan zehar, erregularizazio-galera ere erabiltzen da entrenamendua egonkortzeko. Hala ere, erregularizazio-galera hau ez da proba eta ebaluazioan erabiltzen. Ebaluazio-irizpide gehiago ere badaude entropia gurutzatutik haratago.

HEHak milaka milioi hitzen dimentsioa duten corpus linguistikoetan eratzen dira.

GPT-1, OpenAI-ren aurreentrenatutako lehen transformer-eredua, 2018an BookCorpus-en entrenatu zen, hau 985 milioi hitzez osatzen da. Urte berean, BERT BookCorpus eta ingelesezko wikipediaren konbinazio batean entrenatu zen, 3.300 milioi hitz guztira.Harrezkero, HEHrako prestakuntza-corpusak handitu egin dira, eta billoi bat tokenetara iritsi dira.

Entrenamendu kostua

HEHak konputazionalki oso garestiak dira entrenatzereko garaian. 2020ko ikerketa batek 1.500 milioi parametroko eredua entrenatzearen kostua 1.6 milioi dolarrekoa dela kalkulatu zuen. Softwarearen eta hardwarearen aurrerapenek kostua nabarmen murriztu dute, 2023ko paper batean aurreikusi zen 72.300 orduko A100-GPU kostua duela 12.000 milioi parametro-eredu bat entrenatzeko. Kalkulatzen da GPT-3 bat behin bakarrik entrenatzea, 175.000 milioi parametrorekin, 4,6 milioi dolar behar direla.Horretarako RTX 8000 bakar batek 665 urte beharko lituzke bukatzeko.

Transformerretan oinarritutako HEHetarako, parametro bakoitzeko 6 FLOP kostatzen da token batean entrenatzea. Kontuan izan behar da prestakuntza-kostua inferentzia-kostua baino askoz handiagoa dela, non parametro bakoitzeko 1 eta 2 FLOP artean kostatzen den token batean ondorioztatzeko.

Ingurumen kostuari dagokionez, HEH baten entrenamenduak kostu energetikoa oso altua du. Eredu bat entrenatzeak bidaiari batek New York-etik San Frantziskorako hegaldi batean bezainbesteko karbono-isuria egiten da.​ GPT-3-ren kasuan, kalkulatzen da 1.200 MWh konsumitzen dela, 500 tona CO2 isuri baino gehiago sortuz. Kostu horiek areagotu egiten dira ereduek parametro gehiago dituezten heinean. Prestakuntza-ziklo bakoitzak ehunka edo milaka CPU eta GPUren dedikazio esklusiboa eskatzen du, hauek karga konputazional handia onartzen dute, datu kopuru handiak gordetzeaz eta mugitzeaz gain. Horrek guztiak energia-kontsumo handia eragiten du, eta bero kantitate handiak sortzen ditu.

Kostu horiek murrizteko, irtenbide posible bat eredu txikiagoak erabiltzea da. Hauek eredu handi baten antzera funtziona dezaket, eta 100 dolar inguruko kostua dute entrenatzean. Eredu txiki baten adibidea Alpaca eredua da, Stanfordeko Unibertsitateko ikertzaileek Meta AI-ren LLaMA izeneko ereduan garatua. Hau nahikoa arina da eta mahaigaineko ordenagailu batean exekuta daiteke.

Ondorengo zereginetarako aplikazioa (downstream tasks)

2018 eta 2020 artean, hizkuntza naturalaren prozesatzeko (NLP) HEH bat prestatzeko metodo estandarra ataza zehatz baterako eredua doitzea izan zen, zeregin espezifikoko prestakuntza osagarri batekin. Ondoren, aurkitu zen HEH indartsuagoek, GPT-3 adibidez, zereginak prestakuntza gehigarririk gabe ebatzi ditzaketela "prompting" tekniken bidez, zeinetan konpondu beharreko arazoa testu-mezu gisa aurkezten zaiola ereduari, agian testu-adibide batzuekin, antzeko arazoak eta haien konponbideak emanez.

Fine-tuning

Fine-tuning aldez aurretik trebatutako hizkuntza-eredu bat aldatzeko praktika da (modu gainbegiratuan) zeregin zehatz batean trebatuz (adibidez, sentimenduen analisian, entitate izendapenaren errekonozimendua edo gramatika etiketatzea). Ikaskuntza transferitzeko modu bat da. Normalean, hizkuntza-ereduaren azken geruza nahi den zereginaren emaitzekin lotzen duten pisu multzo berri bat sartzeaz oinarritzen da. Hizkuntza-ereduaren jatorrizko pisuak "izoztu" daitezke, eta, beraz, irteerarekin lotzen dituen pisu-geruza berria bakarrik ikasten da entrenamenduan. Jatorrizko pisuen eguneratze txikiak eginez ere lortzen da.

Ebaluazioa

Perplexitatea

Hizkuntza-eredu baten errendimenduaren neurririk erabiliena testu-corpus jakin batean duen perplexitatea da. Perplexitatea eredu batek datu-multzo baten edukia zenbateraino iragar dezakeen neurtzen du; ereduak datu multzoa iragartzen duenaren probabilitatea zenbat eta handiago, orduan eta perplexitate txikiagoa izango du. Matematikoki, perplexitatea token bakoitzeko batez besteko log probabilitate negatiboaren esponentzial gisa definitzen da: $$\log({\text{Perplexity}})=-{\frac {1}{N}}\sum _{i=1}^{N}\log(Pr({\text{token}}_{i}|{\text{context for token}}_{i}))$$ hemen $N$ testu-corpuseko token kopurua da, eta "i tokenaren testuingurua" erabilitako HEH motaren araberakoa da. HEH autorregresiboa bada, "i tokenaren testuingurua" i tokenaren aurretik agertzen den testu-segmentua da. HEHa maskaratuta badago, "i tokenaren testuingurua" i tokenaren inguruko testu-segmentua da.

Hizkuntza-ereduak beren prestakuntza-datuetara gehiegi moldatu daitezkeenez, ereduak normalean ikusten ez diren datuen proba-multzo batean perplexitatearen arabera ebaluatzen dira. Horrek erronka bereziak ditu hizkuntza eredu handiak ebaluatzeko.

Hizkuntza-eredu handien zerrenda

Prestakuntza-kostuen zutaberako, 1 petaFLOP-egun = 1 petaFLOP/sec × 1 egun = 8,64E19 FLOP. Gainera, modeloaren handienaren kostua bakarrik dago idatzita.

Izena	Argiratze data	Gara-tzailea	Parametro kopurua (mila milioika)	Corpusaren tamaina	Entrena-mendu-kostua (peta FLOP-egun)	Lizentzia	Oharrak
GTP-1	2018ko ekaina	OpenAI	117000000 !0.117		1	MIT	Lehen GPT modeloa, dekodetzaile hutsezko transformerra. 30 egunez 8 P600 GPUtan entrenatua.
BERT	2018ko urria	Google	340000000 !0.340	3,3 mila milioi hitz	9 !9	Apache 2.0	Hizkuntza-eredu goiztiar eta eragin handikoa. Kodifikatzailea besterik ez, eta, beraz, ez dago eraikita elkarizketan erabilia edo sortzailea izateko . Entrenamenduak 4 egun iraun zuen 64 TPUv2 txipekin.
T5	2019ko urria	Google	11	34 mila milioi token		Apache 2.0	Googleren proiektu askotarako oinarrizko eredua, esate baterako, Irudia.
XLNet	2019ko ekaina	Google	340000000 !0.340	3300000000 !33 mila milioi hitz	330	Apache 2.0	BERTen alternatiba bat; kodetzaile gisa soilik diseinatua. 512 TPU v3 txipetan entrenatua 5,5 egunetan.
GTP-2	2019ko otsaila	OpenAI	1500000000 !1.5	40 GB (~10000000000 !10 mila milioi mila milioi token)	28	MIT	32 TPUv3-txipetan entrenatuta astebetez.
GPT-3	2020ko maiatza	OpenAI	175000000000 !175	300000000000 !300 mila milioi token	3640	proprietary	GPT-3 aldaera findu bat, GPT-3.5 izenekoa, publikoaren eskura jarri zen ChatGPT izeneko web interfaze baten bidez 2022an.
GPT-Neo	2021eko martxoa	EleutherAI	2700000000 !2.7	825 GiB		MIT	EleutherAIk liberatu zituen doako GPT-3 alternatiben artean lehena. GPT-Neok proba batzuetan tamaina bereko GPT-3 eredu bat gainditu zuen, baina GPT-3 handiena baino nabarmen okerragoa izan zen.
GPT-J	2021eko ekaina	EleutherAI	6000000000 !6	825 GiB	200	Apache 2.0	GPT-3 estiloko hizkuntza-eredua
Megatron-Turing NLG	2021eko urria	Microsoft eta Nvidia	530000000000 !530	338600000000 !338.6 mila milioi token	38.000	Restricted web access	Hiru hilabetez entrenatua A100 motako 2.000 GPU baino gehiagotan NVIDIA Selene Superkonputagailuan, 3 milioi GPU ordu baino gehiagotan.
Ernie 3.0 Titan	2021eko urria	Baidu	260000000000 !260	4 Tb		Proprietary	Txinerarako HEHa. Ernie Bot izeneko bot-ak eredu hau du oinarri.
Claude	2021eko urria	Anthropic	52000000000 !52	400000000000 !400 mila milioi token		beta	Elkarrizketetan nahi den portaerarako ongi doitua .
GLaM (hizkuntza-eredu orokorra)	2021eko urria	Google	1200000000000 !1200	1600000000000 !1.6 bilioi token	5.600	Proprietary	Eredu berezia (aditu-konbinazioa), garestiagoa da entrenatzeko, baina merkeagoa inferentzia exekutatzeko, GPT-3rekin alderatuta.
Gopher	2021eko urria	DeepMind	280000000000 !280	300000000000 !300 mila milioi token	5.833	Proprietary	Ondoren, Chinchilla eredurako garatu zen.
LaMDA (Elkarrizketa hizkuntza ereduak)	2022ko urtarrila	Google	137000000000 !137	1.56T hitz, 168000000000 !168 mila milioi token	4.110	Proprietary	Elkarrizketetan erantzunak sortzeko espezializatua.
GPT-NeoX	2022ko otsaila	EleutherAI	20000000000 !20	825 GiB	740	Apache 2.0	Megatron arkitekturan oinarritua
Chinchilla	2022ko martxoa	DeepMind	70000000000 !70	1400000000000 !1.4 bilioi token	6.805	Proprietary	Parametro gutxiko eredua, datu gehiagotan entrenatua. Sparrow botean erabilia. Sarritan aipatua bere eskala neuronalaren legearengatik.
PaLM (Pathways Language Model, Pathways hizkuntza-eredua)	2022ko apirila	Google	540000000000 !540	768000000000 !768 mila milioi token	29250 !29,250	Proprietary	Entrenatua ~60 egunetan, ~6000 TPU v4 txipetan. 2024ko urrian, argitaratutako transformer trinko handiena zen
OPT (Open Pretained Transformer)	2022ko Maiatza	Meta	175000000000 !175	180000000000 !180 mila milioi token	310	Non-commercial research	GPT-3 arkitektura, Megatronetik hartutako egokitzapen batzuekin. Modu bakarrean, taldeak idatzitako prestakuntza koadernoa argitaratu zuten.
YaLM 100B	2022ko ekaina	Yandex	100000000000 !100	1,7 Tuberkulosia		Apache 2.0	Eredu anglo-errusiarra, Microsoften Megatron-LMan oinarritua.
Minerva	2022ko ekaina	Google	540000000000 !540	Eduki matematikan iragazitako web orrien eta arXiv aurre-inprimaketa-zerbitzarira bidalitako dokumentuen 38,5B token		Proprietary	"Gai matematiko eta zientifikoak urratsez urratseko arrazoiketa erabiliz" ebazteko. PaLM ereduetatik abiatua, datu matematiko eta zientifikoekin findua.
BLOOM	2022ko uztaila	Lankidetza handia, Hugging Face buru zela	175000000000 !175	350000000000 !350 mila milioi token (1.6TB)		Responsible AI	Funtsean, GPT-3, baina corpus eleanitz batekin entrenatua (% 30 ingelesez, programazio-lengoaiak alde batera utzita)
Galactica	2022ko azaroa	Meta	120000000000 !120	350000000000 !106 mila milioi token	ezezaguna	CC-BY-NC-4.0	Entrenatua testu zientifikoetarako eta modalitateetarako.
AlexaTM (Irakasle-Ereduak)	2022ko azaroa	Amazon	20000000000 !20	1300000000000 !1.3 bilioi		proprietary	Sekuentziatik-sekuentziara arkitekturakoa baina bi noranzkoetan
Neuro-sama	2022ko abendua	Independ.	Ezezaguna	Ezezaguna		privately-owned	Twitchen zuzenean transmititzeko diseinatutako hizkuntza-eredua.
Llama (Large Language Model Meta AI, Meta AI Hizkuntza Eredu Handia)	2023ko otsaila	Meta AI	65000000000 !65	1400000000000 !1.4 bilioi	6.300	Non-commercial research	Corpusak 20 hizkuntza ditu. "Gainentrenatua" (Chinchillako eskalatze-legearekin alderatuta) parametro gutxiagorekin errendimendu hobea lortzeko.
GPT-4	2023ko martxoa	OpenAI	Ezezaguna (Zurrumurruen arabera: 1.760)	Ezezaguna	Ezezaguna	proprietary	ChatGPT Plus-eko erabiltzaileentzat eskuragarri eta hainbat produktutan erabilia.
Chameleon	2024ko ekaina	Meta AI	34000000000 !34	4400000000000 !4.4 bilioi
Cerebras-GPT	2023ko martxoa	Cerebras	13000000000 !13		270	Apache 2.0	Chinchillaren formularekin entrenatua.
Falcon	2023ko martxoa	Technology Innovation Institute	40000000000 !40	Bilioi bat token, RefineWeb-etik hartuta (corpusetik iragazitako web testua) eta zenbait "corpus ondu".	2.800	Apache 2.0
BloombergGPT	2023ko martxoa	Bloomberg L.P.	50000000000 !50	363 mila milioi token zuen datu multzoa Bloomberg-eko datu-iturrietan oinarrituta, gehi 345 mila milioi token helburu orokorreko datu-multzotatik		Proprietary	Jabedun iturritako finantza-datuetan trebatua, finantza-zereginetarako.
PanGu-Σ	2023ko martxoa	Huawei	1085000000000 !1085	329 mila milioi token		Proprietary
OpenAssistant	2023ko martxoa	LAION	17000000000 !17	1,5 bilioi token		Apache 2.0	Crowdsourcing-eko datu irekietan trebatua
Jurascli-2	2023ko martxoa	AI21 Labs	Ezezaguna	Ezezaguna		Proprietary	Eleaniztuna
PALM 2 (Pathways Language Model 2)	2023ko maiatza	Google	340000000000 !340	3600000000000 !3.6 bilioi token	85000 !85,000	Proprietary	Bard chatboten erabili zuten (Gemini).
Llama 2	2023ko uztaila	Meta AI	70000000000 !70	2000000000000 !2 bilioi token	21000 !21,000	Llama 2 license	1,7 milioi A100-ordu.
Claude 2	2023ko uztaila	Anthropic	Ezezaguna	Ezezaguna	Ezezaguna	Proprietary	Claude txatborean erabiltzen da.
Granitoa 13b	2023ko uztaila	IBM	Ezezaguna	Ezezaguna	Ezezaguna	Proprietary	IBM Watsonx-en erabilia.
Mistral 7B	2023ko iraila	Mistral AI	7300000000 !7.3	Ezezaguna		Apache 2.0
Claude 2.1	2023ko azaroa	Anthropic	Ezezaguna	Ezezaguna	Ezezaguna	Proprietary	Claude txabotean erabiltzen da. 200.000 tokeneko edo ~500 orrialdeko testuinguru-leihoa du.
Grok-1	2023ko azaroa	x.AI	314	Ezezaguna	Ezezaguna	Apache 2.0	Grok txatbotean erabiltzen da. Grok-1ek 8.192 tokeneko testuinguru-luzera du eta X-rako (Twitter) atzipena du.
Gemini 1.0	2023ko abendua	Google DeepMind	Ezezaguna	Ezezaguna	Ezezaguna	Proprietary	Eredu multimodala, hiru tamainatan dator. Izen bereko chatbotean erabilia.
Mixtrala 8x7B	2023ko abendua	Mistral AI	46,7	Ezezaguna	Ezezaguna	Apache 2.0	GPT-3.5 eta Llama 2 70B gainditzen ditu proba askotan. Aditu-konbinazioa eredua, 12.900 milioi parametro token bidez aktibatuak.
Latxa	2024ko urtarrila	HiTZ zentroa	70	Llama 2-ren 2 bilioi token + euskarazko 288 milioi hitz		LLaMA-2 License	Euskararako eredua da. Baliabide urri dituen hizkuntza izanik LLaMA ereduetan oinarritzen da eta euskarazko EusCrawl corpusa (288 milioi hitz) gehitu da.
Mixtral 8x22B	2024ko apirila	Mistral AI	141	Ezezaguna	Ezezaguna	Apache 2.0
Phi-2	2023ko abendua	Microsoft	2,7	1.4T token	419	MIT	"Kalitatezko testuliburuetako" datu erreal eta sintetikoetan trebatua, 14 egunez A100 motako 96 GPU etan.
Gemini 1.5	2024ko otsaila	Google DeepMind	Ezezaguna	Ezezaguna	Ezezaguna	Proprietary	Eredu multimodala, Aditu-konbinazioko (Mixture of experts, MoE) arkitekturan oinarritua. Milioi bat tokenetik gorako testuinguruaren leihoa .
Gemini Ultra	2024ko otsaila	Google DeepMind	Ezezaguna	Ezezaguna	Ezezaguna
Gemma	2024ko otsaila	Google DeepMind	7	6T token	Ezezaguna	Gemma Terms of Use
Claude 3	2024ko martxoa	Anthropic	Ezezaguna	Ezezaguna	Ezezaguna	Proprietary	Hiru modelo ditu: Haiku, Sonnet eta Opus.
Nova	2024ko urria	Rubik's AI	Ezezaguna	Ezezaguna	Ezezaguna	Proprietary	Hiru modelok osatzen dute: Nova-Instant, Nova-Air, eta Nova-Pro.
DBRX	2024ko martxoa	Databricks eta Mosaic ML	13600000000 !136	12T token		Databricks Open Model License	Entrenamenduak 10 milioi dolarreko kostua izan zuen.
Fugaku-HEH	2024ko maiatza	Fujitsu, Tokioko Teknologia Institutua, etab.	1300000000 !13	380 B token			CPUtan bakarrik entrenatutako inoizko eredurik handiena, Fugakun.
Phi-3	2024ko apirila	Microsoft	14	4.8T token		MIT	Microsoftek "hizkuntza-eredu txiki" gisa komertzializatzen ditu.
Granite Code Models	2024ko maiatza	IBM	Ezezaguna	Ezezaguna	Ezezaguna	Apache 2.0
Qwen2	2024ko ekaina	Alibaba Cloud	72	3T token			Hainbat tamaina, txikiena 0.5 B-koa izanik.
Nemotron-4	2024ko ekaina	Nvidia	34000000000 !340	9T token	200000 !200,000	NVIDIA Open Model License	Epoch baterako entrenatua. H100 motako 6.144 GPUtan entrenatua 2023ko abendutik 2024ko maiatzera.
Llama 3.1	2024ko uztaila	Meta AI	405	15.6 T token	440000 !440,000	Llama 3 license	405B bertsioak 31 milioi ordu behar izan zituen H100-80GB makina batean, 3,8E25 FLOPetan.

Kanpo estekak

• Leturia Azkarate, Igor. Adimen artifizial sortzailearen booma (Zientzia.eus, 2023)

• Datuak: Q115305900
• Multimedia: Large language models / Q115305900