Mis on LLM?

Lühike vastus

LLM on lühend ingliskeelsest nimetusest large language model ehk suur keelemudel. See on programm, mis on treenitud väga suurtel tekstihulkadel ühe korduva ülesandega: ennustada järgmist tokenit, kus token on väike tekstijupp, ligikaudu sõnafragment. Mudel, mis teeb seda piisavalt hästi, suudab vastata küsimusele, tõlkida lõigu, teha dokumendist kokkuvõtte või kirjutada koodi. See, mis ta ei ole, on otsingumootor, mille taga on andmebaas. Kaalud on treeningu lõppedes fikseeritud ja kõik, mida mudel sinu juhtumi kohta teab, peab saabuma sinu saadetud päringu sees.

See üks definitsioon seletab ära enamiku käitumisest, mida inimesed üllatavaks peavad. Mudel võib toota ladusat ja enesekindlat teksti, mis on vale, sest ladusus ja tõde on eri asjad ning treening premeeris neist esimest. Ta võib vastata samale küsimusele erinevalt sõltuvalt sellest, kuidas sa selle sõnastad, sest sinu sõnastus on osa tema sisendist.

Mis on token ja miks arve on tokenites

Token on ühik, mida mudelid loevad ja kirjutavad. Ligikaudu on see sõnafragment: tavalised sõnad on üks token, pikad või haruldased sõnad ja liitsõnad jagunevad mitmeks. Tokeniseerimine on põhjus, miks API-kutse hind käib miljoni tokeni, mitte dokumendi kohta, ja miks 32,768-tokenine kontekstiaken, mille EuroLLM 9B kirja paneb, ei ole sama mis 32,768 sõna. Siin kasutatavad hinnangud on meelega töötlemata ja dokumenteeritud: umbes neli tähemärki tokeni kohta ladina kirja puhul, ümardatuna ülespoole. Saksakeelne liitsõna maksab seega rohkem tokeneid kui selle ingliskeelne vaste, mis on üks väheseid kohti, kus sinu töökeeles on otseselt mõõdetav hind.

Kontekstiaken on töömälu, mitte salvestusruum

Kontekstiaken on suurim tokenite arv, mida mudel saab ühes kutsus arvestada: süsteemisõnum, kogu vestlus, kõik välja otsitud lõigud ja vastus, mida ta parasjagu kirjutab, kokku liidetuna. See ei ole mälu inimese mõttes ja miski ei kandu iseenesest edasi. Iga kutse saadab vestluse uuesti ja pidev vestlus on rakendus, mis saadab oma vestluskirja uuesti.

Avaldatud aknad erinevad selles kataloogis suurusjärgu võrra. EuroLLM 9B kirjendab 32,768 tokenit ja Mistral 7B Instruct v0.3 sama 32k. Mistral Small 4, Mistral Large 3, Gemma 4 31B, Qwen3.8-27B ja NVIDIA Nemotron 3 Super kirjendavad 262,144 tokenit. Nemotron 3 Superit tasub hoolikalt lugeda: selle konfiguratsioon lubab 262,144 positsiooni, samal ajal kui mudelikaart reklaamib konteksti kuni miljon tokenit, tarnija teatatud RULER-tulemusega 96.30 juures 256k ja 91.75 miljoni juures. Llama 4 Scout 17B-16E Instruct on loetletud 10,485,760 tokeniga, tarnija avaldatud. Aus lugemine on see, et dokumenteeritud konfiguratsiooni väärtus on kontrollitav ja reklaamitud maksimum on väide koos allikaga, mitte siin tehtud mõõtmine. Kataloog kirjendab selle vahe.

Suurus ei ole sama mis kasulikkus. Aken on väärt täpselt nii palju, kui palju mudel suudab selle kaugemas otsas veel teha, ja otsingu kvaliteeti pärast teatud kaugust on see osa, mida tarnijad harva keele kaupa avaldavad. Enamiku Euroopa töö jaoks on 32k tokenit mitu dokumenti ja 262k väike arhiiv.

Parameetrid: mida ütleb number nagu 9B või 123B

Parameetrite arv on treenitud kaalude suurus, mitte kvaliteedihinne. EuroLLM 9B-l on 9.15 miljardit parameetrit. NVIDIA Nemotron 3 Superil on kokku 123.6 miljardit, millest umbes 12 miljardit on aktiivne iga tokeni kohta, sest see on ekspertide segu, mis suunab iga tokeni läbi osa võrgust. Just see struktuur on põhjus, miks 123B mudel võib olla tokeni kohta odavam kui sama suur tihe mudel, ja miks parameetrite koguarv ja teenindamise hind on omavahel vaid lõdvalt seotud.

See arv otsustab ka, kus mudel saab töötada. 7B või 9B kontrollpunkt mahub ühele keskmise taseme kiirendile, mistõttu Teuken 7B ja EuroLLM 9B on mudelid, mida inimesed kõigepealt ise majutama hakkavad. 675B kontrollpunkt, näiteks Mistral Large 3, vajab ka kvantiseeritult mitme GPU-ga sõlmi. Tarnijad avaldavad kvantiseeritud kontrollpunkte täpselt sel põhjusel ja need on eraldi artefaktid oma kompromissidega.

Kuidas promptist saab vastus

Tekst läheb sisse tokenitena. Mudel arvutab järgmise tokeni tõenäosuse, valib ühe, lisab selle ja kordab seda, kuni väljastab stopp-tokeni või jõuab väljundi ülempiirini. Vastus genereeritakse vasakult paremale ega ole kirjutamise ajal kordagi tõeallikaga kontrollitud.

Juhised muudavad vastust, mistõttu on olemas juhistele häälestatud mudelid. Baasmudel jätkab teksti; juhistele häälestatud mudelit treeniti edasi, et see järgiks palvet. Iga mudelikaart siin kirjendab, kumb neist kahest see on, ja mitmed märgivad, et mudel pakub arutlusrežiimi, mis toodab pika vaheväljundi. Selle väljundi eest makstakse nagu iga teise tokeni eest, seega arvesta sellega oma eelarves.

Miks seda küsimust küsitakse üheksas keeles

Sama küsimus saabub kujul llm, was ist ein llm, ce este un llm, llm tarkoittaa, suuri kielimalli, model lingvistic mare ja europäisches llm. Vastus ei muutu keelega. Enamasti inglise keelel treenitud mudel saab inglise keelega kõige paremini hakkama ja Euroopa keelte jaoks ehitatud mudelid treeniti vastupidi. EuroLLM 9B hõlmab kõiki 24 ametlikku EL-i keelt pluss katalaani, galeegi, türgi ja veel teisigi, ning Teuken 7B Instruct v0.6 treeniti kõigis 24 ametlikus EL-i keeles. Suurus nimes nagu llm 9b on salvestatud parameetrite arv. OpenGPT-X EU21 hindamisel on Teukeni keskmine 0.57, Llama 3.1 8B Instructi 0.563 ja Mistral 7B Instruct v0.3 0.527 samal testikomplektil sellest taga. See on üks võrdlusalus, mille projekt ise teatab.

Mida see tähendab, kui kutsud API-t

Sellest järgneb kaks tagajärge. Esiteks, mudeli nimi on versioon, mitte kategooria: mudeli küsimine slugi järgi kinnitab selle ja vastus teatab, milline mudel tegelikult töötas, selle versiooni, lõpp-punkti id, regiooni ja valiku põhjuse. Teiseks, faktid, mille alusel saad tegutseda, on dokumenteeritud faktid. Selles kataloogis on iga parameetrite arvu, litsentsi, kontekstiakna ja võrdlusaluse juures allika-URL, ja väärtus, mida kirjastaja ei ole öelnud, kirjendatakse kui null, mitte hinnangulisena. Kohtle numbrit ilma allikata samamoodi, nagu kohtleksid vastust ilma allikata: asjana, mida tuleb kontrollida.

See ongi kogu mõte. Suur keelemudel on väga hea järgmise tokeni ennustaja piiratud akna ja fikseeritud mäluga, pakitud API sisse, mis kas ütleb või ei ütle, kus see töötas.