Kaj je kontekstno okno in kaj je žeton?
Žeton je majhen del besedila, približno besedni fragment. Kontekstno okno je največje število žetonov, ki jih lahko vsebuje en klic: navodila, dosedanji pogovor, pridobljeni odlomki in odgovor.
LLM EU
Pogosto zastavljena vprašanja
Osnove
LLM proti AI: kaj je veliki jezikovni model, kaj je osnovni LLM in kaj je Nemotron 3 Super?
AI je področje; veliki jezikovni model je ena vrsta modela znotraj njega, osnovni LLM nadaljuje besedilo namesto da bi sledil navodilom, in Nemotron 3 Super je 123,6B mešanica strokovnjakov.
Kaj je LLM?
LLM je program, usposobljen na velikih količinah besedila za napovedovanje naslednjega žetona, majhnega dela besedila. Odgovarja na podlagi svojih uteži in poziva, ki ga pošljete, ne na podlagi baze podatkov, ki jo pregleduje.
Pridobivanje
Kaj je LLM iskalnik in kateri večjezični model vdelave naj uporabim?
Iskalnik združuje model vdelave, ki pretvori besedilo v vektorje, z rerankerjem, ki ocenjuje odlomke. multilingual-e5-large je MIT z 512-žetonskimi bloki; embeddinggemma-300m sprejme 2048.
Gostovanje
Kako LLM-ji delujejo v EU?
Model deluje tam, kjer deluje končna točka, in vrstica beleži njeno regijo in razred. Rezidenca je filter, ki se uporabi pred točkovanjem: če nič ne ustreza, zahteva vrne 409 no_endpoint_for_policy.
Odprte uteži ali API: kaj naj uporabim?
Odprte uteži pomenijo, da so datoteke prenosljive; končna točka pomeni, da jih nekdo poganja namesto vas. Številne evropske implementacije uporabljajo oboje: API za spremenljivo obremenitev, samostojno gostujočo kontrolno točko za občutljivo delo.
Stroški
Koliko stane klic LLM API-ja in kaj pomenijo referenčne številke?
Cena se prebere iz stopnje, ki jo beleži vrstica končne točke, na milijon vhodnih in izhodnih žetonov, plus ena vidna pristojbina na zahtevo. Vrstica brez zabeležene stopnje je prikazana brez cene.
Licence
Kako delujejo licence odprtih modelov?
Licenca je zabeleženo polje na vsaki kartici modela: identifikator SPDX in povezava do besedila. Odprte uteži pomenijo, da so uteži prenosljive, ne pa, da je dovoljena komercialna uporaba.
API
Kaj so omejitve hitrosti API-ja LLM?
Omejitev hitrosti tukaj je zgornja meja na vedro v fiksnem oknu: 600 klicev na ključ in 1800 na organizacijo vsako minuto, z največ 8 zahtevami v teku na enem ključu.
Usmerjanje
Kako deluje usmerjevalnik LLM?
Usmerjevalnik pretvori zahtevo, ki ne imenuje stroja, v en odziv končne točke. Čista funkcija filtrira kandidate po politiki in rezidenci, oceni tiste, ki preživijo, in izbere najvišjo oceno.
Iskanje
Kaj je RAG?
RAG je cevovod, ne model: vaša aplikacija pridobi odlomke in model odgovarja na podlagi teh. Samo zadnja faza je dokončanje klepeta; vdelava in ponovno razvrščanje sta ločena klica.