Čo je kontextové okno a čo je token?
Token je malý kúsok textu, zhruba fragment slova. Kontextové okno je maximálny počet tokenov, ktoré môže jeden hovor obsahovať: inštrukcie, doterajšia konverzácia, získané pasáže a odpoveď.
LLM EU
Často kladené otázky
Základy
LLM vs AI: čo je to veľký jazykový model, čo je to základný LLM a čo je Nemotron 3 Super?
AI je oblasť; veľký jazykový model je jeden druh modelu v nej, základný LLM pokračuje v texte namiesto toho, aby sa riadil pokynmi, a Nemotron 3 Super je 123.6B zmes expertov.
Čo je LLM?
LLM je program trénovaný na veľkom množstve textu na predpovedanie ďalšieho tokenu, malého kusu textu. Odpovedá na základe svojich váh a výzvy, ktorú pošlete, nie z databázy, ktorú prehľadáva.
Vyhľadávanie
Čo je LLM retriever a ktorý viacjazyčný embedding model by som mal použiť?
Retriever spája embedding model, ktorý mení text na vektory, s rerankerom, ktorý boduje pasáže. multilingual-e5-large je MIT s 512-tokenovými chunkmi; embeddinggemma-300m akceptuje 2048.
Čo je RAG?
RAG je pipeline, nie model: vaša aplikácia načíta pasáže a model z nich odpovedá. Iba posledná fáza je dokončenie chatu; vkladanie a preusporiadanie sú samostatné volania.
Hosting
Ako bežia LLM v EÚ?
Model beží tam, kde beží koncový bod, a riadok zaznamenáva jeho región a triedu. Rezidencia je filter aplikovaný pred bodovaním: ak nič nevyhovuje, požiadavka vráti 409 no_endpoint_for_policy.
Otvorené váhy alebo API: čo by som mal použiť?
Otvorené váhy znamenajú, že súbory sú stiahnuteľné; koncový bod znamená, že ich pre vás niekto spúšťa. Mnohé európske nasadenia používajú oboje: API pre premenlivé zaťaženie, samo-hostovaný kontrolný bod pre citlivú prácu.
Náklady
Čo stojí volanie LLM API a čo znamenajú čísla benchmarkov?
Cena sa číta z riadku koncového bodu, ktorý zaznamenáva sadzbu za milión tokenov vstupných a výstupných, plus jeden viditeľný poplatok za požiadavku. Riadok bez zaznamenanej sadzby sa zobrazuje bez ceny.
Licencie
Ako fungujú licencie otvorených modelov?
Licencia je zaznamenané pole na každej karte modelu: identifikátor SPDX a odkaz na text. Otvorené váhy znamenajú, že váhy sú stiahnuteľné, nie že je povolené komerčné použitie.
API
Aké sú limity rýchlosti LLM API?
Limit rýchlosti je tu strop na kôš v pevnom okne: 600 volaní na kľúč a 1800 na organizáciu za minútu, s maximálne 8 požiadavkami v procese na jeden kľúč.
Smerovanie
Ako funguje LLM router?
Router premení požiadavku, ktorá neuvádza žiadny stroj, na odpoveď jedného koncového bodu. Čistá funkcia filtruje kandidátov podľa politiky a rezidencie, hodnotí tých, ktorí prežijú, a vyberie najvyššie skóre.