Mi az a kontextusablak, és mi az a token?
A token egy kis szövegrész, nagyjából egy szótöredék. A kontextusablak az egy hívásban tárolható tokenek maximális száma: utasítások, az eddigi beszélgetés, lekérdezett szövegrészek és a válasz.
LLM EU
Gyakran ismételt kérdések
Alapok
LLM vs AI: mi az a nagy nyelvi modell, mi az az llm base, és mi a Nemotron 3 Super?
Az AI a terület; a nagy nyelvi modell egyfajta modell benne, egy alap LLM folytatja a szöveget az utasítások követése helyett, a Nemotron 3 Super pedig egy 123,6B szakértői keverék.
Mi az az LLM?
Az LLM egy nagy mennyiségű szövegen képzett program, amely a következő tokent, egy kis szövegrészletet jósolja meg. A súlyai és az elküldött prompt alapján válaszol, nem pedig egy adatbázisból, amelyet keres.
Lekérdezés
Mi az az LLM retriever, és melyik többnyelvű beágyazási modellt használjam?
Egy retriever egy beágyazási modellt párosít, amely szöveget vektorokká alakít, egy rerankerrel, amely pontozza a szövegrészleteket. A multilingual-e5-large MIT licenc alatt van, 512-tokenes darabokkal; az embeddinggemma-300m 2048-at fogad el.
Mi az a RAG?
A RAG egy pipeline, nem egy modell: az alkalmazásod lekérdez szövegrészleteket, és a modell azok alapján válaszol. Csak az utolsó szakasz egy chat-kiegészítés; a beágyazás és az újrarendezés külön hívások.
Hosztolás
Hogyan futnak az LLM-ek az EU-ban?
Egy modell ott fut, ahol egy végpont fut, és a sor rögzíti a régióját és osztályát. A rezidencia egy szűrés, amelyet a pontozás előtt alkalmaznak: ha semmi sem felel meg neki, a kérés 409 no_endpoint_for_policy hibát ad vissza.
Nyílt súlyok vagy API: melyiket használjam?
A nyílt súlyok azt jelentik, hogy a fájlok letölthetők; egy végpont azt jelenti, hogy valaki futtatja őket Ön helyett. Sok európai telepítés mindkettőt használja: API-t a változó terheléshez, önállóan hosztolt ellenőrzőpontot az érzékeny munkához.
Költség
Mennyibe kerül egy LLM API hívás, és mit jelentenek a benchmark számok?
Az ár az végpont sorában rögzített díjból olvasható ki, millió tokenenként be- és kimenő forgalomra, plusz egy látható díj kérésenként. Azon sorok, amelyek nem tartalmaznak rögzített díjat, ár nélkül jelennek meg.
Licencek
Hogyan működnek a nyílt modelllicencek?
A licenc minden modellkártyán rögzített mező: egy SPDX azonosító és egy link a szöveghez. A nyílt súlyok azt jelentik, hogy a súlyok letölthetők, nem pedig azt, hogy a kereskedelmi felhasználás megengedett.
API
Mik az LLM API sebességkorlátai?
A sebességkorlát itt egy rögzített időablakban lévő "bucket"-enkénti felső határ: 600 hívás kulcsonként és 1800 hívás szervezetenként percenként, legfeljebb 8 folyamatban lévő kéréssel egy kulcson.
Útválasztás
Hogyan működik egy LLM útválasztó?
Az útválasztó egy olyan kérést, amely nem nevez meg gépet, egy végpont válaszává alakítja. Egy tiszta függvény szűri a jelölteket szabályzat és rezidencia alapján, pontozza a túlélőket, és a legmagasabb pontszámút választja.