Korduma kippuvad küsimused

Põhitõed

Mis on kontekstiaken ja mis on token?

Token on väike tekstijupp, umbkaudu sõnatükk. Kontekstiaken on suurim tokenite arv, mida üks päring võib sisaldada: juhised, senine vestlus, välja otsitud lõigud ja vastus.

LLM vs AI: mis on suur keelemudel, mis on llm base ja mis on Nemotron 3 Super?

AI on valdkond; suur keelemudel on üks mudelitüüp selle sees, baas-LLM jätkab teksti, selle asemel et järgida juhiseid, ja Nemotron 3 Super on 123.6B ekspertide segu.

Mis on LLM?

LLM on programm, mis on treenitud suurtel tekstihulkadel ennustama järgmist tokenit, väikest tekstijuppi. See vastab oma kaalude ja sinu saadetud prompti põhjal, mitte andmebaasist, mida ta otsiks.

Otsing

Mis on LLM-i retriever ja millist mitmekeelset embedding-mudelit peaksin kasutama?

Retriever ühendab embedding-mudeli, mis muudab teksti vektoriteks, reranker'iga, mis hindab lõike. multilingual-e5-large on MIT litsentsiga ja 512-tokeniste chunk'idega; embeddinggemma-300m võtab vastu 2048.

Mis on RAG?

RAG on toru, mitte mudel: sinu rakendus otsib lõigud välja ja mudel vastab nende põhjal. Ainult viimane etapp on chat completion'i kutse; embedding ja ümberjärjestamine on eraldi kutsed.

Majutus

Kuidas LLM-id EL-is töötavad?

Mudel töötab seal, kus töötab lõpp-punkt, ja rida märgib selle regiooni ja klassi. Residents on filter, mida rakendatakse enne skoorimist: kui miski seda ei rahulda, tagastab päring 409 no_endpoint_for_policy.

Avatud kaalud või API: kumba peaksin kasutama?

Avatud kaalud tähendavad, et failid on allalaaditavad; lõpp-punkt tähendab, et keegi käitab neid sinu eest. Paljud Euroopa juurutused kasutavad mõlemat: API muutliku koormuse jaoks, isemajutatud kontrollpunkt tundliku töö jaoks.

Kulu

Kui palju maksab üks LLM API kutse ja mida need võrdlusaluste numbrid tähendavad?

Hind loetakse lõpp-punkti rea kirja pandud hinnast, miljoni sisend- ja väljundtokeni kohta, pluss üks nähtav tasu päringu kohta. Rida, millel hinda kirjas ei ole, kuvatakse ilma hinnata.

Litsentsid

Kuidas avatud mudelite litsentsid toimivad?

Litsents on kirjendatud väli igal mudelikaardil: SPDX-tähis ja link litsentsi tekstile. Avatud kaalud tähendab, et kaalud on allalaaditavad, mitte et äriline kasutamine on lubatud.

API

Mis on LLM API päringusageduse piirangud?

Päringusageduse piirang on siin ülempiir ühe grupi kohta kindlas ajavahemikus: 600 päringut võtme kohta ja 1800 organisatsiooni kohta minutis, kusjuures ühel võtmel võib korraga olla kõige rohkem 8 päringut.

Marsruutimine

Kuidas LLM-i ruuter töötab?

Ruuter muudab päringu, mis ei nimeta ühtegi masinat, ühe lõpp-punkti vastuseks. Puhas funktsioon filtreerib kandidaate poliitika ja residentsi järgi, skoorib allesjäänud ja võtab kõrgeima skoori.