Kas ir konteksta logs un kas ir marķieris?
Marķieris ir neliels teksta fragments, aptuveni vārda fragments. Konteksta logs ir maksimālais marķieru skaits, ko var saturēt viens izsaukums: instrukcijas, līdzšinējā saruna, izgūtie fragmenti un atbilde.
LLM EU
Biežāk uzdotie jautājumi
Pamati
LLM vs AI: kas ir liels valodu modelis, kas ir llm base, un kas ir Nemotron 3 Super?
AI ir joma; liels valodu modelis ir viens no modeļu veidiem tajā, bāzes LLM turpina tekstu, nevis seko instrukcijām, un Nemotron 3 Super ir 123,6 miljardu ekspertu sajaukums.
Kas ir LLM?
LLM ir programma, kas apmācīta ar lielu teksta apjomu, lai prognozētu nākamo marķieri, kas ir neliels teksta fragments. Tā atbild no saviem svariem un jūsu nosūtītā uzvednes, nevis no datu bāzes, ko tā meklē.
Izgūšana
Kas ir LLM "retriever", un kuru daudzvalodu iegulšanas modeli man vajadzētu izmantot?
Retrīvers savieno iegulšanas modeli, kas pārvērš tekstu vektoros, ar pārkārtotāju, kas vērtē fragmentus. multilingual-e5-large ir MIT ar 512 "token" gabaliem; embeddinggemma-300m aizņem 2048.
Kas ir RAG?
RAG ir konveijers, nevis modelis: jūsu lietojumprogramma izgūst fragmentus, un modelis atbild, pamatojoties uz tiem. Tikai pēdējais posms ir tērzēšanas pabeigšana; iegulšana un pārkārtošana ir atsevišķi izsaukumi.
Mitināšana
Kā LLM darbojas ES?
Modelis darbojas tur, kur darbojas galapunkts, un rinda ieraksta tā reģionu un klasi. Rezidence ir filtrs, ko piemēro pirms vērtēšanas: ja nekas to neapmierina, pieprasījums atgriež 409 no_endpoint_for_policy.
Atvērtie svari vai API: ko man vajadzētu izmantot?
Atvērtie svari nozīmē, ka faili ir lejupielādējami; galapunkts nozīmē, ka kāds tos palaiž jūsu vietā. Daudzas Eiropas izvietošanas izmanto abus: API mainīgai slodzei, pašu mitināts kontrolpunkts sensitīvam darbam.
Izmaksas
Cik maksā LLM API izsaukums un ko nozīmē etalonu skaitļi?
Cena tiek nolasīta no gala punkta rindas ierakstītās likmes, par miljonu ienākošo un izejošo žetonu, plus viena redzama maksa par pieprasījumu. Rinda bez ierakstītas likmes tiek parādīta bez cenas.
Licences
Kā darbojas atvērto modeļu licences?
Licence ir ierakstīts lauks katrā modeļa kartītē: SPDX identifikators un saite uz tekstu. Atvērtie svari nozīmē, ka svarus var lejupielādēt, nevis to, ka ir atļauta komerciāla izmantošana.
API
Kādi ir LLM API ātruma ierobežojumi?
Ātruma ierobežojums šeit ir maksimālais limits katram segmentam fiksētā logā: 600 izsaukumi uz atslēgu un 1800 uz organizāciju katru minūti, ar ne vairāk kā 8 pieprasījumiem vienlaicīgi uz vienu atslēgu.
Maršrutēšana
Kā darbojas LLM maršrutētājs?
Maršrutētājs pārvērš pieprasījumu, kas nenosauc nevienu mašīnu, par viena galapunkta atbildi. Tīra funkcija filtrē kandidātus pēc politikas un rezidences, novērtē tos, kas izdzīvo, un izvēlas augstāko rezultātu.