Et token er en lille del af tekst, groft sagt et ordfragment. Et kontekstvindue er det maksimale antal tokens, et enkelt kald kan indeholde: instruktioner, den hidtidige samtale, hentede passager og svaret.
AI er feltet; en stor sprogmodel er én type model inden for det, en base LLM fortsætter tekst i stedet for at følge instruktioner, og Nemotron 3 Super er en 123.6B blanding af eksperter.
En LLM er et program trænet på store mængder tekst til at forudsige det næste token, et lille stykke tekst. Den svarer ud fra sine vægte og den prompt, du sender, ikke ud fra en database, den søger i.
En retriever parrer en embedding-model, der omdanner tekst til vektorer, med en reranker, der scorer passager. multilingual-e5-large er MIT med 512-token-chunks; embeddinggemma-300m tager 2048.
RAG er en pipeline, ikke en model: din applikation henter passager, og modellen svarer ud fra disse. Kun den sidste fase er en chat-fuldførelse; indlejring og omlægning er separate kald.
En model kører, hvor et endpoint kører, og rækken registrerer dens region og klasse. Residency er et filter, der anvendes før scoring: hvis intet opfylder det, returnerer anmodningen 409 no_endpoint_for_policy.
Open weights betyder, at filerne kan downloades; et endpoint betyder, at nogen kører dem for dig. Mange europæiske implementeringer bruger begge: en API til variabel belastning, et selv-hostet checkpoint til følsomt arbejde.
En pris aflæses fra den rate, en endpoint-række registrerer, per million tokens ind og ud, plus et synligt gebyr per anmodning. En række uden registreret rate vises uden pris.
En licens er et registreret felt på hvert modelkort: en SPDX-identifikator og et link til teksten. Åbne vægte betyder, at vægtene kan downloades, ikke at kommerciel brug er tilladt.
En ratebegrænsning her er et loft per bucket i et fast vindue: 600 kald per nøgle og 1800 per organisation hvert minut, med højst 8 anmodninger i gang på én nøgle.
En router omdanner en anmodning, der ikke navngiver en maskine, til et enkelt "endpoint"-svar. En ren funktion filtrerer kandidater efter politik og "residency", scorer det, der overlever, og tager den højeste score.