Een token is een klein stukje tekst, ruwweg een woordfragment. Een contextvenster is het maximum aantal tokens dat één aanroep mag bevatten: instructies, het gesprek tot nu toe, opgehaalde passages en het antwoord.
AI is het vakgebied; een large language model is één soort model daarbinnen, een base-LLM vervolgt tekst in plaats van instructies op te volgen, en Nemotron 3 Super is een mixture of experts van 123,6B.
Een LLM is een programma dat op grote hoeveelheden tekst is getraind om de volgende token te voorspellen, een klein stukje tekst. Het antwoordt vanuit zijn gewichten en de prompt die je stuurt, niet vanuit een database die het doorzoekt.
Een retriever combineert een embeddingmodel dat tekst omzet in vectoren met een reranker die passages scoort. multilingual-e5-large is MIT met chunks van 512 tokens; embeddinggemma-300m neemt er 2048.
RAG is een pipeline, geen model: je applicatie haalt passages op en het model antwoordt vanuit die passages. Alleen de laatste fase is een chat completion; embedden en reranken zijn aparte aanroepen.
Een model draait waar een endpoint draait, en de rij legt de regio en de klasse vast. Residentie is een filter dat vóór de scoring wordt toegepast: als niets eraan voldoet, geeft het verzoek 409 no_endpoint_for_policy terug.
Open gewichten betekent dat de bestanden te downloaden zijn; een endpoint betekent dat iemand ze voor je draait. Veel Europese deployments gebruiken beide: een API voor wisselende belasting, een zelf gehost checkpoint voor gevoelig werk.
Een prijs wordt gelezen uit het tarief dat een endpointrij vastlegt, per miljoen tokens in en uit, plus één zichtbare vergoeding per verzoek. Een rij zonder vastgelegd tarief wordt zonder prijs getoond.
Een licentie is een vastgelegd veld op elke modelkaart: een SPDX-identificatie en een link naar de tekst. Open gewichten betekent dat de gewichten te downloaden zijn, niet dat commercieel gebruik is toegestaan.
Een rate limit is hier een plafond per bucket in een vast venster: 600 aanroepen per sleutel en 1800 per organisatie per minuut, met hoogstens 8 verzoeken tegelijk onderweg op één sleutel.
Een router maakt van een verzoek dat geen machine noemt het antwoord van één endpoint. Een pure functie filtert kandidaten op beleid en residentie, scoort wat overblijft en neemt de hoogste score.