Vad är ett kontextfönster, och vad är en token?
En token är en liten bit text, ungefär ett ordfragment. Ett kontextfönster är det maximala antalet tokens ett anrop kan innehålla: instruktioner, konversationen hittills, hämtade passager och svaret.
LLM EU
Vanliga frågor
Grundläggande
LLM vs AI: vad är en stor språkmodell, vad är en llm base, och vad är Nemotron 3 Super?
AI är fältet; en stor språkmodell är en typ av modell inom det, en bas-LLM fortsätter text istället för att följa instruktioner, och Nemotron 3 Super är en 123.6B mixture of experts.
Vad är en LLM?
En LLM är ett program tränat på stora mängder text för att förutsäga nästa token, en liten bit text. Den svarar utifrån sina vikter och den prompt du skickar, inte från en databas den söker i.
Hämtning
Vad är en LLM-hämtare, och vilken flerspråkig inbäddningsmodell ska jag använda?
En hämtare parar en inbäddningsmodell som omvandlar text till vektorer med en omrankare som poängsätter passager. multilingual-e5-large är MIT med 512-token-bitar; embeddinggemma-300m tar 2048.
Vad är RAG?
RAG är en pipeline, inte en modell: din applikation hämtar passager och modellen svarar utifrån dessa. Endast det sista steget är en chattkomplettering; inbäddning och omrankning är separata anrop.
Hosting
Hur körs LLM:er i EU?
En modell körs där en slutpunkt körs, och raden registrerar dess region och klass. Residens är ett filter som tillämpas före poängsättning: om inget uppfyller det, returnerar förfrågan 409 no_endpoint_for_policy.
Öppna vikter eller ett API: vilken ska jag använda?
Öppna vikter betyder att filerna är nedladdningsbara; en slutpunkt betyder att någon kör dem åt dig. Många europeiska distributioner använder båda: ett API för variabel belastning, en självhostad kontrollpunkt för känsligt arbete.
Kostnad
Vad kostar ett LLM API-anrop, och vad betyder benchmark-siffrorna?
Ett pris läses från den taxa som en slutpunktsrad registrerar, per miljon tokens in och ut, plus en synlig avgift per förfrågan. En rad utan registrerad taxa visas utan pris.
Licenser
Hur fungerar licenser för öppna modeller?
En licens är ett registrerat fält på varje modellkort: en SPDX-identifierare och en länk till texten. Öppna vikter betyder att vikterna är nedladdningsbara, inte att kommersiell användning är tillåten.
API
Vad är LLM API-hastighetsbegränsningar?
En hastighetsbegränsning här är ett tak per bucket i ett fast fönster: 600 anrop per nyckel och 1800 per organisation varje minut, med högst 8 förfrågningar pågående på en nyckel.
Routing
Hur fungerar en LLM-router?
En router omvandlar en förfrågan som inte namnger någon maskin till ett "endpoint"-svar. En ren funktion filtrerar kandidater efter policy och residens, poängsätter de som överlever och väljer den högsta poängen.