LLM vs AI: hvad er en stor sprogmodel, hvad er en llm base, og hvad er Nemotron 3 Super?

AI er feltet, en LLM er én type model inden for det

Kunstig intelligens navngiver et felt, ikke et produkt: spamfiltre, talegenkendere og modellen bag et chatvindue sidder alle inden for det. En stor sprogmodel er én type model inden for det felt, et netværk trænet på tekst til at forudsige det næste token, og det ene mål er det, der gør, at den kan producere sprog. Hver stor sprogmodel er AI, men meget lidt af den AI, du rører ved på en dag, er en. Forskellen har en konsekvens: et katalog, der ikke adskiller de to, giver dig en model, der ikke kan besvare din anmodning, og du bebrejder modellen i stedet for etiketten.

Hvad en stor sprogmodel er, mekanisk

Tre ting afgør, hvad en stor sprogmodel kan gøre. Parametre er de indlærte vægte. Kontekstvinduet er, hvor meget tekst den tager ind på én gang. Tokenizeren afgør, hvordan din tekst skæres i stykker, før noget af det når netværket, så omkostninger, latenstid og kontekstgrænser tælles i tokens snarere end tegn. Nemotron 3 Super registrerer i alt 123,6 milliarder parametre med cirka 12 milliarder aktive: kun en del af netværket kører pr. token, hvilket holder en model af den størrelse servicerbar. Dens konfiguration tillader 262.144 tokens, mens modelkortet annoncerer kontekst op til en million.

Hvad llm base betyder

Base beskriver træningsstadiet, ikke størrelsen. En basemodel er trænet til at fortsætte tekst; en instruktions-tunet model er trænet yderligere, normalt på eksempler på instruktioner og gode svar, så den følger en anmodning i stedet for blot at udvide den. Spørg begge med et spørgsmål, og forskellen viser sig med det samme: basemodellen kan fortsætte med flere spørgsmål, mens den instruktions-tunede model svarer. Kort her registrerer forskellen i et felt kaldet instruction_tuned, og flere stærke modeller er ikke instruktions-tunede. multilingual-e5-large er en 560-million-parameter indlejringsmodel under MIT, 512-token maksimal sekvenslængde. embeddinggemma-300m har 308 millioner parametre, et 2048-token vindue og en 768-dimensionel output, der kan afkortes til 512, 256 eller 128, under Gemma brugsbetingelserne snarere end en OSI-licens. gte-multilingual-reranker-base er en 305-million-parameter kryds-encoder under Apache-2.0 med 8192 tokens og 75 deklarerede sprog, der ikke kan generere tekst. llama-nemotron-rerank-1b-v2 er en 1,24-milliarder-parameter reranker under OpenMDW-1.1, evalueret på 26 sprog op til 8192 tokens. whisper-large-v3 er en 1,54-milliarder-parameter talemodel under Apache-2.0 med et fast 30-sekunders receptivt felt, og pharia-1-embedding-4608-control er en 7,03-milliarder-parameter indlejringsmodel under Open Aleph License. Og open weights betyder, at vægtene kan downloades, ikke at kommerciel brug er tilladt: det afhænger af licensen, hvilket er grunden til, at hvert kort her navngiver en.

Hvad er Nemotron 3 Super

Nemotron 3 Super er NVIDIAs mixture-of-experts model, listet her under slug'en nemotron-3-super-120b-a12b. Den registrerer i alt 123,6 milliarder parametre, omkring 12 milliarder aktive, med safetensors total på 123.611.012.096. Dens konfiguration tillader 262.144 tokens, mens modelkortet annoncerer kontekst op til en million. De offentliggjorte scores er leverandørrapporterede: RULER ved 256k 96.30, RULER ved 1M 91.75, AIME25 uden værktøjer 90.21, GPQA uden værktøjer 79.23, SWE-Bench med OpenHands scaffold 60.47 og SWE-Bench Multilingual med samme scaffold 45.78. Licensen er NVIDIA Nemotron Open Model License, en leverandørlicens snarere end en OSI-licens, og kortet lister engelsk, fransk, spansk, italiensk, tysk, japansk og kinesisk. Dens registrerede grænser er lige så klare: syv deklarerede sprog, lang-kontekst scores fra NVIDIAs egen testramme, og ingen evaluering udført af LLM EU.

Ikke alle modeller i et katalog er en chatmodel

Talegenkendelse, dokument-OCR, indlejringer og reranking optræder alle i dette katalog, og ingen af dem er en chat stor sprogmodel. whisper-large-v3 og whisper-large-v3-turbo transskriberer lyd; glm-ocr læser dokumenter og er MIT-licenseret med 1,33 milliarder parametre i dens safetensors total; indlejrings- og reranker-modellerne ovenfor returnerer vektorer eller relevansscores, aldrig sætninger. Routeren håndhæver forskellen. En model, hvis deklarerede modaliteter udelukker tekst, eller hvis opgavetags inkluderer asr, automatic-speech-recognition, speech-recognition, transcription, embedding, reranking eller rerank, afvises med den registrerede årsag not_a_text_model. Denne afvisning er bevidst: et stub-svar er værre end et ærligt et.

Hvordan routeren vælger

llmeu-auto er model-id'et, der overlader valget til routeren. Den scorer kandidater pr. opgave, og for opgavebegrundelsen foretrækker den modelnavne, der indeholder reasoning, r1, qwq, large eller nemotron, hvilket er grunden til, at en reasoning-anmodning kan lande på Nemotron 3 Super, uden at du navngiver den. Før scoring estimerer den størrelse: fire tegn pr. token for latinsk skrift, 850 tokens for et billede og en fire-token konvolut pr. besked. Estimeringen er bevidst grov og runder op: et kontekstfilter, der er for strengt, fejler synligt, et der er for løst, fejler hos udbyderen.

Listet er ikke hostet, og annonceret er ikke tilgængeligt

Hvert kort bærer status listed, fordi hosting er platformstilstand, ikke korttilstand. En model, som intet serverer, afvises ved navn med 404 hosted_unavailable og noten om, at den kun er i kataloget, ikke hostet på LLM EU endnu. LLMEU V2 er det klareste tilfælde: modellen LLM EU agter at træne og servere på europæisk infrastruktur, rettet mod de mindre sprog i EU, med intet bygget, ingen vægte, ingen parameterantal, intet kontekstvindue og intet benchmarkresultat. Den er listet, så en annonceret model ikke kan forveksles med en tilgængelig.

Hvad en anmodning returnerer

En chatanmodning går til POST /v1/chat/completions med modellen llmeu-auto, et messages-array og en llmeu-blok, der indeholder residency eu-hosted og en opgave som general. Svaret tilføjer sin egen llmeu-blok med trace_id, model_used, model_version, endpoint_id, inference_region, sovereignty_class, route_reason, retention og cost_estimate_usd. Retention er som standard nul, og nul er den eneste implementerede tilstand, så prompt- og completion-tekster skrives ikke til databasen, og disse kolonner forbliver null; politikker kan indeholde 24h, 7d eller 30d valg, som ikke muliggør lagring; en anmodning over grænsen returnerer 403 retention_exceeds_policy, og en tilladt effektiv retention ud over nul returnerer 501 retention_not_implemented. Embeddings-ruten kræver en hostet embedding-model og svarer i denne build med placeholder-vektorer markeret llmeu.mock, og en pris kommer fra den sats, en endpoint-række registrerer, så en model, hvis rækker ikke registrerer nogen, vises uden pris.