Title: Ofte stillede sp%C3%B8rgsm%C3%A5l om LLM-API %E2%80%94 LLM EU Canonical: https://llmeu.com/da/faq/ Markdown mirror: https://llmeu.com/da/faq.md Machine-readable: https://llmeu.com/llms.txt (index) - https://llmeu.com/llms-full.txt (full catalogue) - https://llmeu.com/llms-catalogue.json # Ofte stillede sp%C3%B8rgsm%C3%A5l De fleste sider p%C3%A5 dette websted fremf%C3%B8rer en p%C3%A5stand. Denne besvarer ti sp%C3%B8rgsm%C3%A5l, som en k%C3%B8ber normalt skal sende os en e-mail for at f%C3%A5. Hvor svaret er "endnu ikke", st%C3%A5r der "endnu ikke" %E2%80%94 en side, der overdrev, ville v%C3%A6re mindre v%C3%A6rd end ingen side, fordi enhver anden side her er skrevet for at kunne kontrolleres. ## Hvor behandles prompts og completions? P%C3%A5 det endpoint, routeren v%C3%A6lger, som er en navngivet region, og svaret fort%C3%A6ller dig hvilken: llmeu-svarblokken p%C3%A5 hver completion indeholder inference_region, endpoint_id og sovereignty_class. En residency-v%C3%A6rdi i din politik begr%C3%A6nser det s%C3%A6t f%C3%B8r valget; den anvendes som et filter, ikke som en pr%C3%A6ference, og catalogue_unknown er aldrig routbar. To begr%C3%A6nsninger ved den s%C3%A6tning. For det f%C3%B8rste er regionsr%C3%A6kker konfigurationsdata, ikke bevis for k%C3%B8rende maskiner eller bekr%C3%A6ftede operat%C3%B8raftaler %E2%80%94 residency-dokumentet siger dette med sine egne ord, og vi gentager det her i stedet for kun der. For det andet er der i denne deployment ingen first-party GPU-kapacitet: anmodninger betjenes af de endpoints, kataloget registrerer, og en model uden et live-endpoint er kun i kataloget, s%C3%A5 en anmodning om den afvises ved navn i stedet for at blive besvaret af en stedfortr%C3%A6der. Se "Hvad sker der, hvis der ikke er nogen GPU?" nedenfor. Den API, der g%C3%B8r dette, er en Node-proces, ikke en del af dette statiske websted %E2%80%94 llmeu.com besvarer selv sider, det behandler ikke anmodninger. apps/api/src/inference.mjs:457 (llmeu-svarblokken), packages/router/src/engine.mjs:467 (residency anvendes f%C3%B8r scoring), packages/shared/src/catalog-schema.mjs:64 (de routbare klasser) ## Gemmes prompts og completions? Nej. Prompt- og completion-bodies skrives ikke til databasen. Hvert kald gemmer metadata %E2%80%94 model anmodet om og brugt, version, endpoint, region, suver%C3%A6nitetsklasse, routerens begrundelse, tokenantal, latency, omkostning, status %E2%80%94 og r%C3%A6kkens prompt_stored er 0. De to body-kolonner findes i skemaet og er null. H%C3%A5ndh%C3%A6velsen er kode, ikke policyprosa: en anmodning, hvis effektive opbevaring er andet end nul, afvises, med 403 retention_exceeds_policy, hvis den beder om mere, end din politik tillader, og 501 retention_not_implemented, hvis den er tilladt, men ikke implementeret. Politikker kan gemme 24h, 7d eller 30d som valg; at gemme valget aktiverer ikke lagring af body'en. Hvis en trace nogensinde viser prompt_stored anderledes end 0, er det %C3%A9t-sides-svaret p%C3%A5 "hvad gemte I" %E2%80%94 og du kan selv kontrollere det med jq, som evidenssiden viser. packages/shared/src/db/schema.sql:295 (prompt_stored og de to body-kolonner), apps/api/src/inference.mjs:83 (IMPLEMENTED_RETENTION = zero), apps/api/src/inference.mjs:89 (403 retention_exceeds_policy), apps/api/src/inference.mjs:97 (501 retention_not_implemented), docs/product/decisions.md:62 (ADR-003) ## Tr%C3%A6ner I p%C3%A5 kundedata? Nej %E2%80%94 intet i dette produkt er i stand til det. Der er ingen tr%C3%A6nings- eller finjusteringskodevej i API'en, webprocessen, routeren eller de delte pakker. API'en orkestrerer en anmodning til en backend og m%C3%A5ler den; der er ingen datas%C3%A6tindtagelse, intet korpuslager og intet finjusteringsjob. Prompt- og completion-bodies skrives ikke til databasen, s%C3%A5 der er ikke engang et gemt korpus at tr%C3%A6ne p%C3%A5. Det er en udtalelse om vores kode, ikke om hver models upstream-tr%C3%A6ningsdata. Modeller, der blev tr%C3%A6net p%C3%A5 andres data, eller som offentligg%C3%B8r deres tr%C3%A6ningsdata, er beskrevet p%C3%A5 deres egne kort, med kilder, og nogle af disse kort siger, at tr%C3%A6ningsdataene ikke er offentliggjort. apps/api/src/inference.mjs (hele anmodningsstien: orkestrer, m%C3%A5l, aldrig gem), packages/shared/src/db/schema.sql (ingen datas%C3%A6t- eller korpustabel), packages/content/models.mjs:196 (et kort, der siger, at tr%C3%A6ningsdataene ikke er offentliggjort) ## Hvad sker der, n%C3%A5r ingen endpoint opfylder min residenspolitik? Anmodningen mislykkes. Den nedgraderes ikke til en n%C3%A6rliggende region, og den sendes ikke andre steder hen: 409 no_endpoint_for_policy, med %C3%A5rsagen i fejlbody'en og de udelukkede endpoints navngivet p%C3%A5 trace'en. Residens anvendes f%C3%B8r scoring, og failover flytter kun inden for det s%C3%A6t, routeren allerede har filtreret %E2%80%94 hvilket er grunden til, at et retry ikke stille kan undslippe den regel, du har sat. Koden siger det i %C3%A9n s%C3%A6tning: "No endpoint satisfies residency {x}. Residency is never relaxed silently." Hvad man kan g%C3%B8re ved det: navngiv en region eller klasse, som din politik tillader, udvid politikken bevidst (en beslutning, med en changelog-post), eller accepter, at der ikke findes nogen rute for den model under den regel. En 409 er produktet, der fungerer som designet; den fejltilstand, den forhindrer, er en anmodning, der "lykkedes" et sted, du ikke tillod. packages/shared/src/errors.mjs:59 (no_endpoint_for_policy), packages/router/src/engine.mjs:370 (fejlen, f%C3%B8r scoring), packages/router/src/engine.mjs:507 (failover kan ikke forlade det filtrerede s%C3%A6t), apps/api/src/inference.mjs:137 (opbevaring kontrolleres f%C3%B8r routing) ## Er dette GDPR-compliant eller certificeret? Nej %E2%80%94 og det vil vi ikke: ikke "AI Act-compliant", ikke "certificeret", ikke "Official EU". LLM EU er en privat virksomhed, ikke en EU-institution og ikke et overensstemmelsesvurderingsorgan. "Verified" betyder her dokumenteret, ikke juridisk certificeret: en oplysningscheckliste, der scores efter, om et kort angiver sin residens, udbyder, version, opbevaring, underleverand%C3%B8rer og licens, med links. Hvad platformen g%C3%B8r, er formuleret i vendinger, som koden kan holdes op p%C3%A5: nul opbevaring h%C3%A5ndh%C3%A6vet, API-n%C3%B8gler gemt som scrypt-hashes og vist %C3%A9n gang, hver kundeforesp%C3%B8rgsel afgr%C3%A6nset efter organisations-id, per-IP-, per-n%C3%B8gle- og per-org-ratebegr%C3%A6nsninger, anmodningsbodies begr%C3%A6nset og valideret. Sikkerhedsarbejde og de juridiske dokumenter har hver deres side. docs/product/decisions.md:115 (ADR-006 %E2%80%94 intet compliance-stempel, i nogen streng), apps/web/server/pages/docs.mjs:537 (SECURITY_COPY: listen over kontroller og mangler), apps/web/server/pages/docs.mjs:643 (LEGAL_READINESS: parathed pr. dokument) ## Er API'en OpenAI-kompatibel, og hvad skal en kunde %C3%A6ndre? Base-URL'en, og intet andet. /v1/chat/completions accepterer den officielle anmodningsform og returnerer den officielle svarform %E2%80%94 choices, usage, streaming som SSE %E2%80%94 s%C3%A5 de officielle SDK'er virker, n%C3%A5r du peger dem p%C3%A5 os. Ekstra body-felter ignoreres i stedet for at blive afvist, s%C3%A5 et nyere SDK ikke kan bryde en %C3%A6ldre rute. Det, der tilf%C3%B8jes, er valgfrit og additivt: et namespaced llmeu-objekt i anmodningen (residency, task, retention, data_class, policy_id, max_usd_per_1m, allow_partners) og en llmeu-blok i svaret med trace_id, model_used, model_version, provider, endpoint_id, inference_region, sovereignty_class, route_reason, policy_id, retention og omkostningsestimater. Ikke tilbudt, med vilje: /v1/completions (501), n > 1 (400), embeddings medmindre en embedding-model faktisk hostes. llmeu-blokken kan f%C3%A5 felter; at fjerne et ville v%C3%A6re en breaking change og ville fremg%C3%A5 af changelog'en. docs/product/decisions.md:78 (ADR-004), apps/api/src/app.mjs:554 (svaret, som klienten l%C3%A6ser), apps/api/src/app.mjs:255 (501 p%C3%A5 /v1/completions), apps/web/server/pages/docs.mjs:403 (den skriftlige kompatibilitetskontrakt) ## Hvad sker der, hvis der ikke er nogen GPU? Routeren betjener, hvad end kataloget registrerer af live endpoints, og hvert svar navngiver det endpoint, den region og den suver%C3%A6nitetsklasse, der svarede. En model uden et live endpoint er kun katalog: en anmodning om den afvises ved navn i stedet for at blive besvaret af en stand-in. F%C3%B8rsteparts-kapacitet kr%C3%A6ver en konfigureret pool (VLLM_BASE_URL, derefter gpu_enabled-flaget); indtil en findes, er kapaciteten, hvad endpoint-r%C3%A6kkerne registrerer, og siderne siger, hvad det er. GET /readyz rapporterer, hvilke backends der er oppe, og readiness opfyldes ikke af en endpoint-r%C3%A6kke, der siger oppe %E2%80%94 en managed runtime skal faktisk rapportere healthy, fordi hele pointen med den probe er at fange en node, hvis v%C3%A6gte stadig indl%C3%A6ses. Backend-registret n%C3%A6gter at erstatte %C3%A9n runtime med en anden; det kaster i stedet. Det %C3%A6rlige resum%C3%A9 er ubehageligt og v%C3%A6rd at sige klart: denne deployment har ingen GPU, s%C3%A5 et kald her er en demonstration af pipelinen, ikke en modelk%C3%B8rsel. En stand-in-succes ville v%C3%A6re en succes p%C3%A5 wire'en og intet mere, hvilket er grunden til, at det aldrig pr%C3%A6senteres som en rigtig modelk%C3%B8rsel. apps/api/src/app.mjs:157 (readiness inkluderer managed backends), docs/product/decisions.md:131 (ADR-007 %E2%80%94 registret n%C3%A6gter at fake en GPU-runtime) ## Hvad betyder et modelkort markeret catalogue_only? Det betyder, at vi katalogiserer modellen og ikke hoster den. Kortet er referenceinformation %E2%80%94 udbyder, licens, kontekstvindue, hvor udbyderen siger, den k%C3%B8rer, kilder til hvert tal %E2%80%94 og intet LLM EU-endpoint svarer for den. Bed API'en om den, og du f%C3%A5r 404 hosted_unavailable, med noten "catalogue only %E2%80%94 not hosted on LLM EU yet"; en side for den angiver ingen pris, fordi en pris for noget, ingen kan kalde, er et krav uden noget bag. Anmodninger til den model g%C3%A5r direkte til dens udbyder, under udbyderens egne vilk%C3%A5r, og modelkortet siger pr%C3%A6cis det. Det modsatte badge er heller ikke et st%C3%A6rkere l%C3%B8fte: en model, vi hoster, hostes i en navngivet region med en navngivet suver%C3%A6nitetsklasse, og det er det krav, du kan kontrollere p%C3%A5 trace'en. Intet af badge'erne er en compliance-erkl%C3%A6ring. packages/router/src/engine.mjs:325 (routeren afviser den slags), apps/api/src/app.mjs:235 (404 hosted_unavailable med noten), apps/web/server/pages/docs.mjs:446 (priss%C3%A6tning springer catalogue_only over) ## Hvordan fungerer priss%C3%A6tning og kredit i dag? Priser er per million tokens ind og ud, gemt per endpoint og vist p%C3%A5 prissiden og modelkortene, i EUR, afledt af %C3%A9n offentliggjort USD-kurs; ledgeren selv gemmer USD-micros og skriver kursen p%C3%A5 hver r%C3%A6kke, s%C3%A5 en tidligere faktura kan rekonstrueres n%C3%B8jagtigt. Hver completion returnerer cost_estimate_usd og cost_estimate_eur, og en trace registrerer omkostningen i begge. Politikgr%C3%A6nser %E2%80%94 et per-million-loft og et dagligt loft %E2%80%94 kontrolleres f%C3%B8r routing, s%C3%A5 en anmodning over budget afvises i stedet for at blive k%C3%B8rt. Kortbetalinger er ikke aktiveret i denne deployment, og intet tilf%C3%B8jer kredit automatisk: der er ingen fakturak%C3%B8rsel og ingen operat%C3%B8rkreditvej endnu. Konsollen viser, hvad der er brugt, og hvad der er tilbage. Hvis et stripe_enabled-flag t%C3%A6ndes, accepterer kredith%C3%A5ndteringen et indsendt bel%C3%B8b uden at verificere, at en betaling er sket %E2%80%94 hvilket er grunden til, at flaget skal forblive slukket, indtil betalingsverifikation er implementeret og testet, og hvorfor vi siger det her i stedet for at tilbyde en checkout-knap. docs/product/decisions.md:148 (ADR-008 %E2%80%94 micros gemt, EUR vist), apps/api/src/inference.mjs:457 (omkostningsestimater per anmodning), apps/web/server/pages/docs.mjs:463 (prissiden angiver, at betalinger er sl%C3%A5et fra), apps/web/server/pages/docs.mjs:559 (kredith%C3%A5ndteringen verificerer ikke betaling) ## Kan vi selvhoste? Ikke gennem noget, vi leverer i dag. Der findes ingen selvhostet distribution: intet container-image, ingen installer, ingen on-premise-licens, ingen supportkontrakt til at k%C3%B8re dette i jeres eget setup, og dette repository tilbydes ikke som en underst%C3%B8ttet deployment. Konsollens team-flade findes, men organisationsroller er ikke komplet rollebaseret adgangskontrol, og det er dokumenteret i stedet for at blive tiet v%C3%A6k. Hvad kataloget derimod har, er en residensklasse kaldet on_prem_customer %E2%80%94 "modellen k%C3%B8rer inden for infrastruktur, som kunden kontrollerer" %E2%80%94 og det er en klassificering af et endpoints ejerskab og drift, ikke et tilbud fra os. Mange af modellerne i kataloget offentligg%C3%B8r %C3%A5bne v%C3%A6gte, og deres licenser (nogle ikke-kommercielle, nogle kun til forskning) er p%C3%A5 kortene med et link, s%C3%A5 du kan vurdere at k%C3%B8re dem selv; det er en beslutning om andres v%C3%A6gte og andres licens, ikke et selvhostingprodukt fra LLM EU. For en on-premise-samtale er enterprise-siden den rigtige indgang, og det er %C3%A6rligt, at ordningen ikke findes endnu. packages/router/src/engine.mjs:12 (on_prem_customer forekommer kun i residensmappinger), packages/shared/src/catalog-schema.mjs:84 (dens definition), apps/web/server/pages/docs.mjs:517 (ufuldst%C3%A6ndig RBAC, angivet), packages/content/models.mjs:695 (en open-weight-licens p%C3%A5 et kort) Hvis et svar her er forkert, er det en fejl, og vi behandler det som en. Hvor koden og denne side er uenige, vinder koden %E2%80%94 og evidenssiden, sikkerhedssiden og det juridiske indeks er de steder, hvor vi opbevarer resten af de ubehagelige detaljer i stedet for at gentage dem ti gange. Sp%C3%B8rgsm%C3%A5l, som denne side ikke besvarer: [mail@llmeu.com](mailto:mail@llmeu.com) [Bevis og verifikation](/da/docs/evidence/) %C2%B7[Sikkerhed](/da/security/) %C2%B7[Juridisk](/da/legal/) %C2%B7[Tilg%C3%A6ngelighed](/da/accessibility/)