Dažnai užduodami klausimai
Dauguma šios svetainės puslapių pateikia teiginį. Šis atsako į dešimt klausimų, dėl kurių pirkėjas paprastai turi mums rašyti el. laišką. Kai atsakymas yra „dar ne“, jis taip ir sako „dar ne“ — puslapis, kuris perdėtų, būtų vertas mažiau nei jokio puslapio, nes kiekvienas kitas čia esantis puslapis parašytas taip, kad jį būtų galima patikrinti.
Kur tvarkomos užklausos ir atsakymai?
Galiniame taške, kurį parenka maršrutizatorius, o tai yra įvardytas regionas, ir atsakymas nurodo, kuris tai: kiekvieno atsakymo llmeu blokas pateikia inference_region, endpoint_id ir sovereignty_class. Rezidencijos reikšmė jūsų politikoje apriboja tą rinkinį prieš pasirinkimą; ji taikoma kaip filtras, o ne kaip preferencija, ir catalogue_unknown niekada nėra maršrutizuojamas. Du šio sakinio apribojimai. Pirma, regionų eilutės yra konfigūracijos duomenys, o ne įrodymas apie veikiančias mašinas ar patvirtintas operatorių sutartis — rezidencijos dokumentas tai sako savais žodžiais, ir mes tai kartojame čia, o ne tik ten. Antra, šiame diegime nėra GPU: numatytasis backend yra mock, kurio regionas yra dev-mock, o mock neatstovauja vietos. Žr. „Kas atsitinka, jei nėra GPU?“ žemiau. Tai atliekantis API yra Node procesas, o ne šios statinės svetainės dalis — pats llmeu.com atsako į puslapius, jis netvarko užklausų.
apps/api/src/inference.mjs:457 (llmeu atsakymo blokas), packages/router/src/engine.mjs:467 (rezidencija taikoma prieš vertinimą), packages/inference/src/mock.mjs:7 (MOCK_REGION = dev-mock), packages/shared/src/catalog-schema.mjs:64 (maršrutizuojamos klasės)
Ar užklausos ir atsakymai saugomi?
Ne. Užklausų ir atsakymų turinys nerašomas į duomenų bazę. Kiekvienas kvietimas saugo metaduomenis — prašytą ir naudotą modelį, versiją, galinį tašką, regioną, suverenumo klasę, maršrutizatoriaus priežastį, žetonų skaičius, delsą, kainą, būseną — o eilutės prompt_stored yra 0. Du turinio stulpeliai schemoje egzistuoja ir yra null. Tai užtikrinama kodu, o ne politikos tekstu: užklausa, kurios faktinis saugojimas yra kitoks nei nulis, atmetama, su 403 retention_exceeds_policy, jei ji prašo daugiau, nei leidžia jūsų politika, ir 501 retention_not_implemented, jei tai leidžiama, bet neįgyvendinta. Politikose kaip pasirinkimai gali būti saugomi 24h, 7d arba 30d; pasirinkimo saugojimas neįjungia turinio saugojimo. Jei pėdsakas kada nors rodytų prompt_stored, kitokį nei 0, tai yra vieno puslapio atsakymas į „ką jūs saugojote“ — ir tai galite patikrinti patys su jq, kaip rodo įrodymų puslapis.
packages/shared/src/db/schema.sql:295 (prompt_stored ir du turinio stulpeliai), apps/api/src/inference.mjs:83 (IMPLEMENTED_RETENTION = zero), apps/api/src/inference.mjs:89 (403 retention_exceeds_policy), apps/api/src/inference.mjs:97 (501 retention_not_implemented), docs/product/decisions.md:62 (ADR-003)
Ar apmokote modelius klientų duomenimis?
Ne — niekas šiame produkte tam neturi galimybės. API, žiniatinklio procese, maršrutizatoriuje ar bendruose paketuose nėra apmokymo ar smulkiojo derinimo kodo kelio. API orkestruoja užklausą į backend ir ją apskaito; nėra duomenų rinkinio įkėlimo, korpuso saugyklos ar smulkiojo derinimo užduoties. Užklausų ir atsakymų turinys nerašomas į duomenų bazę, todėl nėra net saugomo korpuso, su kuriuo būtų galima apmokyti. Tai teiginys apie mūsų kodą, o ne apie kiekvieno modelio pirminius apmokymo duomenis. Modeliai, kurie buvo apmokyti kitų žmonių duomenimis arba kurie atskleidžia savo apmokymo duomenis, aprašomi jų pačių kortelėse su šaltiniais, ir kai kurios iš tų kortelių nurodo, kad apmokymo duomenys neskelbiami.
apps/api/src/inference.mjs (visas užklausos kelias: orkestravimas, apskaita, niekada nesaugoma), packages/shared/src/db/schema.sql (nėra duomenų rinkinio ar korpuso lentelės), packages/content/models.mjs:196 (kortelė, kuri nurodo, kad apmokymo duomenys neskelbiami)
Kas atsitinka, kai joks galinis taškas netenkina mano rezidencijos politikos?
Užklausa nepavyksta. Ji nėra sumažinama iki netolimo regiono ir nesiunčiama niekur kitur: 409 no_endpoint_for_policy, su priežastimi klaidos turinyje ir atmesti galiniai taškai įvardyti pėdsake. Rezidencija taikoma prieš vertinimą, o perjungimas gedimo atveju visada juda tik rinkinio, kurį maršrutizatorius jau išfiltravo, ribose — todėl pakartotinis bandymas negali tyliai išvengti jūsų nustatytos taisyklės. Kodas tai sako vienu sakiniu: „No endpoint satisfies residency {x}. Residency is never relaxed silently.“ Ką daryti: įvardykite regioną ar klasę, kurią jūsų politika leidžia, sąmoningai išplėskite politiką (sprendimas, su įrašu pakeitimų žurnale), arba pripažinkite, kad pagal tą taisyklę tam modeliui maršruto nėra. 409 yra produktas, veikiantis taip, kaip suprojektuota; gedimo režimas, kurį jis užkerta, yra užklausa, kuri „pavyko“ ten, kur neleidote.
packages/shared/src/errors.mjs:59 (no_endpoint_for_policy), packages/router/src/engine.mjs:370 (gedimas, prieš vertinimą), packages/router/src/engine.mjs:507 (perjungimas gedimo atveju negali išeiti iš išfiltruoto rinkinio), apps/api/src/inference.mjs:137 (saugojimas tikrinamas prieš maršrutizavimą)
Ar tai atitinka BDAR ar yra sertifikuota?
Mes tokio teiginio nereiškiame ir neišreikšime — nei „atitinka AI aktą“, nei „sertifikuota“, nei „Oficiali ES“. LLM EU yra privati įmonė. Ji nėra ES institucija ir nėra atitikties vertinimo įstaiga. „Patvirtinta“ šioje svetainėje reiškia dokumentuota, o ne teisiškai sertifikuota: tai atskleidimų kontrolinis sąrašas, vertinamas pagal tai, ar kortelė nurodo savo rezidenciją, teikėją, versiją, saugojimą, subtvarkytojus ir licenciją, su nuorodomis. Ką galime teigti, tai ką daro kodas ir kur yra spragos: nulinis saugojimas užtikrinamas kodu; API raktai saugomi kaip scrypt maišos, o slaptasis raktas parodomas vieną kartą; kiekviena kliento užklausa apribota organizacijos id; per-IP, per-raktą ir per-organizaciją užklausų ribos; užklausų turinys ribojamas ir tikrinamas. Ko nepadaryta: nėra nepriklausomo įsiskverbimo testo; nėra trečiosios šalies audito; privatumo pranešimas ir sąlygos yra santraukos; DPA yra neperžiūrėtas, nepasirašytas šablonas; subtvarkytojų sąrašas neišsamus. Saugumo puslapis ir teisinis indeksas išvardija tas spragas savo skyriuose; šis atsakymas į juos nukreipia, o ne perfrazuoja į ką nors švelnesnio.
docs/product/decisions.md:115 (ADR-006 — jokio atitikties antspaudo jokioje eilutėje), apps/web/server/pages/docs.mjs:537 (SECURITY_COPY: kontrolės ir spragų sąrašas), apps/web/server/pages/docs.mjs:643 (LEGAL_READINESS: kiekvieno dokumento parengtis)
Ar API suderinama su OpenAI, ir ką klientas turi pakeisti?
Bazinį URL ir nieko daugiau. /v1/chat/completions priima oficialią užklausos formą ir grąžina oficialią atsakymo formą — choices, usage, srautinį perdavimą kaip SSE — todėl oficialūs SDK veikia, kai nukreipiate juos į mus. Papildomi turinio laukai ignoruojami, o ne atmetami, todėl naujesnis SDK negali sugadinti senesnio maršruto. Pridedama yra neprivaloma ir papildoma: vardų erdvės llmeu objektas užklausoje (residency, task, retention, data_class, policy_id, max_usd_per_1m, allow_partners) ir llmeu blokas atsakyme su trace_id, model_used, model_version, provider, endpoint_id, inference_region, sovereignty_class, route_reason, policy_id, retention ir kainos įverčiais. Sąmoningai nesiūloma: /v1/completions (501), n > 1 (400), embeddings, nebent embedding modelis iš tiesų yra aptarnaujamas. llmeu blokas gali įgyti laukų; vieno pašalinimas būtų nesuderinamas pakeitimas ir atsirastų pakeitimų žurnale.
docs/product/decisions.md:78 (ADR-004), apps/api/src/app.mjs:554 (atsakymas, kurį skaito klientas), apps/api/src/app.mjs:255 (501 ties /v1/completions), apps/web/server/pages/docs.mjs:403 (parašyta suderinamumo sutartis)
Kas atsitinka, jei nėra GPU?
Atsako MockBackend, ir jis tai nurodo savo išvestyje: atsakymas įvardija modelį ir regioną, nurodo, kad realūs svoriai nebuvo paleisti, ir pasako, kaip įjungti pirmosios šalies inferenciją (VLLM_BASE_URL, tada gpu_enabled vėliavėlė). Jo regionas yra dev-mock, kuris nėra vieta, ir už mock kvietimą mokestis netaikomas. GET /readyz praneša, kurie backend veikia, ir pasirengimo netenkina galinio taško eilutė, nurodanti up — valdoma vykdymo aplinka turi iš tiesų pranešti healthy, nes visas tos patikros tikslas yra pagauti mazgą, kurio svoriai vis dar kraunami. Backend registras atsisako pakeisti mock galiniu tašku, kurio vykdymo aplinka yra vllm; jis meta klaidą. Sąžininga santrauka yra nepatogi ir verta pasakyti tiesiai: šiame diegime nėra GPU, todėl kvietimas čia yra duomenų srauto demonstracija, o ne modelio paleidimas. Mock sėkmė yra sėkmė perduodant duomenis; ji niekada nepateikiama kaip tikras modelio paleidimas.
packages/inference/src/mock.mjs:49 (atsakymas, kuris įvardija mock), apps/api/src/app.mjs:157 (pasirengimas apima valdomas fonines sistemas), docs/product/decisions.md:131 (ADR-007 — registras atsisako imituoti GPU vykdymo aplinką)
Ką reiškia modelio kortelė, pažymėta catalogue_only?
Tai reiškia, kad modelį kataloguojame ir jo neaptarnaujame. Kortelė yra informacinė — teikėjas, licencija, konteksto langas, kur, teikėjo teigimu, jis veikia, kiekvieno skaičiaus šaltiniai — ir joks LLM EU galinis taškas už jį neatsako. Paprašius jo per API, gaunama 404 hosted_unavailable su pastaba „catalogue only — not hosted on LLM EU yet“; puslapyje už jį kaina nenurodoma, nes kaina už tai, ko niekas negali iškviesti, yra teiginys be nieko už jo. Užklausos tam modeliui eina tiesiai jo teikėjui, pagal to teikėjo pačio sąlygas, ir modelio kortelė sako būtent tai. Priešingas ženklelis taip pat nėra stipresnis pažadas: mūsų aptarnaujamas modelis yra aptarnaujamas įvardytame regione su įvardyta suverenumo klase, ir tai yra teiginys, kurį galite patikrinti pėdsake. Nė vienas ženklelis nėra atitikties pareiškimas.
packages/router/src/engine.mjs:325 (maršrutizatorius atmeta tą kind), apps/api/src/app.mjs:235 (404 hosted_unavailable su pastaba), apps/web/server/pages/docs.mjs:446 (kainodara praleidžia catalogue_only)
Kaip šiandien veikia kainos ir kreditas?
Kainos nurodomos už milijoną įvesties ir išvesties žetonų, saugomos pagal galinį tašką ir rodomos kainų puslapyje bei modelių kortelėse, eurais, išvestos iš vieno paskelbto USD kurso; pati knyga saugo USD mikrovienetus ir įrašo kursą į kiekvieną eilutę, todėl praėjusią sąskaitą galima tiksliai atkurti. Kiekvienas atsakymas grąžina cost_estimate_usd ir cost_estimate_eur, o pėdsakas įrašo kainą abiem atvejais. Politikos ribos — už milijoną ir dienos riba — tikrinamos prieš maršrutizavimą, todėl viršijusi biudžetą užklausa atmetama, o ne įvykdoma. Kortelių mokėjimai šiame diegime neįjungti, ir niekas automatiškai neprideda kredito: sąskaitų išrašymo ciklo ir operatoriaus kredito kelio dar nėra. Konsolė rodo, kiek išleista ir kiek liko. Jei stripe_enabled vėliavėlė įjungiama, kredito apdorojimo priemonė priima pateiktą sumą nepatikrinusi, ar mokėjimas įvyko — todėl vėliavėlė turi likti išjungta, kol mokėjimo patikrinimas nebus įgyvendintas ir išbandytas, ir todėl mes tai sakome čia, o ne siūlome atsiskaitymo mygtuką.
docs/product/decisions.md:148 (ADR-008 — saugomi mikrovienetai, rodoma EUR), apps/api/src/inference.mjs:457 (kainos įverčiai kiekvienai užklausai), apps/web/server/pages/docs.mjs:463 (kainų puslapis nurodo, kad mokėjimai išjungti), apps/web/server/pages/docs.mjs:559 (kredito apdorojimo priemonė netikrina mokėjimo)
Ar galime diegti savo infrastruktūroje?
Ne per nieką, ką šiandien siūlome. Nėra savarankiško diegimo platinimo: nei konteinerio atvaizdo, nei diegimo programos, nei vietinės licencijos, nei palaikymo sutarties, kad tai būtų galima paleisti savo infrastruktūroje, ir ši saugykla nesiūloma kaip palaikomas diegimas. Konsolės komandos sritis egzistuoja, bet organizacijos vaidmenys nėra išsamus vaidmenimis pagrįstas prieigos valdymas, ir tai dokumentuota, o ne nutylėta. Katalogas iš tiesų turi rezidencijos klasę, vadinamą on_prem_customer — „modelis veikia kliento kontroliuojamoje infrastruktūroje“ — ir tai yra galinio taško nuosavybės ir valdymo klasifikacija, o ne mūsų pasiūlymas. Daugelis katalogo modelių skelbia atviruosius svorius, o jų licencijos (kai kurios nekomercinės, kai kurios tik mokslinių tyrimų) pateikiamos kortelėse su nuoroda, todėl galite įvertinti galimybę juos paleisti patys; tai sprendimas apie kitų svorius ir kitų licenciją, o ne LLM EU savarankiško diegimo produktas. Dėl pokalbio apie diegimą vietinėje infrastruktūroje tinkamos durys yra įmonių puslapis, ir jis sąžiningai nurodo, kad tokios tvarkos dar nėra.
packages/router/src/engine.mjs:12 (on_prem_customer pasirodo tik rezidencijos susiejimuose), packages/shared/src/catalog-schema.mjs:84 (jo apibrėžimas), apps/web/server/pages/docs.mjs:517 (neišsamus RBAC, nurodyta), packages/content/models.mjs:695 (atvirųjų svorių licencija kortelėje)
Jei atsakymas čia neteisingas, tai yra defektas, ir mes taip į jį ir žiūrime. Kai kodas ir šis puslapis nesutampa, kodas laimi — o įrodymų puslapis, saugumo puslapis ir teisinis indeksas yra vietos, kur laikome likusią nepatogią informaciją, o ne kartojame ją dešimt kartų.
Klausimai, į kuriuos šis puslapis neatsako: mail@llmeu.com
Įrodymai ir patikra · Saugumas · Teisinė informacija · Prieinamumas