Korduma kippuvad küsimused
Enamik selle saidi lehti esitab väite. See leht vastab kümnele küsimusele, mille ostja peab tavaliselt meile e-kirjaga saatma. Kui vastus on "mitte veel", ütleb see "mitte veel" — leht, mis liialdaks, oleks väärt vähem kui mitte ühtegi lehte, sest iga teine leht siin on kirjutatud kontrollitavana.
Kus töödeldakse viipasid ja lõpetusi?
Lõpp-punktis, mille ruuter valib, mis on nimetatud piirkond, ja vastus ütleb, milline: iga lõpetuse llmeu plokk sisaldab inference_region, endpoint_id ja sovereignty_class. Residentsuse väärtus teie poliitikas piirab seda kogumit enne valimist; seda rakendatakse filtrina, mitte eelistusena, ja catalogue_unknown ei ole kunagi marsruuditav. Sellel lausel on kaks piirangut. Esiteks, piirkonna read on konfiguratsiooniandmed, mitte tõend töötavate masinate või kinnitatud operaatorilepingute kohta — residentsuse dokument ütleb seda oma sõnadega ja me kordame seda siin, mitte ainult seal. Teiseks, selles juurutuses pole GPU-d: vaikimisi taustaprogramm on mock, mille piirkond on dev-mock, ja mock ei esinda kohta. Vt "Mis juhtub, kui GPU-d pole?" allpool. API, mis seda teeb, on Node protsess, mitte osa sellest staatilisest saidist — llmeu.com ise vastab lehtedele, see ei töötle päringuid.
apps/api/src/inference.mjs:457 (llmeu vastuseplokk), packages/router/src/engine.mjs:467 (residentsust rakendatakse enne skoorimist), packages/inference/src/mock.mjs:7 (MOCK_REGION = dev-mock), packages/shared/src/catalog-schema.mjs:64 (marsruuditavad klassid)
Kas viipasid ja lõpetusi säilitatakse?
Ei. Viipa ja lõpetuse sisu ei kirjutata andmebaasi. Iga kutse salvestab metaandmed — küsitud ja kasutatud mudel, versioon, lõpp-punkt, piirkond, suveräänsusklass, ruuteri põhjus, märgiloendid, latentsus, kulu, olek — ja rea prompt_stored on 0. Kaks sisu veergu on skeemis olemas ja on nullid. Jõustamine on kood, mitte poliitika proosa: päring, mille tegelik säilitus on midagi muud kui null, lükatakse tagasi, koos 403 retention_exceeds_policy, kui see küsib rohkem, kui teie poliitika lubab, ja 501 retention_not_implemented, kui see on lubatud, kuid rakendamata. Poliitikad võivad salvestada 24h, 7d või 30d valikutena; valiku salvestamine ei võimalda sisu salvestada. Kui jälg kunagi näitab prompt_stored muud kui 0, on see ühe lehekülje vastus küsimusele "mida te säilitasite" — ja saate seda ise jq-ga kontrollida, nagu tõendusleht näitab.
packages/shared/src/db/schema.sql:295 (prompt_stored ja kaks sisu veergu), apps/api/src/inference.mjs:83 (IMPLEMENTED_RETENTION = zero), apps/api/src/inference.mjs:89 (403 retention_exceeds_policy), apps/api/src/inference.mjs:97 (501 retention_not_implemented), docs/product/decisions.md:62 (ADR-003)
Kas te treenite kliendiandmetel?
Ei — miski selles tootes ei ole selleks võimeline. API-s, veebiprotsessis, ruuteris ega jagatud pakettides pole treenimise ega peenhäälestuse kooditeed. API orkestreerib päringu taustaprogrammile ja mõõdab seda; puudub andmestiku sisestamine, korpuse hoidla ja peenhäälestustöö. Viipa ja lõpetuse sisu ei kirjutata andmebaasi, seega pole isegi salvestatud korpust, millel treenida. See on väide meie koodi kohta, mitte iga mudeli ülesvoolu treeningandmete kohta. Mudeleid, mida on treenitud teiste inimeste andmetel või mis avalikustavad oma treeningandmed, kirjeldatakse nende endi kaartidel koos allikatega ja mõned neist kaartidest ütlevad, et treeningandmeid ei avaldata.
apps/api/src/inference.mjs (kogu päringu tee: orkestreeri, mõõda, ära kunagi säilita), packages/shared/src/db/schema.sql (andmestiku ega korpuse tabelit pole), packages/content/models.mjs:196 (kaart, mis ütleb, et treeningandmeid ei avaldata)
Mis juhtub, kui ükski lõpp-punkt ei vasta minu residentsuse poliitikale?
Päring ebaõnnestub. Seda ei alandata lähedalasuvasse piirkonda ega saadeta mujale: 409 no_endpoint_for_policy, põhjus on vea kehas ja välistatud lõpp-punktid on jäljel nimetatud. Residentsust rakendatakse enne skoorimist ja ümberlülitus liigub ainult ruuteri juba filtreeritud kogumi sees — seetõttu ei saa uus katse teie seatud reeglist vaikselt kõrvale hiilida. Kood ütleb seda ühes lauses: "Ükski lõpp-punkt ei vasta residentsusele {x}. Residentsust ei leevendata kunagi vaikselt." Mida sellega teha: nimetage piirkond või klass, mille teie poliitika lubab, laiendage poliitikat teadlikult (otsus koos muudatuste logi kandega) või leppige, et selle mudeli jaoks selles reeglis marsruuti ei ole. 409 on toode, mis töötab nii, nagu ette nähtud; ebaõnnestumisviis, mida see väldib, on päring, mis "õnnestus" kuskil, mida te ei lubanud.
packages/shared/src/errors.mjs:59 (no_endpoint_for_policy), packages/router/src/engine.mjs:370 (ebaõnnestumine, enne skoorimist), packages/router/src/engine.mjs:507 (ümberlülitus ei saa filtreeritud kogumist lahkuda), apps/api/src/inference.mjs:137 (säilitust kontrollitakse enne marsruutimist)
Kas see on GDPR-iga kooskõlas või sertifitseeritud?
Me ei esita sellist väidet ega hakka seda tegema — mitte "AI määrusega kooskõlas", mitte "sertifitseeritud", mitte "Ametlik EL". LLM EU on eraettevõte. See ei ole ELi institutsioon ega vastavushindamisasutus. "Kinnitatud" sellel saidil tähendab dokumenteeritud, mitte õiguslikult sertifitseeritud: see on avalikustamise kontrollnimekiri, mida hinnatakse selle järgi, kas kaart märgib oma residentsuse, pakkuja, versiooni, säilituse, alltöötlejad ja litsentsi koos linkidega. Mida saame väita, on see, mida kood teeb, ja kus on lüngad: nullsäilitus on koodis jõustatud; API võtmed on salvestatud scrypt räsidena, saladus näidatakse üks kord; iga kliendipäring on piiratud organisatsiooni ID-ga; IP-põhised, võtmepõhised ja organisatsioonipõhised kiiruspiirangud; päringu kehad on piiratud ja valideeritud. Mida pole tehtud: sõltumatut läbitungimistesti pole; kolmanda osapoole auditit pole; privaatsusteade ja tingimused on kokkuvõtted; DPA on ülevaatamata, allakirjutamata mall; alltöötlejate loetelu on puudulik. Turvalisuse leht ja õiguslik register loetlevad need lüngad oma sektsioonides; see vastus osutab neile, mitte ei sõnasta neid pehmemaks.
docs/product/decisions.md:115 (ADR-006 — ühtegi vastavustemplit, üheski stringis), apps/web/server/pages/docs.mjs:537 (SECURITY_COPY: kontrollide ja lünkade loetelu), apps/web/server/pages/docs.mjs:643 (LEGAL_READINESS: dokumentide kaupa valmidus)
Kas API on OpenAI-ga ühilduv ja mida klient muudab?
Baas-URL ja mitte midagi muud. /v1/chat/completions võtab vastu ametliku päringu kuju ja tagastab ametliku vastuse kuju — choices, usage, voogedastus SSE-na — nii et ametlikud SDK-d töötavad, kui need meile suunata. Täiendavaid keha välju eiratakse, mitte ei lükata tagasi, nii et uuem SDK ei saa vanemat marsruuti murda. Lisatud on valikuline ja täiendav: nimeruumiga llmeu objekt päringus (residency, task, retention, data_class, policy_id, max_usd_per_1m, allow_partners) ja llmeu plokk vastuses, mis sisaldab trace_id, model_used, model_version, provider, endpoint_id, inference_region, sovereignty_class, route_reason, policy_id, retention ja kuluhinnangud. Meelega ei pakuta: /v1/completions (501), n > 1 (400), embeddings, välja arvatud juhul, kui embedding-mudel on tegelikult hostitud. llmeu plokk võib saada uusi välju; ühe eemaldamine oleks murranguline muudatus ja ilmuks muudatuste logis.
docs/product/decisions.md:78 (ADR-004), apps/api/src/app.mjs:554 (vastus, mida klient loeb), apps/api/src/app.mjs:255 (501 /v1/completions puhul), apps/web/server/pages/docs.mjs:403 (kirjalik ühilduvusleping)
Mis juhtub, kui GPU-d pole?
Vastab MockBackend ja see ütleb seda oma väljundis: lõpetus nimetab mudeli ja piirkonna, märgib, et ükski tõeline kaal ei jooksnud, ja ütleb, kuidas lülitada sisse esmase osapoole järeldamine (VLLM_BASE_URL, seejärel gpu_enabled lipp). Selle piirkond on dev-mock, mis ei ole koht, ja mock-kutse eest tasu ei võeta. GET /readyz teatab, millised taustaprogrammid on üleval, ja valmidust ei rahulda lõpp-punkti rida, mis ütleb üleval — hallatav käitusaeg peab tegelikult teatama tervislikust, sest selle sondi mõte on tabada sõlme, mille kaalud alles laadivad. Taustaprogrammide register keeldub asendamast mocki lõpp-punktiga, mille käitusaeg on vllm; selle asemel viskab see erindi. Aus kokkuvõte on ebamugav ja seda tasub selgelt öelda: selles juurutuses pole GPU-d, seega on siinne kutse protsessi demonstratsioon, mitte mudeli jooksutus. Mock-õnnestumine on õnnestumine traadil; seda ei esitata kunagi tõelise mudeli jooksutusena.
packages/inference/src/mock.mjs:49 (vastus, mis nimetab mocki), apps/api/src/app.mjs:157 (valmidus hõlmab hallatavaid taustaprogramme), docs/product/decisions.md:131 (ADR-007 — register keeldub teesklemast GPU käitusaega)
Mida tähendab mudelikaart, mis on märgitud catalogue_only?
See tähendab, et me kataloogime mudeli ega serveeri seda. Kaart on viiteteave — pakkuja, litsents, kontekstiaken, kus pakkuja ütleb, et see töötab, allikad iga arvu kohta — ja ükski LLM EU lõpp-punkt ei vasta selle eest. Küsige seda API-st ja saate 404 hosted_unavailable, märkusega "ainult kataloog — LLM EU-s veel ei hostita"; selle leht ei esita hinda, sest hind millegi eest, mida keegi ei saa kutsuda, on väide, mille taga pole midagi. Päringud sellele mudelile lähevad otse selle pakkujale, selle pakkuja enda tingimustel, ja mudelikaart ütleb täpselt seda. Vastupidine märgis ei ole samuti tugevam lubadus: mudelit, mida me hostime, hostitakse nimetatud piirkonnas nimetatud suveräänsusklassiga ja see on väide, mida saate jäljel kontrollida. Kumbki märgis ei ole vastavusavaldus.
packages/router/src/engine.mjs:325 (ruuter lükkab tüübi tagasi), apps/api/src/app.mjs:235 (404 hosted_unavailable koos märkusega), apps/web/server/pages/docs.mjs:446 (hinnakiri jätab catalogue_only vahele)
Kuidas hinnastamine ja krediit praegu töötavad?
Hinnad on miljoni märgi kohta sisendis ja väljundis, salvestatud lõpp-punkti kaupa ja näidatud hinnakirja lehel ja mudelikaartidel, eurodes, tuletatud ühest avaldatud USD kursist; pearaamat ise salvestab USD mikrodes ja kirjutab kursi igale reale, nii et varasemat arvet saab täpselt rekonstrueerida. Iga lõpetus tagastab cost_estimate_usd ja cost_estimate_eur ning jälg salvestab kulu mõlemas. Poliitika piirangud — miljoni kohta ülempiir ja päevane ülempiir — kontrollitakse enne marsruutimist, seega üle eelarve olev päring lükatakse tagasi, mitte ei käivitata. Kaardimaksed ei ole selles juurutuses lubatud ja miski ei lisa krediiti automaatselt: arvete esitamist ega operaatori krediiditeed veel pole. Konsool näitab, kui palju on kulutatud ja kui palju jäänud. Kui stripe_enabled lipp on sisse lülitatud, võtab krediidikäsitleja vastu postitatud summa, kontrollimata, et makse toimus — seepärast peab lipp olema väljas, kuni makse kontrollimine on rakendatud ja testitud, ja seepärast ütleme seda siin, mitte ei paku kassanuppu.
docs/product/decisions.md:148 (ADR-008 — mikrodes salvestatud, eurodes näidatud), apps/api/src/inference.mjs:457 (päringupõhised kuluhinnangud), apps/web/server/pages/docs.mjs:463 (hinnakirja leht ütleb, et maksed on väljas), apps/web/server/pages/docs.mjs:559 (krediidikäsitleja ei kontrolli makset)
Kas me saame ise hostida?
Mitte millegi kaudu, mida me täna pakume. Puudub isehostitav distributsioon: puudub konteineri pilt, paigaldaja, kohapealne litsents, tugileping selle käitamiseks teie enda taristus, ja seda hoidlat ei pakuta toetatud juhatusena. Konsooli meeskonnapind on olemas, kuid organisatsiooni rollid ei ole täielik rollipõhine juurdepääsukontroll ja see on dokumenteeritud, mitte maha vaikitud. Mida kataloog siiski sisaldab, on residentsuse klass nimega on_prem_customer — "mudel töötab kliendi kontrollitavas taristus" — ja see on lõpp-punkti omandi ja käitamise klassifikatsioon, mitte meie pakkumine. Paljud kataloogi mudelid avaldavad avatud kaalud ja nende litsentsid (mõned mitteärilised, mõned ainult teadustööks) on kaartidel koos lingiga, nii et saate hinnata nende ise käitamist; see on otsus kellegi teise kaalude ja kellegi teise litsentsi kohta, mitte LLM EU isehostimistoode. Kohapealse vestluse jaoks on ettevõtte leht õige uks ja on aus, et seda kokkulepet veel ei ole.
packages/router/src/engine.mjs:12 (on_prem_customer esineb ainult residentsuse vastendustes), packages/shared/src/catalog-schema.mjs:84 (selle määratlus), apps/web/server/pages/docs.mjs:517 (puudulik RBAC, öeldud), packages/content/models.mjs:695 (avatud kaaluga litsents kaardil)
Kui vastus siin on vale, on see defekt ja me käsitleme seda defektina. Kui kood ja see leht lahknevad, võidab kood — ja tõendusleht, turvalisuse leht ja õiguslik register on kohad, kus hoiame ülejäänud ebamugavaid üksikasju, mitte ei korda neid kümme korda.
Küsimused, millele see leht ei vasta: mail@llmeu.com
Tõendid ja kinnitamine · Turvalisus · Juriidiline · Ligipääsetavus