Question 1

Kus töödeldakse viipasid ja lõpetusi?

Accepted Answer

Lõpp-punktis, mille marsruutija valib, mis on nimetatud piirkond, ja vastus ütleb teile, milline: llmeu plokk igal lõpetusel sisaldab inference_region, endpoint_id ja sovereignty_class. Residentsuse väärtus teie poliitikas piirab seda kogumit enne valimist; seda rakendatakse filtrina, mitte eelistusena, ja catalogue_unknown ei ole kunagi marsruuditav. Kaks piirangut sellele lausele. Esiteks, piirkonna read on konfiguratsiooniandmed, mitte tõend töötavate masinate või kinnitatud operaatorilepete kohta — residentsuse dokument ütleb seda oma sõnadega ja me kordame seda siin, mitte ainult seal. Teiseks, selles juurutuses puudub esimese osapoole GPU võimsus: päringuid teenindavad lõpp-punktid, mille kataloog salvestab, ja mudel, millel pole aktiivset lõpp-punkti, on ainult kataloogis, seega selle kohta käiv päring lükatakse tagasi nime järgi, mitte ei vastata asendajaga. Vt "Mis juhtub, kui GPU-d pole?" allpool. API, mis seda teeb, on Node protsess, mitte osa sellest staatilisest saidist — llmeu.com ise vastab lehtedele, see ei töötle päringuid.

Question 2

Kas viipasid ja lõpetusi säilitatakse?

Accepted Answer

Ei. Promptide ja vastuste sisu ei kirjutata andmebaasi. Iga kutse salvestab metaandmed — soovitud ja kasutatud mudel, versioon, lõpp-punkt, regioon, suveräänsusklass, ruuteri põhjus, tokenite arv, latentsus, kulu, olek — ja rea prompt_stored on 0. Kaks sisu-veergu on skeemis olemas ja on null. Jõustamine on kood, mitte poliitikatekst: päring, mille tegelik säilitamine on midagi muud kui null, lükatakse tagasi; koodiga 403 retention_exceeds_policy, kui see küsib rohkem, kui teie poliitika lubab, ja 501 retention_not_implemented, kui see on lubatud, aga rakendamata. Poliitikad võivad valikutena salvestada 24h, 7d või 30d; valiku salvestamine ei võimalda sisu salvestada. Kui jälg kunagi näitab prompt_stored muud kui 0, on see üheleheküljeline vastus küsimusele "mida te säilitasite" — ja saate seda ise jq-ga kontrollida, nagu tõenduste leht näitab.

Question 3

Kas te treenite kliendiandmetel?

Accepted Answer

Ei — mitte miski selles tootes ei ole selleks võimeline. API-s, veebiprotsessis, ruuteris ega jagatud pakettides ei ole treenimise ega peenhäälestuse kooditeed. API orkestreerib päringu taustaprogrammi ja mõõdab seda; puudub andmestiku sissetoomine, korpuse hoidla ja peenhäälestustöö. Promptide ja vastuste sisu ei kirjutata andmebaasi, seega pole isegi salvestatud korpust, millel treenida. See on väide meie koodi kohta, mitte iga mudeli ülesvoolu treeningandmete kohta. Mudeleid, mis on treenitud teiste inimeste andmetel või mis avaldavad oma treeningandmed, kirjeldatakse nende endi kaartidel, allikatega, ja mõned neist kaartidest ütlevad, et treeningandmeid ei ole avaldatud.

Question 4

Mis juhtub, kui ükski lõpp-punkt ei rahulda minu residentsipoliitikat?

Accepted Answer

Päring ebaõnnestub. Seda ei alandata lähedalasuvasse regiooni ega saadeta kuhugi mujale: 409 no_endpoint_for_policy, põhjus on vea kehas ja välistatud lõpp-punktid on jäljel nimetatud. Residentsust rakendatakse enne skoorimist ja ümberlülitus liigub ainult ruuteri juba filtreeritud hulga sees — seetõttu ei saa korduskatse teie seatud reeglist vaikselt kõrvale hiilida. Kood ütleb selle ühe lausega: "No endpoint satisfies residency {x}. Residency is never relaxed silently." Mida sellega teha: nimetage regioon või klass, mille teie poliitika lubab, laiendage poliitikat teadlikult (otsus, koos changelog-kirjega), või leppige sellega, et selle mudeli jaoks sellise reegli all marsruuti ei ole. 409 tähendab, et toode töötab nii, nagu on ette nähtud; tõrkerežiim, mida see väldib, on päring, mis "õnnestus" kuskil, mida te ei lubanud.

Question 5

Kas see on GDPR-iga kooskõlas või sertifitseeritud?

Accepted Answer

Ei — ja me ei tee seda: mitte "AI Act compliant", mitte "certified", mitte "Official EU". LLM EU on eraettevõte, mitte ELi institutsioon ega vastavushindamisasutus. "Verified" tähendab siin dokumenteeritust, mitte õiguslikku sertifikaati: avalikustamise kontrollnimekiri, mida hinnatakse selle järgi, kas kaart esitab oma residentsuse, teenusepakkuja, versiooni, säilitamise, alltöövõtjad ja litsentsi, koos linkidega. Mida platvorm teeb, on öeldud tingimustes, millele kood vastab: nullsäilitamine on jõustatud, API-võtmed on salvestatud scrypt-räsidena ja näidatakse üks kord, iga kliendipäring on piiratud organisatsiooni id-ga, IP-, võtme- ja org-põhised kiiruspiirangud, päringukehad on ülempiiriga ja valideeritud. Turvatööl ja juriidilistel dokumentidel on igaühel oma leht.

Question 6

Kas API on OpenAI-iga ühilduv ja mida klient muudab?

Accepted Answer

Baas-URL ja mitte midagi muud. /v1/chat/completions võtab vastu ametliku päringu kuju ja tagastab ametliku vastuse kuju — choices, usage, streaming SSE-na — seega ametlikud SDK-d töötavad pärast nende meie poole suunamist. Lisakeha väljad jäetakse tähelepanuta, mitte ei lükata tagasi, nii et uuem SDK ei saa vanemat marsruuti katki teha. Lisatud on valikuline ja täiendav: nimeruumiga llmeu objekt päringus (residency, task, retention, data_class, policy_id, max_usd_per_1m, allow_partners) ja llmeu plokk vastuses, mis kannab trace_id, model_used, model_version, provider, endpoint_id, inference_region, sovereignty_class, route_reason, policy_id, retention ja kuluhinnanguid. Meelega ei pakuta: /v1/completions (501), n > 1 (400), embeddingud, välja arvatud juhul, kui embedding-mudelit tegelikult hostitakse. llmeu plokk võib saada uusi välju; ühe eemaldamine oleks murranguline muudatus ja ilmuks changelogis.

Question 7

Mis juhtub, kui GPU-d pole?

Accepted Answer

Ruuter teenindab kõiki kataloogis kirjendatud aktiivseid lõpp-punkte ja iga vastus nimetab lõpp-punkti, regiooni ja suveräänsusklassi, mis sellele vastas. Mudel, millel pole aktiivset lõpp-punkti, on ainult kataloogis: päring selle mudeli järele lükatakse nime järgi tagasi, mitte ei vastata asendajaga. Esmase osapoole võimsus vajab konfigureeritud pooli (VLLM_BASE_URL, seejärel gpu_enabled lipp); kuni seda pole, on võimsus see, mida lõpp-punkti read kirjendavad, ja lehed ütlevad, milline see on. GET /readyz teatab, millised taustaprogrammid on üleval, ja valmisolekut ei rahulda lõpp-punkti rida, mis ütleb, et on üleval — haldusega käitusaeg peab tegelikult teatama tervislikust seisundist, sest selle sondi mõte on tabada sõlme, mille kaalud alles laadivad. Taustaprogrammide register keeldub üht käitusaega teisega asendamast; selle asemel viskab see erindi. Aus kokkuvõte on ebamugav ja väärib selget ütlemist: selles juurutusas on GPU puudu, seega on siinne kutse torujuhtme demonstratsioon, mitte mudeli käivitus. Asendaja õnnestumine oleks õnnestumine juhtmel ja mitte rohkem, mistõttu ei esitata seda kunagi tegeliku mudeli käivitusena.

Question 8

Mida tähendab mudelikaart, mis on märgitud catalogue_only?

Accepted Answer

See tähendab, et me kataloogime mudeli ega teeninda seda. Kaart on viiteteave — teenusepakkuja, litsents, kontekstiaken, kus teenusepakkuja sõnul see töötab, allikad iga arvu kohta — ja ükski LLM EU lõpp-punkt selle eest ei vasta. Küsige API-lt ja saate 404 hosted_unavailable, märkusega "catalogue only — not hosted on LLM EU yet"; selle leht ei näita hinda, sest hind millegi eest, mida keegi kutsuda ei saa, on väide, mille taga pole midagi. Päringud selle mudeli järele lähevad otse selle teenusepakkujale, selle pakkuja enda tingimustel, ja mudelikaart ütleb täpselt seda. Vastupidine märgis ei ole samuti tugevam lubadus: meie hostitav mudel on hostitud nimetatud regioonis nimetatud suveräänsusklassiga ja see on väide, mida saate jäljel kontrollida. Kumbki märgis ei ole vastavusdeklaratsioon.

Question 9

Kuidas hinnastus ja krediit praegu töötavad?

Accepted Answer

Hinnad on miljoni siseneva ja väljuva tokeni kohta, salvestatud lõpp-punkti kaupa ja näidatud hinnastuslehel ja mudelikaartidel, eurodes, tuletatud ühest avaldatud USD kursist; pearaamat ise salvestab USD mikrod ja kirjutab kursi igale reale, nii et varasemat arvet saab täpselt rekonstrueerida. Iga lõpetus tagastab cost_estimate_usd ja cost_estimate_eur ning jälg salvestab kulu mõlemas. Poliitika piirangud — miljoni kohta ülempiir ja päevane ülempiir — kontrollitakse enne marsruutimist, seega üle eelarve olev päring lükatakse tagasi, mitte ei käivitata. Kaardimaksed ei ole selles juurutusas lubatud ja miski ei lisa krediiti automaatselt: arvejooksu ega operaatori krediiditeed veel ei ole. Konsool näitab, kui palju on kulutatud ja kui palju jääb. Kui stripe_enabled lipp on sisse lülitatud, võtab krediidikäitleja vastu postitatud summa, kontrollimata, et makse toimus — seepärast peab lipp olema väljas, kuni makse kontrollimine on juurutatud ja testitud, ja seepärast ütleme seda siin, mitte ei paku kassanuppu.

Question 10

Kas saame ise hostida?

Accepted Answer

Mitte millegi kaudu, mida me täna pakume. Isemajutatavat distributsiooni ei ole: pole konteineripilti, installerit, kohapealset litsentsi, tugilepingut selle käitamiseks teie enda keskkonnas, ja seda hoidlat ei pakuta toetatud juurutusena. Konsooli tiimivaade on olemas, kuid organisatsiooni rollid ei ole täielik rollipõhine juurdepääsukontroll ja see on dokumenteeritud, mitte maha vaikitutud. Kataloogis on küll residentsusklass nimega on_prem_customer — "mudel töötab infrastruktuuris, mida klient kontrollib" — ja see on lõpp-punkti omandi ja käitamise liigitus, mitte meie pakkumine. Paljud kataloogis olevad mudelid avaldavad avatud kaalud ja nende litsentsid (mõned mittekaubanduslikud, mõned ainult uurimistööks) on kaartidel lingiga, nii et saate hinnata nende ise käitamist; see on otsus kellegi teise kaalude ja kellegi teise litsentsi kohta, mitte LLM EU isemajutustoode. Kohapealse vestluse jaoks on ettevõtte leht õige uks ja on aus, et seda kokkulepet veel ei ole.

Korduma kippuvad küsimused