Question 1

Kje se obdelujejo pozivi in dokončanja?

Accepted Answer

Na končni točki, ki jo izbere usmerjevalnik, ki je imenovana regija, in odgovor vam pove katero: blok llmeu pri vsakem dokončanju nosi inference_region, endpoint_id in sovereignty_class. Vrednost rezidentnosti v vašem pravilniku omejuje ta niz pred izbiro; uporabljena je kot filter, ne kot prednost, in catalogue_unknown ni nikoli usmerljiv. Dve omejitvi te trditve. Prvič, vrstice regij so konfiguracijski podatki, ne dokaz o delujočih strojih ali potrjenih pogodbah operaterjev — dokument o rezidentnosti to pove z lastnimi besedami, mi pa to ponavljamo tukaj, ne le tam. Drugič, na tej namestitvi ni lastnih zmogljivosti GPU: zahteve strežejo končne točke, ki jih beleži katalog, model brez žive končne točke pa je samo v katalogu, zato je zahteva zanj zavrnjena po imenu, ne pa odgovorjena z nadomestkom. Glejte »Kaj se zgodi, če ni GPU?« spodaj. API, ki to počne, je proces Node, ne del te statične strani — llmeu.com sam odgovarja na strani, ne obdeluje zahtev.

Question 2

Ali se pozivi in dokončanja hranijo?

Accepted Answer

Ne. Telesa pozivov in dokončanj se ne zapisujejo v zbirko podatkov. Vsak klic shrani metapodatke — zahtevani in uporabljeni model, različico, končno točko, regijo, razred suverenosti, razlog usmerjevalnika, število žetonov, zakasnitev, strošek, stanje — in prompt_stored v vrstici je 0. Dva stolpca za telesa obstajata v shemi in sta null. Izvajanje je koda, ne besedilo pravilnika: zahteva, katere dejanska hramba je karkoli drugega kot nič, je zavrnjena, s 403 retention_exceeds_policy, če zahteva več, kot dovoljuje vaša politika, in 501 retention_not_implemented, če je dovoljena, a neimplementirana. Politike lahko shranijo 24h, 7d ali 30d kot izbire; shranjevanje izbire ne omogoči shranjevanja telesa. Če sled kadarkoli pokaže prompt_stored, ki ni 0, je to odgovor na eni strani na »kaj ste obdržali« — in to lahko preverite sami z jq, kot prikazuje stran z dokazi.

Question 3

Ali trenirate na podatkih strank?

Accepted Answer

Ne — nič v tem izdelku tega ne more početi. V API-ju, spletnem procesu, usmerjevalniku ali skupnih paketih ni nobene kode za učenje ali fino prilagajanje. API orkestrira zahtevo do zaledja in jo meri; ni zajema podatkovnih nizov, shrambe korpusa ali opravila za fino prilagajanje. Telesa pozivov in dokončanj se ne zapisujejo v zbirko podatkov, zato ni niti shranjenega korpusa za učenje. To je izjava o naši kodi, ne o izvornih podatkih za učenje vsakega modela. Modeli, ki so bili naučeni na podatkih drugih ljudi ali ki razkrivajo svoje podatke za učenje, so opisani na lastnih karticah, z viri, in nekatere od teh kartic pravijo, da podatki za učenje niso objavljeni.

Question 4

Kaj se zgodi, ko nobena končna točka ne ustreza moji politiki rezidenčnosti?

Accepted Answer

Zahteva ne uspe. Ne preusmeri se v bližnjo regijo in se ne pošlje nikamor drugam: 409 no_endpoint_for_policy, z razlogom v telesu napake in izključenimi končnimi točkami, navedenimi v sledi. Rezidenčnost se uporabi pred točkovanjem, preklop ob napaki pa se vedno premika le znotraj nabora, ki ga je usmerjevalnik že filtriral — zato ponovni poskus ne more tiho ubežati pravilu, ki ste ga določili. Koda to pove v enem stavku: »Nobena končna točka ne ustreza rezidenčnosti {x}. Rezidenčnost se nikoli ne sprosti tiho.« Kaj storiti: navedite regijo ali razred, ki ga vaša politika dovoljuje, namerno razširite politiko (odločitev, z vnosom v dnevnik sprememb) ali sprejmite, da za ta model pod tem pravilom ne obstaja pot. 409 pomeni, da izdelek deluje po načrtu; način okvare, ki ga preprečuje, je zahteva, ki je »uspela« nekje, kjer tega niste dovolili.

Question 5

Ali je to skladno z GDPR ali certificirano?

Accepted Answer

Ne — in ne bomo: ne »skladno z Aktom o umetni inteligenci«, ne »certificirano«, ne »uradno EU«. LLM EU je zasebno podjetje, ne institucija EU in ne organ za ugotavljanje skladnosti. »Preverjeno« tukaj pomeni dokumentirano, ne pravno certificirano: kontrolni seznam razkritij, ocenjen glede na to, ali kartica navaja svojo rezidenčnost, ponudnika, različico, hrambo, podizvajalce in licenco, s povezavami. Kaj platforma počne, je navedeno v izrazih, ki jih je mogoče preveriti v kodi: uveljavljena ničelna hramba, API-ključi shranjeni kot zgoščene vrednosti scrypt in prikazani enkrat, vsaka poizvedba stranke omejena po ID-ju organizacije, omejitve hitrosti na IP, na ključ in na organizacijo, telesa zahtev omejena in validirana. Varnostno delo in pravni dokumenti imajo vsak svojo stran.

Question 6

Je API združljiv z OpenAI in kaj stranka spremeni?

Accepted Answer

Osnovni URL in nič drugega. /v1/chat/completions sprejema uradno obliko zahteve in vrne uradno obliko odgovora — choices, usage, pretakanje kot SSE — zato uradni SDK-ji delujejo, ko jih usmerite na nas. Dodatna polja v telesu se ignorirajo, ne zavrnejo, zato novejši SDK ne more pokvariti starejše poti. Kar je dodano, je neobvezno in dodajno: objekt llmeu z imenskim prostorom v zahtevi (residency, task, retention, data_class, policy_id, max_usd_per_1m, allow_partners) in blok llmeu v odgovoru, ki nosi trace_id, model_used, model_version, provider, endpoint_id, inference_region, sovereignty_class, route_reason, policy_id, retention in ocene stroškov. Namerno ni ponujeno: /v1/completions (501), n > 1 (400), embeddings, razen če je model za embedding dejansko gostovan. Blok llmeu lahko dobi polja; odstranitev enega bi bila prelomna sprememba in bi se pojavila v dnevniku sprememb.

Question 7

Kaj se zgodi, če ni GPU?

Accepted Answer

Usmerjevalnik streže, kar koli že katalog zabeleži kot aktivne končne točke, in vsak odgovor navede končno točko, regijo in razred suverenosti, ki je odgovoril. Model brez aktivne končne točke je samo v katalogu: zahteva zanj je zavrnjena po imenu, ne pa odgovorjena z nadomestkom. Lastna zmogljivost potrebuje konfiguriran bazen (VLLM_BASE_URL, nato zastavica gpu_enabled); dokler ta ne obstaja, je zmogljivost taka, kot jo zabeležijo vrstice končnih točk, in strani povedo, katera je to. GET /readyz poroča, katera zaledja so aktivna, in pripravljenost ni izpolnjena z vrstico končne točke, ki pravi, da je aktivna — upravljano izvajalno okolje mora dejansko poročati, da je zdravo, ker je smisel tega preizkusa ujeti vozlišče, katerega uteži se še nalagajo. Register zaledij zavrača zamenjavo enega izvajalnega okolja z drugim; namesto tega vrže izjemo. Iskren povzetek je neprijeten in ga je vredno povedati naravnost: ta namestitev nima GPU, zato je klic tukaj predstavitev cevovoda, ne poganjanje modela. Uspeh nadomestka bi bil uspeh na žici in nič več, zato ni nikoli predstavljen kot resnično poganjanje modela.

Question 8

Kaj pomeni kartica modela z oznako catalogue_only?

Accepted Answer

Pomeni, da model uvrstimo v katalog in ga ne strežemo. Kartica so referenčne informacije — ponudnik, licenca, okno konteksta, kje po navedbah ponudnika teče, viri za vsako številko — in zanjo ne odgovarja nobena končna točka LLM EU. Če API vprašate zanj, prejmete 404 hosted_unavailable z opombo »samo katalog — še ni gostovan na LLM EU«; stran zanj ne navaja cene, ker je cena za nekaj, kar nihče ne more poklicati, trditev brez podlage. Zahteve za ta model gredo neposredno k njegovemu ponudniku, pod pogoji tega ponudnika, in kartica modela to natančno navaja. Nasprotna značka prav tako ni močnejša obljuba: model, ki ga gostimo, je gostovan v imenovani regiji z imenovanim razredom suverenosti, in to je trditev, ki jo lahko preverite v sledi. Nobena značka ni izjava o skladnosti.

Question 9

Kako danes delujejo cene in dobroimetje?

Accepted Answer

Cene so na milijon žetonov vhodnih in izhodnih, shranjene po končni točki in prikazane na strani s cenami in karticah modelov, v EUR, izpeljane iz enega objavljenega tečaja USD; glavna knjiga sama shranjuje mikroenote USD in na vsako vrstico zapiše tečaj, zato je mogoče pretekli račun natančno rekonstruirati. Vsako dokončanje vrne cost_estimate_usd in cost_estimate_eur, sled pa zabeleži strošek v obeh. Omejitve politike — omejitev na milijon in dnevna omejitev — se preverijo pred usmerjanjem, zato je zahteva nad proračunom zavrnjena, ne izvedena. Kartična plačila v tej namestitvi niso omogočena in nič ne doda dobroimetja samodejno: ni zagona računov in še ni operaterske poti za dobroimetje. Konzola prikazuje, koliko je bilo porabljeno in koliko ostaja. Če se zastavica stripe_enabled vklopi, upravljalnik dobroimetja sprejme poslani znesek, ne da bi preveril, ali je bilo plačilo izvedeno — zato mora zastavica ostati izklopljena, dokler preverjanje plačila ni implementirano in preizkušeno, in zato to povemo tukaj, namesto da bi ponudili gumb za plačilo.

Question 10

Lahko gostimo sami?

Accepted Answer

Ne prek česar koli, kar danes dobavljamo. Ni samogostujoče distribucije: ni slike vsebnika, ni namestitvenega programa, ni licence za nameščanje na lokaciji, ni pogodbe o podpori za poganjanje tega v vašem lastnem okolju, in ta repozitorij ni ponujen kot podprta namestitev. Ekipna površina konzole obstaja, vendar vloge organizacije niso popoln nadzor dostopa na podlagi vlog, in to je dokumentirano, ne pa zamolčano. Kar katalog vsebuje, je razred rezidenčnosti on_prem_customer — »model teče znotraj infrastrukture, ki jo nadzoruje stranka« — in to je klasifikacija lastništva in delovanja končne točke, ne naša ponudba. Veliko modelov v katalogu objavlja odprte uteži, njihove licence (nekatere nekomercialne, nekatere samo za raziskave) pa so na karticah s povezavo, tako da lahko ocenite, ali jih boste poganjali sami; to je odločitev o tujih utežeh in tuji licenci, ne samogostujoči izdelek podjetja LLM EU. Za pogovor o nameščanju na lokaciji so prava vrata stran za podjetja, in pošteno je, da dogovor še ne obstaja.

Pogosto zastavljena vprašanja