Question 1

Kde sa spracúvajú výzvy a dokončenia?

Accepted Answer

V koncovom bode, ktorý vyberie router, čo je pomenovaný región, a odpoveď vám povie ktorý: blok llmeu pri každom dokončení nesie inference_region, endpoint_id a sovereignty_class. Hodnota rezidencie vo vašej politike obmedzuje túto množinu pred výberom; uplatňuje sa ako filter, nie ako preferencia, a catalogue_unknown nie je nikdy smerovateľný. Dve obmedzenia tohto tvrdenia. Po prvé, riadky regiónov sú konfiguračné údaje, nie dôkaz o bežiacich strojoch alebo potvrdených zmluvách s operátormi — dokument o rezidencii to uvádza vlastnými slovami a my to tu opakujeme, namiesto iba tam. Po druhé, v tomto nasadení nie je žiadna GPU kapacita prvej strany: požiadavky obsluhujú koncové body, ktoré zaznamenáva katalóg, a model bez živého koncového bodu je iba v katalógu, takže požiadavka naň sa odmietne podľa názvu, nie zodpovedaná náhradou. Pozri "Čo sa stane, ak nie je k dispozícii žiadna GPU?" nižšie. API, ktoré to robí, je proces Node, nie súčasť tejto statickej stránky — llmeu.com sám odpovedá na stránky, nespracúva požiadavky.

Question 2

Uchovávajú sa výzvy a dokončenia?

Accepted Answer

Nie. Tela promptov a dokončení sa do databázy neukladajú. Každé volanie ukladá metadata — požadovaný a použitý model, verziu, endpoint, región, triedu suverenity, dôvod routera, počty tokenov, latenciu, náklady, stav — a hodnota prompt_stored v riadku je 0. Dva stĺpce pre telo existujú v schéme a sú null. Vynucovanie je v kóde, nie v texte politiky: požiadavka, ktorej efektívna retencia je iná než nula, je odmietnutá, s 403 retention_exceeds_policy, ak žiada viac, než vaša politika povoľuje, a 501 retention_not_implemented, ak je povolená, ale neimplementovaná. Politiky môžu ukladať 24h, 7d alebo 30d ako voľby; uloženie voľby neumožňuje ukladanie tela. Ak sa niekedy v trace zobrazí prompt_stored iné než 0, to je jednostranová odpoveď na "čo ste uchovávali" — a môžete si to overiť sami pomocou jq, ako ukazuje stránka s dôkazmi.

Question 3

Trénujete na zákazníckych dátach?

Accepted Answer

Nie — nič v tomto produkte na to nie je v pozícii. V API, webovom procese, routeri ani zdieľaných balíkoch neexistuje žiadna cesta kódu na trénovanie alebo doladenie. API orchestruje požiadavku na backend a meria ju; neexistuje žiadne načítavanie dátových sád, žiadne úložisko korpusu ani úloha na doladenie. Tela promptov a dokončení sa do databázy neukladajú, takže neexistuje ani uložený korpus na trénovanie. To je tvrdenie o našom kóde, nie o upstream trénovacích dátach každého modelu. Modely, ktoré boli trénované na dátach iných ľudí alebo ktoré zverejňujú svoje trénovacie dáta, sú opísané na vlastných kartách, so zdrojmi, a niektoré z tých kariet uvádzajú, že trénovacie dáta nie sú zverejnené.

Question 4

Čo sa stane, keď žiadny endpoint nevyhovuje mojej politike rezidencie?

Accepted Answer

Požiadavka zlyhá. Nezníži sa na blízky región a neodošle sa nikam inam: 409 no_endpoint_for_policy, s dôvodom v tele chyby a vylúčenými endpointmi uvedenými v trace. Rezidencia sa uplatňuje pred skórovaním a failover sa vždy pohybuje len v množine, ktorú router už filtroval — preto retry nemôže potichu obísť pravidlo, ktoré ste nastavili. Kód to hovorí jednou vetou: "No endpoint satisfies residency {x}. Residency is never relaxed silently." Čo s tým: pomenujte región alebo triedu, ktorú vaša politika povoľuje, zámerne rozšírte politiku (rozhodnutie, so záznamom v changelogu), alebo prijmite, že pre ten model podľa tohto pravidla neexistuje trasa. 409 znamená, že produkt funguje podľa návrhu; režim zlyhania, ktorému zabraňuje, je požiadavka, ktorá "uspela" niekde, kde ste to nepovolili.

Question 5

Je to v súlade s GDPR alebo certifikované?

Accepted Answer

Nie — a ani nebudeme: nie "v súlade s AI Act", nie "certifikované", nie "Official EU". LLM EU je súkromná spoločnosť, nie inštitúcia EÚ a nie orgán posudzovania zhody. "Verified" tu znamená dokumentované, nie právne certifikované: kontrolný zoznam zverejnenia hodnotený podľa toho, či karta uvádza svoju rezidenciu, poskytovateľa, verziu, retenciu, subprocesorov a licenciu, s odkazmi. Čo platforma robí, je uvedené v termínoch, na ktoré sa dá kód držať: vynútená nulová retencia, API kľúče uložené ako scrypt hashe a zobrazené raz, každý zákaznícky dopyt obmedzený podľa id organizácie, limity rýchlosti na IP, na kľúč a na organizáciu, telá požiadaviek obmedzené a validované. Bezpečnostná práca a právne dokumenty majú každý vlastnú stránku.

Question 6

Je API kompatibilné s OpenAI a čo zákazník zmení?

Accepted Answer

Základnú URL a nič iné. /v1/chat/completions prijíma oficiálny tvar požiadavky a vracia oficiálny tvar odpovede — choices, usage, streamovanie ako SSE — takže oficiálne SDK fungujú, keď ich nasmerujete na nás. Extra polia v tele sa ignorujú, nie odmietajú, takže novšie SDK nemôže pokaziť staršiu trasu. Čo je pridané, je voliteľné a aditívne: namespaced objekt llmeu v požiadavke (residency, task, retention, data_class, policy_id, max_usd_per_1m, allow_partners) a blok llmeu v odpovedi nesúci trace_id, model_used, model_version, provider, endpoint_id, inference_region, sovereignty_class, route_reason, policy_id, retention a odhady nákladov. Zámerne sa neponúka: /v1/completions (501), n > 1 (400), embeddings, pokiaľ nie je skutočne hostovaný embedding model. Blok llmeu môže získať polia; odstránenie jedného by bola zlomová zmena a objavilo by sa v changelogu.

Question 7

Čo sa stane, ak nie je žiadne GPU?

Accepted Answer

Router obsluhuje všetky živé endpointy, ktoré eviduje katalóg, a každá odpoveď uvádza endpoint, región a triedu suverenity, ktorá odpovedala. Model bez živého endpointu je len v katalógu: požiadavka naň sa odmietne podľa mena, namiesto toho, aby na ňu odpovedal náhradník. Kapacita prvej strany potrebuje nakonfigurovaný pool (VLLM_BASE_URL, potom príznak gpu_enabled); kým neexistuje, kapacita je taká, akú evidujú riadky endpointov, a stránky uvádzajú, ktorá to je. GET /readyz hlási, ktoré backendy sú hore, a pripravenosť nie je splnená riadkom endpointu, ktorý tvrdí, že je hore — spravovaný runtime musí skutočne hlásiť healthy, pretože celý zmysel tejto sondy je zachytiť node, ktorého váhy sa ešte načítavajú. Registrácia backendov odmieta nahradiť jeden runtime iným; namiesto toho vyhodí výnimku. Úprimné zhrnutie je nepríjemné a stojí za to ho povedať priamo: toto nasadenie nemá GPU, takže volanie tu je ukážkou pipeline, nie behom modelu. Úspech náhradníka by bol úspechom na drôte a ničím viac, a preto sa nikdy neprezentuje ako skutočný beh modelu.

Question 8

Čo znamená karta modelu označená catalogue_only?

Accepted Answer

Znamená to, že model evidujeme v katalógu a neobsluhujeme ho. Karta sú referenčné informácie — poskytovateľ, licencia, kontextové okno, kde podľa poskytovateľa beží, zdroje pre každý údaj — a neodpovedá zaň žiadny endpoint LLM EU. Ak oň požiadate API, dostanete 404 hosted_unavailable s poznámkou "catalogue only — not hosted on LLM EU yet"; stránka preň neuvádza cenu, pretože cena za niečo, čo si nikto nemôže zavolať, je tvrdenie bez podkladu. Požiadavky na ten model idú priamo jeho poskytovateľovi, podľa vlastných podmienok poskytovateľa, a karta modelu to presne uvádza. Ani opačný odznak nie je silnejším sľubom: model, ktorý hostujeme, je hostovaný v pomenovanom regióne s pomenovanou triedou suverenity, a to je tvrdenie, ktoré si môžete overiť v trace. Ani jeden odznak nie je vyhlásenie o zhode.

Question 9

Ako dnes fungujú ceny a kredit?

Accepted Answer

Ceny sú za milión tokenov na vstupe a výstupe, uložené pre každý endpoint a zobrazené na stránke s cenami a na kartách modelov, v EUR, odvodené z jedného zverejneného kurzu USD; samotný ledger ukladá USD micros a kurz zapisuje do každého riadku, takže minulú faktúru možno presne zrekonštruovať. Každé dokončenie vracia cost_estimate_usd a cost_estimate_eur a trace zaznamenáva náklady v oboch. Limity politiky — strop na milión a denný strop — sa kontrolujú pred routovaním, takže požiadavka nad rozpočet sa odmietne, namiesto toho, aby sa spustila. Platby kartou nie sú v tomto nasadení povolené a nič automaticky nepridáva kredit: zatiaľ neexistuje spustenie fakturácie ani operátorská cesta kreditu. Konzola zobrazuje, čo sa minulo a čo zostáva. Ak sa zapne príznak stripe_enabled, handler kreditu prijme zadanú sumu bez overenia, že platba prebehla — preto musí príznak zostať vypnutý, kým sa overovanie platieb neimplementuje a neotestuje, a preto to hovoríme tu, namiesto ponúkania tlačidla pokladne.

Question 10

Môžeme to hostovať sami?

Accepted Answer

Nie prostredníctvom ničoho, čo dnes dodávame. Neexistuje žiadna self-hosted distribúcia: žiadny kontajnerový image, žiadny inštalátor, žiadna on-premise licencia, žiadna podporná zmluva na prevádzkovanie tohto vo vašom vlastnom prostredí a toto úložisko nie je ponúkané ako podporované nasadenie. Tímové rozhranie konzoly existuje, ale role v organizácii nie sú úplným riadením prístupu na základe rolí a to je zdokumentované, nie zamlčané. Katalóg však nesie triedu rezidencie s názvom on_prem_customer — "model beží v infraštruktúre, ktorú kontroluje zákazník" — a je to klasifikácia vlastníctva a prevádzky endpointu, nie ponuka od nás. Mnohé modely v katalógu zverejňujú otvorené váhy a ich licencie (niektoré nekomerčné, niektoré len na výskum) sú na kartách s odkazom, takže môžete zvážiť ich prevádzkovanie sami; to je rozhodnutie o cudzích váhach a cudzej licencii, nie self-hostingový produkt od LLM EU. Pre on-premise rozhovor sú správnymi dverami podniková stránka a je úprimné, že toto usporiadanie zatiaľ neexistuje.

Často kladené otázky