Question 1

Kde se zpracovávají prompty a dokončení?

Accepted Answer

Na koncovém bodu, který router vybere, což je pojmenovaný region, a odpověď vám řekne, který to je: blok llmeu u každého dokončení nese inference_region, endpoint_id a sovereignty_class. Hodnota rezidence ve vaší zásadě omezuje tento soubor před výběrem; uplatňuje se jako filtr, nikoli jako preference, a catalogue_unknown není nikdy směrovatelný. Dvě omezení tohoto tvrzení. Za prvé, řádky regionů jsou konfigurační data, nikoli důkaz o běžících strojích nebo potvrzených smlouvách s operátory — dokument o rezidenci to říká vlastními slovy a my to zde opakujeme, místo abychom to uváděli jen tam. Za druhé, v tomto nasazení není žádná GPU kapacita první strany: požadavky obsluhují koncové body, které katalog zaznamenává, a model bez živého koncového bodu je pouze v katalogu, takže požadavek na něj je odmítnut jménem, nikoli zodpovězen náhradou. Viz „Co se stane, když není GPU?“ níže. API, které to dělá, je proces Node, nikoli součást tohoto statického webu — llmeu.com sám odpovídá na stránky, nezpracovává požadavky.

Question 2

Uchovávají se prompty a dokončení?

Accepted Answer

Ne. Těla promptů a dokončení se do databáze neukládají. Každé volání ukládá metadata — požadovaný a použitý model, verzi, endpoint, region, třídu suverenity, důvod routeru, počty tokenů, latenci, náklady, stav — a prompt_stored daného řádku je 0. Dva sloupce pro těla ve schématu existují a jsou null. Vynucení je kód, nikoli próza zásad: požadavek, jehož efektivní retence je cokoli jiného než nula, je odmítnut, s 403 retention_exceeds_policy, pokud požaduje více, než vaše zásada povoluje, a 501 retention_not_implemented, pokud je povoleno, ale neimplementováno. Zásady mohou ukládat 24h, 7d nebo 30d jako volby; uložení volby neumožňuje ukládání těla. Pokud se v trace někdy zobrazí prompt_stored jiné než 0, to je jednostránková odpověď na „co jste si uchovali“ — a můžete si to ověřit sami pomocí jq, jak ukazuje stránka s důkazy.

Question 3

Trénujete na zákaznických datech?

Accepted Answer

Ne — nic v tomto produktu k tomu není v pozici. V API, webovém procesu, routeru ani sdílených balíčcích neexistuje cesta kódu pro trénink nebo fine-tuning. API orchestruje požadavek na backend a měří jej; neexistuje načítání datových sad, úložiště korpusu ani úloha fine-tune. Těla promptů a dokončení se do databáze neukládají, takže neexistuje ani uložený korpus, na kterém by se dalo trénovat. To je tvrzení o našem kódu, ne o tréninkových datech každého modelu výše v řetězci. Modely, které byly trénovány na datech jiných lidí nebo které zveřejňují svá tréninková data, jsou popsány na vlastních kartách, se zdroji, a některé z těchto karet uvádějí, že tréninková data nejsou zveřejněna.

Question 4

Co se stane, když žádný endpoint nevyhovuje mým zásadám rezidence?

Accepted Answer

Požadavek selže. Není přesměrován do blízkého regionu ani odeslán jinam: 409 no_endpoint_for_policy, s důvodem v těle chyby a vyloučenými endpointy uvedenými v trace. Rezidence se uplatňuje před bodováním a failover se vždy přesouvá pouze v rámci množiny, kterou router již filtroval — proto opakovaný pokus nemůže tiše obejít vámi nastavené pravidlo. Kód to říká jednou větou: „Žádný endpoint nevyhovuje rezidenci {x}. Rezidence se nikdy neuvolňuje tiše.“ Co s tím: pojmenujte region nebo třídu, které vaše zásada povoluje, záměrně rozšiřte zásadu (rozhodnutí, se záznamem v changelogu), nebo přijměte, že pro tento model podle daného pravidla neexistuje žádná trasa. 409 znamená, že produkt funguje podle návrhu; režim selhání, kterému brání, je požadavek, který „uspěl“ někde, kde jste to nedovolili.

Question 5

Je to v souladu s GDPR nebo certifikované?

Accepted Answer

Ne — a ani nebudeme: ne „v souladu s AI Act“, ne „certifikované“, ne „Official EU“. LLM EU je soukromá společnost, není orgánem EU ani subjektem posuzování shody. „Verified“ zde znamená dokumentované, nikoli právně certifikované: kontrolní seznam zveřejnění hodnocený podle toho, zda karta uvádí rezidenci, poskytovatele, verzi, retenci, subprocesory a licenci, s odkazy. Co platforma dělá, je uvedeno v termínech, podle kterých lze kód hnát k odpovědnosti: vynucená nulová retence, API klíče uložené jako scrypt hash a zobrazené jednou, každý zákaznický dotaz scopeovaný podle ID organizace, limity rychlosti na IP, klíč a organizaci, těla požadavků omezená a validovaná. Bezpečnostní práce a právní dokumenty mají každá vlastní stránku.

Question 6

Je API kompatibilní s OpenAI a co zákazník změní?

Accepted Answer

Základní URL, a nic jiného. /v1/chat/completions přijímá oficiální tvar požadavku a vrací oficiální tvar odpovědi — choices, usage, streamování jako SSE — takže oficiální SDK fungují, když je namíříte na nás. Další pole v těle se ignorují, místo aby byla odmítnuta, takže novější SDK nemůže rozbít starší trasu. Co je přidáno, je volitelné a aditivní: objekt llmeu ve jmenném prostoru v požadavku (residency, task, retention, data_class, policy_id, max_usd_per_1m, allow_partners) a blok llmeu v odpovědi nesoucí trace_id, model_used, model_version, provider, endpoint_id, inference_region, sovereignty_class, route_reason, policy_id, retention a odhady nákladů. Záměrně se nenabízí: /v1/completions (501), n > 1 (400), embeddings, pokud není skutečně hostován embedding model. Blok llmeu může získávat pole; odebrání některého by bylo breaking change a objevilo by se v changelogu.

Question 7

Co se stane, když není žádná GPU?

Accepted Answer

Router obsluhuje živé endpointy, které katalog eviduje, a každá odpověď uvádí endpoint, region a třídu suverenity, která odpověděla. Model bez živého endpointu je pouze v katalogu: požadavek na něj je odmítnut jménem, místo aby na něj odpovídal zástupný model. Kapacita první strany potřebuje nakonfigurovaný pool (VLLM_BASE_URL, pak příznak gpu_enabled); dokud žádný neexistuje, kapacita je taková, jakou evidují řádky endpointů, a stránky uvádějí, která to je. GET /readyz hlásí, které backendy jsou nahoru, a připravenost není splněna řádkem endpointu, který říká up — spravovaný runtime musí skutečně hlásit healthy, protože celý smysl této sondy je zachytit uzel, jehož váhy se stále načítají. Registr backendů odmítá nahradit jeden runtime jiným; místo toho vyhodí výjimku. Poctivé shrnutí je nepříjemné a stojí za to je říci přímo: toto nasazení nemá GPU, takže volání zde je demonstrací pipeline, nikoli během modelu. Úspěch zástupného modelu by byl úspěchem na drátě a ničím víc, a proto se nikdy neprezentuje jako skutečný běh modelu.

Question 8

Co znamená karta modelu označená catalogue_only?

Accepted Answer

Znamená to, že model katalogizujeme a neposkytujeme jej. Karta je referenční informace — poskytovatel, licence, kontextové okno, kde podle poskytovatele běží, zdroje pro každý údaj — a žádný endpoint LLM EU za ni neodpovídá. Když si o něj požádáte přes API, dostanete 404 hosted_unavailable s poznámkou „pouze v katalogu — zatím není hostován na LLM EU“; stránka pro něj neuvádí žádnou cenu, protože cena za něco, co nikdo nemůže volat, je tvrzení bez podkladu. Požadavky na tento model jdou přímo k jeho poskytovateli, podle podmínek tohoto poskytovatele, a karta modelu to říká přesně. Ani opačný odznak není silnějším příslibem: model, který hostujeme, je hostován v pojmenovaném regionu s pojmenovanou třídou suverenity, a to je tvrzení, které můžete zkontrolovat v trace. Ani jeden odznak není prohlášením o shodě.

Question 9

Jak dnes funguje cena a kredit?

Accepted Answer

Ceny jsou za milion tokenů na vstupu a výstupu, uložené pro každý endpoint a zobrazené na stránce s cenami a na kartách modelů, v EUR, odvozené z jednoho zveřejněného kurzu USD; účetní kniha sama ukládá USD mikrojednotky a zapisuje kurz do každého řádku, takže minulou fakturu lze přesně rekonstruovat. Každé dokončení vrací cost_estimate_usd a cost_estimate_eur a trace zaznamenává náklady v obou. Limity zásad — strop na milion a denní strop — se kontrolují před směrováním, takže požadavek nad rozpočet je odmítnut, nikoli spuštěn. Platby kartou nejsou v tomto nasazení povoleny a nic nepřidává kredit automaticky: zatím neexistuje spouštění faktur ani operátorská cesta pro kredit. Konzole ukazuje, co bylo utraceno a co zbývá. Pokud je zapnut příznak stripe_enabled, obsluha kreditu přijme zaslanou částku, aniž by ověřila, že proběhla platba — proto musí příznak zůstat vypnutý, dokud nebude ověření platby implementováno a otestováno, a proto to říkáme zde, místo abychom nabízeli tlačítko pokladny.

Question 10

Můžeme hostovat sami?

Accepted Answer

Ne prostřednictvím ničeho, co dnes dodáváme. Neexistuje žádná distribuce pro vlastní hosting: žádný kontejnerový image, žádný instalátor, žádná on-premise licence, žádná podpůrná smlouva pro provoz ve vaší vlastní infrastruktuře a toto úložiště se nenabízí jako podporované nasazení. Týmové rozhraní konzole existuje, ale role v organizaci nejsou úplným řízením přístupu na základě rolí a to je zdokumentováno, nikoli zamlčeno. Katalog však nese třídu rezidence zvanou on_prem_customer — „model běží uvnitř infrastruktury, kterou zákazník ovládá“ — a jde o klasifikaci vlastnictví a provozu endpointu, nikoli o naši nabídku. Mnoho modelů v katalogu zveřejňuje otevřené váhy a jejich licence (některé nekomerční, některé pouze pro výzkum) jsou na kartách s odkazem, takže můžete zvážit jejich vlastní provoz; to je rozhodnutí o cizích vahách a cizí licenci, nikoli produkt pro vlastní hosting od LLM EU. Pro rozhovor o on-premise je správnými dveřmi stránka pro podniky a je poctivé, že takové uspořádání zatím neexistuje.

Často kladené otázky