Question 1

Къде се обработват подканите и отговорите?

Accepted Answer

На крайната точка, която рутерът избира, която е посочен регион, и отговорът ви казва кой: блокът llmeu при всяко завършване носи inference_region, endpoint_id и sovereignty_class. Стойност за местоположение във вашата политика ограничава този набор преди избора; тя се прилага като филтър, а не като предпочитание, и catalogue_unknown никога не е маршрутизируем. Две ограничения на това изречение. Първо, редовете за региони са конфигурационни данни, а не доказателство за работещи машини или потвърдени договори с оператори — документът за местоположение го казва със собствените си думи и ние го повтаряме тук, а не само там. Второ, в това внедряване няма GPU капацитет от първа страна: заявките се обслужват от крайните точки, записани в каталога, а модел без жива крайна точка е само в каталога, така че заявка за него се отказва по име, вместо да бъде обслужена от заместител. Вижте „Какво се случва, ако няма GPU?“ по-долу. API, който прави това, е Node процес, а не част от този статичен сайт — самият llmeu.com отговаря на страници, не обработва заявки.

Question 2

Съхраняват ли се подканите и отговорите?

Accepted Answer

Не. Телата на промптите и завършванията не се записват в базата данни. Всяко извикване съхранява метаданни — поискан и използван модел, версия, крайна точка, регион, клас на суверенитет, причината на рутера, брой токени, латентност, цена, статус — и полето prompt_stored на реда е 0. Двете колони за тела съществуват в схемата и са null. Прилагането е в код, не в текст на политика: заявка, чието ефективно задържане е нещо различно от нула, се отказва, с 403 retention_exceeds_policy, ако иска повече, отколкото позволява вашата политика, и 501 retention_not_implemented, ако е позволено, но не е реализирано. Политиките могат да съхраняват 24h, 7d или 30d като избори; съхраняването на избора не прави възможно съхраняването на тялото. Ако проследяване някога покаже prompt_stored различно от 0, това е отговорът на една страница на „какво задържахте“ — и можете да го проверите сами с jq, както показва страницата с доказателства.

Question 3

Обучавате ли върху клиентски данни?

Accepted Answer

Не — нищо в този продукт не е в състояние да го прави. Няма път в кода за обучение или фина настройка в API, уеб процеса, рутера или споделените пакети. API оркестрира заявка към бекенд и я измерва; няма поглъщане на набори от данни, няма хранилище за корпус и няма задача за фина настройка. Телата на промптите и завършванията не се записват в базата данни, така че няма дори съхранен корпус, върху който да се обучава. Това е твърдение за нашия код, не за обучителните данни на всеки модел при неговия доставчик. Моделите, които са били обучени върху данни на други хора или разкриват обучителните си данни, са описани на собствените си карти, с източници, а някои от тези карти казват, че обучителните данни не са публикувани.

Question 4

Какво се случва, когато нито една крайна точка не удовлетворява политиката ми за резидентност?

Accepted Answer

Заявката се проваля. Не се понижава до близък регион и не се изпраща другаде: 409 no_endpoint_for_policy, с причината в тялото на грешката и изключените крайни точки, посочени в проследяването. Резидентността се прилага преди оценяването и превключването при отказ се движи само в набора, който рутерът вече е филтрирал — затова повторен опит не може тихо да избегне зададеното от вас правило. Кодът го казва в едно изречение: „Нито една крайна точка не удовлетворява резидентност {x}. Резидентността никога не се отпуска тихо.“ Какво да направите: посочете регион или клас, който политиката ви позволява, разширете политиката съзнателно (решение, със запис в дневника на промените), или приемете, че за този модел при това правило няма маршрут. 409 означава, че продуктът работи както е проектиран; режимът на отказ, който предотвратява, е заявка, която е „успяла“ някъде, където не сте позволили.

Question 5

Това съвместимо ли е с GDPR или сертифицирано?

Accepted Answer

Не — и няма да го твърдим: нито „съвместимо с AI Act“, нито „сертифицирано“, нито „официално от ЕС“. LLM EU е частна компания, не институция на ЕС и не орган за оценяване на съответствието. „Проверено“ тук означава документирано, не юридически сертифицирано: контролен списък за разкриване, оценяван по това дали дадена карта посочва резидентността, доставчика, версията, задържането, подизпълнителите и лиценза си, с връзки. Това, което платформата прави, е изразено с термини, към които кодът може да бъде държан отговорен: нулево задържане, наложено в код; API ключове, съхранявани като scrypt хешове и показвани веднъж; всяка клиентска заявка, ограничена по идентификатор на организация; ограничения на честотата на IP, ключ и организация; телата на заявките с таван и валидирани. Работата по сигурността и правните документи имат отделни страници.

Question 6

API съвместим ли е с OpenAI и какво променя клиентът?

Accepted Answer

Базовият URL и нищо друго. /v1/chat/completions приема официалната форма на заявката и връща официалната форма на отговора — choices, usage, стрийминг като SSE — така че официалните SDK работят, след като ги насочите към нас. Допълнителните полета в тялото се игнорират, вместо да се отхвърлят, така че по-нов SDK не може да счупи по-стар маршрут. Добавеното е незадължително и допълващо: обект llmeu с пространство от имена в заявката (residency, task, retention, data_class, policy_id, max_usd_per_1m, allow_partners) и блок llmeu в отговора, носещ trace_id, model_used, model_version, provider, endpoint_id, inference_region, sovereignty_class, route_reason, policy_id, retention и оценки на разходите. Умишлено не се предлагат: /v1/completions (501), n > 1 (400), embeddings, освен ако в момента не се хоства модел за embeddings. Блокът llmeu може да получава нови полета; премахването на поле би било промяна, нарушаваща съвместимостта, и ще се появи в дневника на промените.

Question 7

Какво се случва, ако няма GPU?

Accepted Answer

Рутерът обслужва каквито активни крайни точки записва каталогът, и всеки отговор посочва крайната точка, региона и класа на суверенитет, които са отговорили. Модел без активна крайна точка е само в каталога: заявка за него се отказва по име, вместо да бъде отговорено от заместител. Капацитетът от първа страна изисква конфигуриран пул (VLLM_BASE_URL, след това флагът gpu_enabled); докато такъв не съществува, капацитетът е каквото записват редовете на крайните точки, а страниците казват кой е той. GET /readyz отчита кои бекенди са налични, и готовността не се удовлетворява от ред за крайна точка, който казва up — управлявана среда за изпълнение трябва действително да отчита healthy, защото цялата цел на тази проверка е да хване възел, чиито тегла още се зареждат. Регистърът на бекендите отказва да замени една среда за изпълнение с друга; вместо това хвърля грешка. Честното резюме е неудобно и си струва да се каже направо: това внедряване няма GPU, така че извикване тук е демонстрация на pipeline-а, не изпълнение на модел. Успех от заместител би бил успех по мрежата и нищо повече, затова никога не се представя като истинско изпълнение на модел.

Question 8

Какво означава карта на модел, отбелязана с catalogue_only?

Accepted Answer

Това означава, че включваме модела в каталога и не го обслужваме. Картата е референтна информация — доставчик, лиценз, контекстен прозорец, къде казва доставчикът, че работи, източници за всяка цифра — и нито една крайна точка на LLM EU не отговаря за него. Попитайте API за него и получавате 404 hosted_unavailable, с бележката „само в каталога — още не се хоства на LLM EU“; страница за него не цитира цена, защото цена за нещо, което никой не може да извика, е твърдение без нищо зад него. Заявките към този модел отиват директно при неговия доставчик, при собствените условия на този доставчик, и картата на модела казва точно това. Обратната значка също не е по-силно обещание: модел, който хостваме, се хоства в посочен регион с посочен клас на суверенитет и това е твърдението, което можете да проверите в проследяването. Нито една от двете значки не е декларация за съответствие.

Question 9

Как работят ценообразуването и кредитът днес?

Accepted Answer

Цените са на милион токени на вход и изход, съхранявани за всяка крайна точка и показани на страницата с цени и на картите на моделите, в EUR, изведени от един публикуван курс към USD; самият регистър съхранява USD micros и записва курса във всеки ред, така че минала фактура може да бъде възстановена точно. Всяко завършване връща cost_estimate_usd и cost_estimate_eur, а проследяването записва цената и в двете. Ограниченията на политиката — таван на милион и дневен таван — се проверяват преди маршрутизиране, така че заявка над бюджета се отказва, а не се изпълнява. Картовите плащания не са включени в това внедряване и нищо не добавя кредит автоматично: още няма пускане на фактури и няма операторски път за кредит. Конзолата показва какво е изразходвано и какво остава. Ако флагът stripe_enabled бъде включен, обработчикът на кредит приема подадена сума, без да проверява дали е извършено плащане — затова флагът трябва да остане изключен, докато проверката на плащанията не бъде реализирана и тествана, и затова казваме това тук, вместо да предлагаме бутон за плащане.

Question 10

Можем ли да го хостваме сами?

Accepted Answer

Не чрез нищо, което предлагаме днес. Няма разпространение за самостоятелно хостване: няма контейнерен образ, няма инсталатор, няма лиценз за локална инсталация, няма договор за поддръжка за работа с това във вашата среда и това хранилище не се предлага като поддържано внедряване. Екипният интерфейс на конзолата съществува, но ролите в организацията не са пълен контрол на достъпа, базиран на роли, и това е документирано, а не премълчано. Това, което каталогът съдържа, е клас за резидентност, наречен on_prem_customer — „моделът работи във инфраструктура, контролирана от клиента“ — и това е класификация на собствеността и експлоатацията на една крайна точка, не предложение от нас. Много от моделите в каталога публикуват отворени тегла, а лицензите им (някои некомерсиални, някои само за изследвания) са на картите с връзка, така че можете да прецените дали да ги стартирате сами; това е решение за чужди тегла и чужд лиценз, не продукт за самостоятелно хостване от LLM EU. За разговор за локална инсталация правилната врата е страницата за предприятия, и е честно, че такава договорка още не съществува.

Често задавани въпроси