Question 1

Fejn jiġu pproċessati l-prompts u l-completions?

Accepted Answer

Fuq l-endpoint li jagħżel ir-router, li huwa reġjun imsemmi, u r-risposta tgħidlek liema: il-blokka llmeu fuq kull completion ġġorr inference_region, endpoint_id u sovereignty_class. Valur ta' residenza fil-politika tiegħek jikkostrinġi dak is-sett qabel l-għażla; jiġi applikat bħala filter, mhux bħala preferenza, u catalogue_unknown qatt mhu routable. Żewġ limiti fuq dik is-sentenza. L-ewwel, ir-ringieli tar-reġjuni huma data ta' konfigurazzjoni, mhux evidenza ta' magni li jaħdmu jew kuntratti tal-operatur ikkonfermati — id-dokument tar-residenza jgħid dan bil-kliem tiegħu stess, u aħna nirrepetuh hawn minflok biss hemm. It-tieni, f'dan id-deployment m'hemmx kapaċità GPU first-party: it-talbiet jiġu servuti mill-endpoints li jirreġistra l-katalgu, u mudell mingħajr endpoint ħaj huwa catalogue-only, għalhekk talba għalih tiġi rrifjutata b'isem minflok ma tiġi mwieġba minn stand-in. Ara “X'jiġri jekk m'hemmx GPU?” hawn taħt. L-API li tagħmel dan hija proċess Node, mhux parti minn dan is-sit statiku — llmeu.com innifsu jwieġeb paġni, ma jipproċessax talbiet.

Question 2

Il-prompts u l-completions jinżammu?

Accepted Answer

Le. Il-korpi tal-prompt u tal-completion mhumiex miktuba fid-database. Kull sejħa taħżen metadata — mudell mitlub u użat, verżjoni, endpoint, reġjun, klassi ta' sovranità, ir-raġuni tar-router, għadd ta' tokens, latenza, spiża, status — u l-prompt_stored tar-riga huwa 0. Iż-żewġ kolonni tal-body jeżistu fl-iskema u huma null. L-infurzar huwa kodiċi, mhux proża ta' policy: talba li r-retention effettiva tagħha hija xi ħaġa oħra għajr żero tiġi rrifjutata, b'403 retention_exceeds_policy jekk titlob aktar milli tippermetti l-policy tiegħek u 501 retention_not_implemented jekk tkun permessa iżda mhux implimentata. Il-policies jistgħu jaħżnu 24h, 7d jew 30d bħala għażliet; l-ħażna tal-għażla ma tippermettix l-ħażna tal-body. Jekk trace qatt juri prompt_stored għajr 0, dik hija t-tweġiba ta' paġna waħda għal 'x'żammejt' — u tista' tiċċekkjaha int stess b'jq, kif turi l-paġna tal-evidenza.

Question 3

Titħarrġu fuq data tal-klijenti?

Accepted Answer

Le — xejn f'dan il-prodott mhu f'pożizzjoni li jagħmel hekk. M'hemmx mogħdija ta' kodiċi għat-taħriġ jew fine-tuning fl-API, fil-proċess web, fir-router jew fil-packages kondiviżi. L-API torkestra talba lejn backend u tkejjelha; m'hemmx ingestjoni ta' dataset, m'hemmx maħżen ta' corpus u m'hemmx xogħol ta' fine-tune. Il-korpi tal-prompt u tal-completion mhumiex miktuba fid-database, għalhekk m'hemmx lanqas corpus maħżun biex titħarreġ fuqu. Dik hija stqarrija dwar il-kodiċi tagħna, mhux dwar id-data ta' taħriġ upstream ta' kull mudell. Mudelli li ġew imħarrġa fuq data ta' ħaddieħor, jew li jiżvelaw id-data ta' taħriġ tagħhom, huma deskritti fuq il-karti tagħhom stess, b'sorsi, u xi wħud minn dawk il-karti jgħidu li d-data ta' taħriġ mhijiex ippubblikata.

Question 4

X'jiġri meta ebda endpoint ma jissodisfa l-policy tar-residenza tiegħi?

Accepted Answer

It-talba tfalli. Mhijiex imniżżla għal reġjun fil-qrib, u mhijiex mibgħuta x'imkien ieħor: 409 no_endpoint_for_policy, bir-raġuni fil-body tal-iżball u l-endpoints esklużi msemmija fuq it-trace. Ir-residenza tiġi applikata qabel l-iskor, u l-failover jiċċaqlaq biss ġewwa s-sett li r-router diġà ffiltrat — u għalhekk retry ma jistax jaħrab bil-kwiet mir-regola li stabbilixxejt. Il-kodiċi jgħidha f'sentenza waħda: 'Ebda endpoint ma jissodisfa r-residenza {x}. Ir-residenza qatt mhija rilassata bil-kwiet.' X'tagħmel dwarha: semmi reġjun jew klassi li l-policy tiegħek tippermetti, wessa' l-policy deliberatament (deċiżjoni, b'entrata fil-changelog), jew aċċetta li ma teżistix rotta għal dak il-mudell taħt dik ir-regola. 409 huwa l-prodott jaħdem kif iddisinjat; il-modalità ta' falliment li jipprevjeni hija talba li 'rrexxiet' x'imkien li ma tajtx permess għalih.

Question 5

Dan huwa konformi mal-GDPR jew iċċertifikat?

Accepted Answer

Le — u mhux se nkunu: mhux 'konformi mal-AI Act', mhux 'iċċertifikat', mhux 'Official EU'. LLM EU hija kumpanija privata, mhix istituzzjoni tal-UE u mhix korp ta' valutazzjoni tal-konformità. 'Verified' hawn ifisser dokumentat, mhux iċċertifikat legalment: lista ta' kontroll ta' divulgazzjoni skurjata skont jekk karta tiddikjarax ir-residenza, il-fornitur, il-verżjoni, ir-retention, is-subprocessors u l-liċenzja tagħha, b'links. Dak li tagħmel il-pjattaforma huwa ddikjarat f'termini li l-kodiċi jista' jinżamm għalihom: retention żero infurzat, API keys maħżuna bħala scrypt hashes u murija darba, kull query tal-klijent skoperta bl-organisation id, limiti ta' rata per-IP, per-key u per-org, request bodies limitati u validati. Ix-xogħol tas-sigurtà u d-dokumenti legali għandhom kull wieħed il-paġna tiegħu.

Question 6

L-API hija kompatibbli ma' OpenAI, u x'jibdel klijent?

Accepted Answer

Il-base URL, u xejn aktar. /v1/chat/completions jaċċetta l-forma uffiċjali tat-talba u jirritorna l-forma uffiċjali tar-risposta — choices, usage, streaming bħala SSE — għalhekk l-SDKs uffiċjali jaħdmu wara li tindirizzahom lejna. Kampi extra fil-body huma injorati minflok miċħuda, għalhekk SDK aktar ġdid ma jistax ikisser rotta antika. Dak li huwa miżjud huwa fakultattiv u addittiv: oġġett llmeu namespaced fit-talba (residency, task, retention, data_class, policy_id, max_usd_per_1m, allow_partners) u blokk llmeu fir-risposta li jġorr trace_id, model_used, model_version, provider, endpoint_id, inference_region, sovereignty_class, route_reason, policy_id, retention u stimi tal-ispiża. Mhux offruti, deliberatament: /v1/completions (501), n > 1 (400), embeddings sakemm mudell ta' embedding ma jkunx attwalment ospitat. Il-blokk llmeu jista' jikseb kampi; it-tneħħija ta' wieħed tkun breaking change u tidher fil-changelog.

Question 7

X'jiġri jekk m'hemmx GPU?

Accepted Answer

Ir-router iservi kwalunkwe endpoint live li jirreġistra l-katalogu, u kull risposta ssemmi l-endpoint, ir-reġjun u l-klassi ta' sovranità li wieġbet. Mudell mingħajr endpoint live huwa catalogue-only: talba għalih tiġi rrifjutata b'isem minflok ma tiġi mwieġba minn stand-in. Kapaċità first-party teħtieġ pool ikkonfigurat (VLLM_BASE_URL, imbagħad il-flag gpu_enabled); sakemm jeżisti wieħed, il-kapaċità hija dak li jirreġistraw ir-rigi tal-endpoint, u l-paġni jgħidu liema hija. GET /readyz jirrapporta liema backends huma up, u r-readiness mhijiex sodisfatta minn riga ta' endpoint li tgħid up — runtime ġestit irid attwalment jirrapporta healthy, għax il-punt kollu ta' dik il-probe huwa li jaqbad node li l-piżijiet tiegħu għadhom qed jitgħabbu. Ir-reġistru tal-backend jirrifjuta li jissostitwixxi runtime ma' ieħor; minflok jitfa'. Is-sommar onest huwa skomdu u jistħoqqlu jingħad b'mod ċar: dan id-deployment m'għandux GPU, għalhekk sejħa hawn hija dimostrazzjoni tal-pipeline, mhux model run. Suċċess ta' stand-in ikun suċċess fuq il-wire u xejn aktar, u għalhekk qatt ma jiġi ppreżentat bħala model run reali.

Question 8

Xi tfisser karta tal-mudell immarkata catalogue_only?

Accepted Answer

Ifisser li nikkatalogaw il-mudell u ma nservuhx. Il-karta hija informazzjoni ta' referenza — fornitur, liċenzja, context window, fejn il-fornitur jgħid li jaħdem, sorsi għal kull figura — u ebda endpoint ta' LLM EU ma jwieġeb għalih. Staqsi lill-API għalih u tikseb 404 hosted_unavailable, bin-nota 'catalogue only — not hosted on LLM EU yet'; paġna għalih ma tikkwota ebda prezz, għax prezz għal xi ħaġa li ħadd ma jista' jsejjaħ hija claim bla xejn warajha. Talbiet lil dak il-mudell imorru għand il-fornitur tiegħu direttament, taħt it-termini tal-fornitur stess, u l-karta tal-mudell tgħid eżattament hekk. Il-badge oppost lanqas mhuwa wegħda aqwa: mudell li nospitaw huwa ospitat f'reġjun imsemmi b'klassi ta' sovranità msemmija, u dik hija l-claim li tista' tiċċekkja fuq it-trace. Ebda badge mhuwa stqarrija ta' konformità.

Question 9

Kif jaħdmu l-pricing u l-credit illum?

Accepted Answer

Il-prezzijiet huma għal kull miljun token in u out, maħżuna għal kull endpoint u murija fuq il-paġna tal-pricing u l-karti tal-mudelli, f'EUR, derivati minn rata USD waħda ppubblikata; il-ledger innifsu jaħżen micros USD u jikteb ir-rata fuq kull riga, għalhekk invoice tal-passat tista' tiġi rikostruwita eżattament. Kull completion jirritorna cost_estimate_usd u cost_estimate_eur, u trace jirreġistra l-ispiża fit-tnejn. Il-limiti tal-policy — cap per-miljun u cap ta' kuljum — jiġu ċċekkjati qabel ir-routing, għalhekk talba li taqbeż il-budget tiġi rrifjutata minflok ma titħaddem. Ħlas bil-karta mhuwiex attivat fuq dan id-deployment, u xejn ma jżid credit awtomatikament: għad m'hemmx invoice run u lanqas mogħdija ta' credit għall-operatur. Il-console juri x'intefaq u x'fadal. Jekk il-flag stripe_enabled jinxtegħel, il-handler tal-credit jaċċetta ammont mibgħut mingħajr ma jivverifika li seħħ ħlas — u għalhekk il-flag irid jibqa' mitfi sakemm il-verifika tal-ħlas tiġi implimentata u ttestjata, u għalhekk ngħidu dan hawn minflok ma noffru buttuna ta' checkout.

Question 10

Nistgħu nagħmlu self-host?

Accepted Answer

Mhux permezz ta' xi ħaġa li nipprovdu llum. M'hemmx distribuzzjoni self-hosted: ebda container image, ebda installer, ebda liċenzja on-premise, ebda kuntratt ta' appoġġ biex dan jitħaddem fl-estate tiegħek, u dan ir-repository mhuwiex offrut bħala deployment appoġġjat. Il-wiċċ team tal-console jeżisti, iżda r-rwoli tal-organization mhumiex role-based access control komplut, u dan huwa dokumentat minflok ma jiġi implikat li ma jeżistix. Dak li jġorr il-katalogu huwa klassi tar-residenza msejħa on_prem_customer — 'il-mudell jaħdem ġewwa infrastruttura li l-klijent jikkontrolla' — u hija klassifikazzjoni tas-sjieda u l-operat ta' endpoint, mhux offerta minna. Ħafna mill-mudelli fil-katalogu jippubblikaw open weights, u l-liċenzji tagħhom (xi wħud non-commercial, xi wħud research-only) jinsabu fuq il-karti b'link, sabiex tkun tista' tevalwa li tħaddimhom int stess; din hija deċiżjoni dwar piżijiet ta' ħaddieħor u liċenzja ta' ħaddieħor, mhux prodott self-hosting minn LLM EU. Għal konversazzjoni on-premise, il-paġna enterprise hija l-bieb it-tajjeb, u hija onesta li l-arranġament għadu ma jeżistix.

Mistoqsijiet frequenti