Question 1

Gdje se obrađuju upiti i dovršeci?

Accepted Answer

Na krajnjoj točki koju odabere usmjerivač, a to je imenovana regija, i odgovor vam kaže koja: llmeu blok na svakom dovršetku nosi inference_region, endpoint_id i sovereignty_class. Vrijednost rezidentnosti u vašoj politici ograničava taj skup prije odabira; primjenjuje se kao filtar, a ne kao preferencija, i catalogue_unknown nikada nije usmjeriv. Dvije granice te rečenice. Prvo, reci regija su konfiguracijski podaci, a ne dokaz o pokrenutim strojevima ili potvrđenim ugovorima s operaterima — dokument o rezidentnosti to govori svojim riječima, a mi to ponavljamo ovdje, a ne samo tamo. Drugo, na ovoj implementaciji nema GPU kapaciteta prve strane: zahtjeve poslužuju krajnje točke koje bilježi katalog, a model bez aktivne krajnje točke samo je u katalogu, pa se zahtjev za njega odbija po imenu umjesto da odgovori zamjena. Vidi "Što se događa ako nema GPU-a?" u nastavku. API koji to radi je Node proces, nije dio ove statične stranice — llmeu.com sam odgovara stranicama, ne obrađuje zahtjeve.

Question 2

Čuvaju li se upiti i dovršeci?

Accepted Answer

Ne. Tijela upita i dovršetka ne zapisuju se u bazu podataka. Svaki poziv pohranjuje metapodatke — zatraženi i korišteni model, verziju, krajnju točku, regiju, klasu suverenosti, razlog usmjerivača, brojanje tokena, latenciju, trošak, status — a prompt_stored u retku je 0. Dva stupca za tijela postoje u shemi i null su. Provedba je kod, a ne proza pravila: zahtjev čija je efektivna retencija bilo što osim nule se odbija, s 403 retention_exceeds_policy ako traži više nego što vaša pravila dopuštaju i 501 retention_not_implemented ako je dopušteno ali nije implementirano. Pravila mogu pohraniti 24h, 7d ili 30d kao odabire; pohrana odabira ne omogućuje pohranu tijela. Ako trag ikada pokaže prompt_stored različit od 0, to je odgovor na jednoj stranici na "što ste zadržali" — i možete to sami provjeriti s jq, kao što pokazuje stranica s dokazima.

Question 3

Trenirate li na podacima korisnika?

Accepted Answer

Ne — ništa u ovom proizvodu nije u poziciji da to čini. Ne postoji putanja koda za treniranje ili fino podešavanje u API-ju, web procesu, usmjerivaču ili zajedničkim paketima. API orkestrira zahtjev prema pozadinskom sustavu i mjeri ga; nema unosa skupa podataka, nema pohrane korpusa i nema posla finog podešavanja. Tijela upita i dovršetka ne zapisuju se u bazu podataka, tako da čak nema pohranjenog korpusa za treniranje. To je izjava o našem kodu, a ne o uzvodnim podacima za treniranje svakog modela. Modeli koji su trenirani na podacima drugih ljudi, ili koji otkrivaju svoje podatke za treniranje, opisani su na vlastitim karticama, s izvorima, a neke od tih kartica kažu da podaci za treniranje nisu objavljeni.

Question 4

Što se događa kada nijedna krajnja točka ne zadovoljava moja pravila o rezidenciji?

Accepted Answer

Zahtjev ne uspijeva. Ne degradira se na obližnju regiju i ne šalje se nigdje drugdje: 409 no_endpoint_for_policy, s razlogom u tijelu pogreške i isključenim krajnjim točkama navedenim na tragu. Rezidencija se primjenjuje prije bodovanja, a prebacivanje u slučaju kvara uvijek se kreće samo unutar skupa koji je usmjerivač već filtrirao — zato ponovni pokušaj ne može tiho izbjeći pravilo koje ste postavili. Kod to kaže u jednoj rečenici: "Nijedna krajnja točka ne zadovoljava rezidenciju {x}. Rezidencija se nikad ne ublažava tiho." Što učiniti: navedite regiju ili klasu koju vaša pravila dopuštaju, proširite pravila namjerno (odluka, s unosom u dnevnik promjena) ili prihvatite da ne postoji ruta za taj model pod tim pravilom. 409 je proizvod koji radi kako je dizajniran; način kvara koji sprječava je zahtjev koji je "uspio" negdje gdje to niste dopustili.

Question 5

Je li ovo usklađeno s GDPR-om ili certificirano?

Accepted Answer

Ne — i nećemo: ne "u skladu s AI Act", ne "certificirano", ne "Službeno EU". LLM EU je privatna tvrtka, a ne institucija EU-a i nije tijelo za ocjenjivanje sukladnosti. "Provjereno" ovdje znači dokumentirano, a ne pravno certificirano: kontrolna lista za objavljivanje koja se ocjenjuje prema tome navodi li kartica svoju rezidenciju, pružatelja, verziju, retenciju, podizvođače i licencu, s poveznicama. Ono što platforma radi navedeno je u terminima koje kod može podržati: nulta retencija provedena, API ključevi pohranjeni kao scrypt hashovi i prikazani jednom, svaki upit korisnika ograničen na ID organizacije, ograničenja brzine po IP-u, po ključu i po organizaciji, tijela zahtjeva ograničena i validirana. Sigurnosni rad i pravni dokumenti imaju svaki svoju stranicu.

Question 6

Je li API kompatibilan s OpenAI-jem i što korisnik mijenja?

Accepted Answer

Osnovni URL i ništa drugo. /v1/chat/completions prihvaća službeni oblik zahtjeva i vraća službeni oblik odgovora — izbore, korištenje, strujanje kao SSE — tako da službeni SDK-ovi rade nakon što ih usmjerite na nas. Dodatna polja u tijelu se ignoriraju umjesto da se odbiju, tako da noviji SDK ne može slomiti stariju rutu. Ono što se dodaje je neobavezno i aditivno: imenski prostor llmeu objekta u zahtjevu (rezidencija, zadatak, retencija, data_class, policy_id, max_usd_per_1m, allow_partners) i llmeu blok u odgovoru koji nosi trace_id, model_used, model_version, provider, endpoint_id, inference_region, sovereignty_class, route_reason, policy_id, retenciju i procjene troškova. Ne nudi se, namjerno: /v1/completions (501), n > 1 (400), embeddings osim ako je model za ugrađivanje stvarno hostan. llmeu blok može dobiti polja; uklanjanje jednog bilo bi promjena koja prekida kompatibilnost i pojavilo bi se u dnevniku promjena.

Question 7

Što se događa ako nema GPU-a?

Accepted Answer

Usmjerivač poslužuje sve žive krajnje točke koje katalog bilježi, a svaki odgovor navodi krajnju točku, regiju i klasu suverenosti koja je odgovorila. Model bez žive krajnje točke je samo u katalogu: zahtjev za njega se odbija po imenu, a ne odgovara se zamjenom. Kapacitet prve strane treba konfigurirani bazen (VLLM_BASE_URL, zatim gpu_enabled zastavica); dok ne postoji, kapacitet je ono što bilježe retci krajnjih točaka, a stranice kažu koji je to. GET /readyz izvješćuje koji su pozadinski sustavi aktivni, a spremnost nije zadovoljena retkom krajnje točke koji kaže da je aktivan — upravljano izvršno okruženje mora stvarno izvijestiti da je zdravo, jer je cijela svrha te probe uhvatiti čvor čiji se utezi još učitavaju. Registar pozadinskih sustava odbija zamijeniti jedno izvršno okruženje drugim; umjesto toga baca iznimku. Iskreni sažetak je neugodan i vrijedi ga jasno navesti: ova implementacija nema GPU, tako da je poziv ovdje demonstracija cjevovoda, a ne pokretanje modela. Uspjeh zamjene bio bi uspjeh na žici i ništa više, zato se nikad ne predstavlja kao stvarno pokretanje modela.

Question 8

Što znači kartica modela označena s catalogue_only?

Accepted Answer

To znači da katalogiziramo model i ne poslužujemo ga. Kartica je referentna informacija — pružatelj, licenca, kontekstni prozor, gdje pružatelj kaže da se izvodi, izvori za svaki podatak — i nijedna LLM EU krajnja točka ne odgovara za njega. Zatražite ga od API-ja i dobit ćete 404 hosted_unavailable, s napomenom "samo katalog — još nije hostan na LLM EU"; stranica za njega ne navodi cijenu, jer cijena za nešto što nitko ne može pozvati je tvrdnja bez pokrića. Zahtjevi za taj model idu izravno njegovom pružatelju, pod uvjetima tog pružatelja, a kartica modela to točno kaže. Suprotna značka također nije jaće obećanje: model koji hostamo hostan je u imenovanoj regiji s imenovanom klasom suverenosti, i to je tvrdnja koju možete provjeriti na tragu. Nijedna značka nije izjava o sukladnosti.

Question 9

Kako danas funkcioniraju cijene i kredit?

Accepted Answer

Cijene su po milijunu tokena ulaznih i izlaznih, pohranjene po krajnjoj točki i prikazane na stranici s cijenama i karticama modela, u EUR, izvedene iz jedne objavljene tečajne liste USD; sama knjiga pohranjuje USD mikro i upisuje tečaj na svaki redak, tako da se prošli račun može točno rekonstruirati. Svaki dovršetak vraća cost_estimate_usd i cost_estimate_eur, a trag bilježi trošak u obje valute. Ograničenja pravila — ograničenje po milijunu i dnevno ograničenje — provjeravaju se prije usmjeravanja, tako da se zahtjev iznad proračuna odbija umjesto da se izvrši. Plaćanje karticom nije omogućeno u ovoj implementaciji i ništa automatski ne dodaje kredit: još nema izrade računa ni operaterskog puta za kredit. Konzola prikazuje što je potrošeno i što je ostalo. Ako se uključi zastavica stripe_enabled, obrađivač kredita prihvaća poslani iznos bez provjere da je plaćanje izvršeno — zato zastavica mora ostati isključena dok se provjera plaćanja ne implementira i testira, i zato to ovdje govorimo umjesto da nudimo gumb za plaćanje.

Question 10

Možemo li sami hostati?

Accepted Answer

Ne kroz bilo što što danas isporučujemo. Ne postoji samostalno hostana distribucija: nema slike kontejnera, nema instalatera, nema licence za on-premise, nema ugovora o podršci za pokretanje ovoga u vašem vlastitom okruženju, a ovaj repozitorij se ne nudi kao podržana implementacija. Timska površina konzole postoji, ali uloge organizacije nisu potpuna kontrola pristupa temeljena na ulogama, i to je dokumentirano umjesto da se prešuti. Ono što katalog nosi je klasa rezidencije zvana on_prem_customer — "model se izvodi unutar infrastrukture koju kontrolira korisnik" — i to je klasifikacija vlasništva i rada krajnje točke, a ne naša ponuda. Mnogi modeli u katalogu objavljuju otvorene utege, a njihove licence (neke nekomercijalne, neke samo za istraživanje) nalaze se na karticama s poveznicom, tako da možete procijeniti njihovo samostalno pokretanje; to je odluka o tuđim utezima i tuđoj licenci, a ne proizvod za samostalno hostanje od LLM EU. Za on-premise razgovor, stranica za poduzeća su prava vrata, i iskreno je da taj aranžman još ne postoji.

Često postavljana pitanja