Title: Kako LLM-ovi rade u EU-u?
Canonical: https://llmeu.com/hr/learn/how-llms-run-in-the-eu/
Markdown mirror: https://llmeu.com/hr/learn/how-llms-run-in-the-eu.md
Machine-readable: https://llmeu.com/llms.txt (index) - https://llmeu.com/llms-full.txt (full catalogue) - https://llmeu.com/llms-catalogue.json

# Kako LLM-ovi rade u EU-u?

Model radi ondje gdje radi krajnja to%C4%8Dka, a redak bilje%C5%BEi njezinu regiju i klasu. Rezidencija je filtar koji se primjenjuje prije bodovanja: ako nijedna krajnja to%C4%8Dka ne zadovoljava rezidenciju, zahtjev vra%C4%87a 409 no_endpoint_for_policy.

## Hosting je svojstvo krajnje to%C4%8Dke, a ne modela

"LLM radi u EU-u" nije svojstvo modela. To je svojstvo retka krajnje to%C4%8Dke: zapisa koji ka%C5%BEe koja se verzija kojeg modela poslu%C5%BEuje, iz koje regije, od kojeg operatera, s kojim izvr%C5%A1nim okru%C5%BEenjem i kojom zabilje%C5%BEenom cijenom. Iste se te%C5%BEine mogu poslu%C5%BEivati iz Frankfurta, iz EU regije nekog hyperscalera ili izvan EU-a, a to su tri razli%C4%8Dita odgovora na jedno pitanje.

Svaki model ovdje ima redak krajnje to%C4%8Dke %C4%8Dak i kada ga ni%C5%A1ta ne poslu%C5%BEuje. Model koji platforma ne mo%C5%BEe poslu%C5%BEiti nosi redak %C4%8Dija je vrsta catalogue_only, a engine za usmjeravanje odbacuje tu vrstu prije svakog drugog pravila. Takav je model ozna%C4%8Den kao catalogue only, a zahtjev za njim po imenu vra%C4%87a 404 hosted_unavailable umjesto poslu%C5%BEenog modela.

## %C4%8Cetiri klase za vlasni%C5%A1tvo, rad i lokaciju

Rezidencija se opisuje s %C4%8Detiri klase koje se namjerno ne mogu me%C4%91usobno zamijeniti. Tvrtka iz EU-a koja posjeduje i vodi infrastrukturu u EU-u jedna je. Obrada u regiji EU-a %C4%8Dija mati%C4%8Dna tvrtka sjedi izvan EU-a druga je: lokacija je europska, ali jurisdikcija nije isklju%C4%8Divo europska. Model koji radi unutar infrastrukture koju kontrolira korisnik tre%C4%87a je. Katalo%C5%A1ki zapis bez inferencije %C4%8Detvrti je, a njegova lokacija obrade nije verificirana.

Nijedna od njih nije imunitet od zakonskih obveza otkrivanja podataka, i dokumentacija to izrijekom ka%C5%BEe. Klasa je klasifikacija koju mo%C5%BEete provjeriti u retku, a ne pravni status, i razvrstava vlasni%C5%A1tvo, rad i lokaciju umjesto da obe%C4%87ava ishod.

Pra%C4%87ene regije su Frankfurt i Berlin kojima upravlja LLM EU, Pariz kojim upravlja operater iz EU-a, plus dva zbirna zapisa: jedan za svako mjesto u vlasni%C5%A1tvu EU-a i pod upravom EU-a i jedan za regiju EU-a u oblaku s mati%C4%8Dnom tvrtkom izvan EU-a. Dodatni zapis pokriva brokersku povr%C5%A1inu izvan EU-a, %C4%8Dija je dr%C5%BEava zabilje%C5%BEena kao XX jer broker koji usmjerava u mnoge jurisdikcije nije u jednoj, i koji zadana rezidencija odbija. Ti su retci konfiguracijski podaci, a ne dokaz da strojevi rade.

## %C5%A0to se doga%C4%91a sa zahtjevom

Poziv dolazi na krajnju to%C4%8Dku kompatibilnu s OpenAI-jem, s bearer klju%C4%8Dem. Router gradi skup kandidata iz redaka krajnjih to%C4%8Daka i filtrira: redak s oznakom catalogue only otpada; krajnja to%C4%8Dka koja nije ni up ni degraded; ona %C4%8Dija klasa suverenosti nije ni u va%C5%A1oj politici ni u rezidenciji koju ste tra%C5%BEili; ona u regiji izvan tog opsega; model koji ne mo%C5%BEe generirati tekst; popisi zabranjenih i dopu%C5%A1tenih pru%C5%BEatelja i modela; partnerske krajnje to%C4%8Dke osim ako su dopu%C5%A1tene; modeli bez modaliteta vida na zahtjevu sa slikom; model %C4%8Diji je dokumentirani kontekstni prozor manji od zbroja ulaznog i izlaznog prora%C4%8Duna; i cijena iznad va%C5%A1eg ograni%C4%8Denja. Ono %C5%A1to preostane boduje se i pobje%C4%91uje najvi%C5%A1i rezultat, a izjedna%C4%8Denja se rje%C5%A1avaju ni%C5%BEom cijenom, zatim ni%C5%BEom zabilje%C5%BEenom latencijom, pa stabilnim id-em.

Kada filtar ne ostavi ni%C5%A1ta, zahtjev pada s 409 no_endpoint_for_policy. To je pravilo koje radi, a ne prolazna gre%C5%A1ka: preusmjeravanje gradi svoj popis iz odluke koja je ve%C4%87 filtrirana, a radi se najvi%C5%A1e tri poku%C5%A1aja, na 5xx ili nedostupnom pozadinskom sustavu, pri %C4%8Demu se svaki poku%C5%A1aj bilje%C5%BEi na tragu.

## %C5%A0to mo%C5%BEete provjeriti nakon toga

Svaki odgovor navodi koji je model izvr%C5%A1en, njegovu verziju, id krajnje to%C4%8Dke, regiju, klasu suverenosti, razlog usmjeravanja i primijenjeno zadr%C5%BEavanje. Razlog je re%C4%8Denica, a ne kod: za zahtjev za kodiranje glasi otprilike "auto routing for task coding + residency eu-hosted + a model at a region (EU-owned, EU-operated); four endpoint(s) excluded; partner endpoints not allowed". Puni redak traga mo%C5%BEe se dohvatiti po id-u.

Zadr%C5%BEavanje je ono %C5%A1to ljudi prvo pitaju, a implementirani odgovor je uzak: nula je zadana vrijednost i jedini implementirani na%C4%8Din rada. Tijela upita i dovr%C5%A1etaka nikada se ne zapisuju u bazu podataka i ti stupci ostaju null. Politika mo%C5%BEe pamtiti odabir od 24h, 7d ili 30d, %C5%A1to ne omogu%C4%87uje pohranu; zahtjev iznad ograni%C4%8Denja vra%C4%87a 403 retention_exceeds_policy, a svako dopu%C5%A1teno efektivno zadr%C5%BEavanje razli%C4%8Dito od nule vra%C4%87a 501 retention_not_implemented. Trag je operativni zapis platforme o pozivu, a ne geolokacija i ne procjena bilo %C4%8Dega.

## Pokretanje te%C5%BEina na vlastitim strojevima

Sustav je Node 22 bez ovisnosti u izvr%C5%A1nom okru%C5%BEenju i sa SQLiteom, pokrenut kao web proces, proces samo s API-jem ili radnik. Konfigurirani bazen za inferenciju pretvara katalo%C5%A1ke retke u poslu%C5%BEene: operater deklarira koje modele bazen stvarno poslu%C5%BEuje i tek tada dio kataloga nosi tvrdnju o hostanju s retkom vllm krajnje to%C4%8Dke u imenovanoj regiji. Nepostavljeno zna%C4%8Di da nema pravog pozadinskog sustava, %C5%A1to je razvojna zadana vrijednost; mock tada odgovara u regiji koja se zove dev-mock i svaka stranica to ka%C5%BEe.

Licencni filtar je va%C5%BEan. Model ulazi u plan hostanja samo kada su njegove te%C5%BEine otvorene i njegova licencija dopu%C5%A1ta komercijalno poslu%C5%BEivanje; kartica %C4%8Diji identifikator licencije ka%C5%BEe nekomercijalno, ili %C4%8Dija zabilje%C5%BEena ograni%C4%8Denja zabranjuju komercijalno poslu%C5%BEivanje, ne odabire se, a operater koji navede takav model dobiva tvrdu gre%C5%A1ku umjesto tihog preskakanja.

Neovisnost o jednom dobavlja%C4%8Du je i hardversko pitanje. Kontrolna to%C4%8Dka od 7B ili 9B, poput Teuken 7B Instruct v0.6 ili EuroLLM 9B, stane na jedan akcelerator srednje klase, %C5%A1to je realna ulazna to%C4%8Dka za te%C5%BEine na vlastitim strojevima. Mje%C5%A1avina eksperata od 123B s oko 12B aktivnih parametara, ili kontrolna to%C4%8Dka od 675B, zahtijeva %C4%8Dvorove s vi%C5%A1e GPU-a %C4%8Dak i kvantizirana. Dobavlja%C4%8Di objavljuju kvantizirane kontrolne to%C4%8Dke za srednju razinu, a svaka je zaseban artefakt sa svojim kompromisima.

## %C5%A0to "europski LLM" zna%C4%8Di, a %C5%A1to ne

Europski jezi%C4%8Dni model izgra%C4%91en je, financiran ili obu%C4%8Den s europskim jezicima kao ciljem. EuroLLM 9B pokriva svih 24 slu%C5%BEbena jezika EU-a i vi%C5%A1e, a razvio ga je konzorcij predvo%C4%91en Lisabonom, s Edinburghom i Unbabelom kao partnerima. Teuken 7B proiza%C5%A1ao je iz njema%C4%8Dkog javno financiranog projekta i bio je obu%C4%8Den na svih 24 slu%C5%BEbena jezika EU-a. Mistral je francuska tvrtka koja objavljuje modele s otvorenim te%C5%BEinama i licencirane modele. To %C5%A1to je model europski govori tko ga je izgradio i koje jezike cilja; ne govori gdje se zahtjev za inferenciju obra%C4%91uje, %C5%A1to je posao retka krajnje to%C4%8Dke, i ne %C4%8Dini model boljim.

Najprije odredite granicu, a zatim provjerite da svaki sloj va%C5%A1eg cjevovoda ostaje unutar nje. Dohva%C4%87anje, ugra%C4%91ivanje, rerangiranje i generiranje svako pose%C5%BEe za drugim modelom, i svaki je od tih poziva mjesto na kojem granica mo%C5%BEe puknuti dok poziv chata jo%C5%A1 izgleda ispravno. Zapi%C5%A1ite je tamo gdje je kod mo%C5%BEe provesti, jer rezidencija koja %C5%BEivi samo u dokumentu politike je preferencija, a preferenciju router tiho popusti na lo%C5%A1 dan.

## %C4%8Cesto postavljana pitanja

### Zna%C4%8Di li usmjeravanje u regiju EU-a da moji podaci ostaju u EU-u?

Rezidencija filtrira koje krajnje to%C4%8Dke smiju odgovoriti, a preusmjeravanje ne mo%C5%BEe iza%C4%87i iz filtriranog skupa, pa se zahtjev obra%C4%91uje ondje gdje ste tra%C5%BEili. Klasa opisuje vlasni%C5%A1tvo, rad i lokaciju; to je klasifikacija koju mo%C5%BEete provjeriti u retku, a ne pravno jamstvo protiv otkrivanja podataka, i dokumentacija to tako i ka%C5%BEe.

### %C5%A0to se dogodi ako nijedna krajnja to%C4%8Dka u EU-u ne odgovara mojem modelu?

Model naveden po imenu bez podobne krajnje to%C4%8Dke vra%C4%87a 409 no_endpoint_for_policy, odnosno 404 hosted_unavailable kada je model samo u katalogu. Router ne zamjenjuje model sli%C4%8Dnim i ne %C5%A1iri rezidenciju kako bi poziv uspio.

### Mogu li pokrenuti cijeli sustav na vlastitim poslu%C5%BEiteljima?

Da. Sustav je Node 22 bez ovisnosti u izvr%C5%A1nom okru%C5%BEenju i sa SQLiteom, s ulazima za web, samo API i radnika; konfigurirani bazen za inferenciju uz deklarirani popis poslu%C5%BEenih modela %C4%8Dini model stvarno hostanim, a do tada stranice govore da nije.

## Vidi tako%C4%91er: