Kako LLM-ovi rade u EU-u?

Hosting je svojstvo krajnje točke, a ne modela

"LLM radi u EU-u" nije svojstvo modela. To je svojstvo retka krajnje točke: zapisa koji kaže koja se verzija kojeg modela poslužuje, iz koje regije, od kojeg operatera, s kojim izvršnim okruženjem i kojom zabilježenom cijenom. Iste se težine mogu posluživati iz Frankfurta, iz EU regije nekog hyperscalera ili izvan EU-a, a to su tri različita odgovora na jedno pitanje.

Svaki model ovdje ima redak krajnje točke čak i kada ga ništa ne poslužuje. Model koji platforma ne može poslužiti nosi redak čija je vrsta catalogue_only, a engine za usmjeravanje odbacuje tu vrstu prije svakog drugog pravila. Takav je model označen kao catalogue only, a zahtjev za njim po imenu vraća 404 hosted_unavailable umjesto posluženog modela.

Četiri klase za vlasništvo, rad i lokaciju

Rezidencija se opisuje s četiri klase koje se namjerno ne mogu međusobno zamijeniti. Tvrtka iz EU-a koja posjeduje i vodi infrastrukturu u EU-u jedna je. Obrada u regiji EU-a čija matična tvrtka sjedi izvan EU-a druga je: lokacija je europska, ali jurisdikcija nije isključivo europska. Model koji radi unutar infrastrukture koju kontrolira korisnik treća je. Kataloški zapis bez inferencije četvrti je, a njegova lokacija obrade nije verificirana.

Nijedna od njih nije imunitet od zakonskih obveza otkrivanja podataka, i dokumentacija to izrijekom kaže. Klasa je klasifikacija koju možete provjeriti u retku, a ne pravni status, i razvrstava vlasništvo, rad i lokaciju umjesto da obećava ishod.

Praćene regije su Frankfurt i Berlin kojima upravlja LLM EU, Pariz kojim upravlja operater iz EU-a, plus dva zbirna zapisa: jedan za svako mjesto u vlasništvu EU-a i pod upravom EU-a i jedan za regiju EU-a u oblaku s matičnom tvrtkom izvan EU-a. Dodatni zapis pokriva brokersku površinu izvan EU-a, čija je država zabilježena kao XX jer broker koji usmjerava u mnoge jurisdikcije nije u jednoj, i koji zadana rezidencija odbija. Ti su retci konfiguracijski podaci, a ne dokaz da strojevi rade.

Što se događa sa zahtjevom

Poziv dolazi na krajnju točku kompatibilnu s OpenAI-jem, s bearer ključem. Router gradi skup kandidata iz redaka krajnjih točaka i filtrira: redak s oznakom catalogue only otpada; krajnja točka koja nije ni up ni degraded; ona čija klasa suverenosti nije ni u vašoj politici ni u rezidenciji koju ste tražili; ona u regiji izvan tog opsega; model koji ne može generirati tekst; popisi zabranjenih i dopuštenih pružatelja i modela; partnerske krajnje točke osim ako su dopuštene; modeli bez modaliteta vida na zahtjevu sa slikom; model čiji je dokumentirani kontekstni prozor manji od zbroja ulaznog i izlaznog proračuna; i cijena iznad vašeg ograničenja. Ono što preostane boduje se i pobjeđuje najviši rezultat, a izjednačenja se rješavaju nižom cijenom, zatim nižom zabilježenom latencijom, pa stabilnim id-em.

Kada filtar ne ostavi ništa, zahtjev pada s 409 no_endpoint_for_policy. To je pravilo koje radi, a ne prolazna greška: preusmjeravanje gradi svoj popis iz odluke koja je već filtrirana, a radi se najviše tri pokušaja, na 5xx ili nedostupnom pozadinskom sustavu, pri čemu se svaki pokušaj bilježi na tragu.

Što možete provjeriti nakon toga

Svaki odgovor navodi koji je model izvršen, njegovu verziju, id krajnje točke, regiju, klasu suverenosti, razlog usmjeravanja i primijenjeno zadržavanje. Razlog je rečenica, a ne kod: za zahtjev za kodiranje glasi otprilike "auto routing for task coding + residency eu-hosted + a model at a region (EU-owned, EU-operated); four endpoint(s) excluded; partner endpoints not allowed". Puni redak traga može se dohvatiti po id-u.

Zadržavanje je ono što ljudi prvo pitaju, a implementirani odgovor je uzak: nula je zadana vrijednost i jedini implementirani način rada. Tijela upita i dovršetaka nikada se ne zapisuju u bazu podataka i ti stupci ostaju null. Politika može pamtiti odabir od 24h, 7d ili 30d, što ne omogućuje pohranu; zahtjev iznad ograničenja vraća 403 retention_exceeds_policy, a svako dopušteno efektivno zadržavanje različito od nule vraća 501 retention_not_implemented. Trag je operativni zapis platforme o pozivu, a ne geolokacija i ne procjena bilo čega.

Pokretanje težina na vlastitim strojevima

Sustav je Node 22 bez ovisnosti u izvršnom okruženju i sa SQLiteom, pokrenut kao web proces, proces samo s API-jem ili radnik. Konfigurirani bazen za inferenciju pretvara kataloške retke u poslužene: operater deklarira koje modele bazen stvarno poslužuje i tek tada dio kataloga nosi tvrdnju o hostanju s retkom vllm krajnje točke u imenovanoj regiji. Nepostavljeno znači da nema pravog pozadinskog sustava, što je razvojna zadana vrijednost; mock tada odgovara u regiji koja se zove dev-mock i svaka stranica to kaže.

Licencni filtar je važan. Model ulazi u plan hostanja samo kada su njegove težine otvorene i njegova licencija dopušta komercijalno posluživanje; kartica čiji identifikator licencije kaže nekomercijalno, ili čija zabilježena ograničenja zabranjuju komercijalno posluživanje, ne odabire se, a operater koji navede takav model dobiva tvrdu grešku umjesto tihog preskakanja.

Neovisnost o jednom dobavljaču je i hardversko pitanje. Kontrolna točka od 7B ili 9B, poput Teuken 7B Instruct v0.6 ili EuroLLM 9B, stane na jedan akcelerator srednje klase, što je realna ulazna točka za težine na vlastitim strojevima. Mješavina eksperata od 123B s oko 12B aktivnih parametara, ili kontrolna točka od 675B, zahtijeva čvorove s više GPU-a čak i kvantizirana. Dobavljači objavljuju kvantizirane kontrolne točke za srednju razinu, a svaka je zaseban artefakt sa svojim kompromisima.

Što "europski LLM" znači, a što ne

Europski jezični model izgrađen je, financiran ili obučen s europskim jezicima kao ciljem. EuroLLM 9B pokriva svih 24 službena jezika EU-a i više, a razvio ga je konzorcij predvođen Lisabonom, s Edinburghom i Unbabelom kao partnerima. Teuken 7B proizašao je iz njemačkog javno financiranog projekta i bio je obučen na svih 24 službena jezika EU-a. Mistral je francuska tvrtka koja objavljuje modele s otvorenim težinama i licencirane modele. To što je model europski govori tko ga je izgradio i koje jezike cilja; ne govori gdje se zahtjev za inferenciju obrađuje, što je posao retka krajnje točke, i ne čini model boljim.

Najprije odredite granicu, a zatim provjerite da svaki sloj vašeg cjevovoda ostaje unutar nje. Dohvaćanje, ugrađivanje, rerangiranje i generiranje svako poseže za drugim modelom, i svaki je od tih poziva mjesto na kojem granica može puknuti dok poziv chata još izgleda ispravno. Zapišite je tamo gdje je kod može provesti, jer rezidencija koja živi samo u dokumentu politike je preferencija, a preferenciju router tiho popusti na loš dan.