Politike
Objekt politike koji odlučuje što organizacija može pozvati, gdje se može izvršavati i što može potrošiti, polje po polje.
Pravila se pohranjuju po organizaciji i čitaju se pri svakom zahtjevu za inferenciju. Zadane vrijednosti su sigurne: hosting u EU vlasništvu ili EU regiji, nulta retencija, samo javni i interni podaci, obavezan trag.
Polja
| Polje | Pohrana | Zadano | Što određuje |
|---|---|---|---|
| residency_allowed | JSON array | ["eu_owned_eu_operated","eu_region_of_non_eu_parent"] | Koje klase hostinga endpoint može imati. Filter, a ne preferencija: endpoint izvan popisa nikada se ne bira. |
| providers_allow | JSON array | [] — any | Prazno znači bilo koji pružatelj. Neprazan popis postaje popis dopuštenih. |
| providers_deny | JSON array | [] | Pružatelji koji se nikada ne smiju koristiti, provjeravaju se prije popisa dopuštenih. |
| models_allow | JSON array | [] — any | Prazno znači bilo koji model. Neprazan popis postaje popis dopuštenih. |
| models_deny | JSON array | [] | Modeli koji se nikada ne smiju koristiti. |
| max_usd_per_1m | REAL, nullable | null — no cap | Najviša kombinirana cijena po milijunu tokena koju endpoint može koštati. Iznad nje, endpoint se odbija. |
| max_usd_per_day | REAL, nullable | null — no cap | Dnevni gornji limit potrošnje za organizaciju. Kada se dosegne, odgovara se 402 budget_exceeded. |
| retention | TEXT | zero | Dopušteno zadržavanje upita. Implementirana je samo nula: bilo koja druga vrijednost koju pravila dopuštaju čini da zahtjev ne uspije umjesto da pohrani nešto. |
| data_classes_allowed | JSON array | ["public","internal"] | Klase podataka koje zahtjev može deklarirati. Klasa izvan ovog popisa se odbija. |
| require_trace | INTEGER 0/1 | 1 | Ostavlja li svaki poziv inferencije redak traga. Pri nultoj retenciji trag sadrži metapodatke, nikada tijelo upita. |
| allow_partner_endpoints | INTEGER 0/1 | 0 | Mogu li se koristiti endpointi kojima upravlja matična kompanija izvan EU. Prema zadanim postavkama isključeno. |
| json_logic | JSON, nullable | null | Rezervirano za buduće prilagođeno pravilo. Danas ga ništa ne čita, pa ne mijenja nijednu odluku. |
Koja se pravila primjenjuju
Zahtjev može navesti jedno s llmeu.policy_id. Bez toga, primjenjuju se zadana pravila organizacije. policy_id koji pripada drugoj organizaciji odbija se s policy_not_found, jer je pretraživanje uvijek ograničeno na organizaciju kojoj ključ pripada.
"llmeu": { "policy_id": "the-uuid-from-the-console" }Budući da se zadana pravila primjenjuju na svaki ključ, obećanje o rezidentnosti organizacije nije nešto što pozivatelj može izbjeći izostavljanjem polja.
Redoslijed izvršavanja pravila
Prvo vrsta endpointa — unos samo iz kataloga odbija se prije svega ostalog — zatim status, zatim klasa rezidentnosti i regija, zatim popisi pružatelja i modela, zatim pravilo partnera, vid, veličina konteksta i cijena. Cijeli slijed, s kodom pogreške koji svaki korak proizvodi, nalazi se na stranici usmjeravanja.
Uređivanje
U konzoli ili s PUT /platform/v1/policies/{id} koristeći ključ koji nosi platform_write. Promjena se primjenjuje na sljedeći zahtjev; zahtjev koji je već u tijeku zadržava pravila pod kojima je započeo.