Politiky
Objekt politiky, který rozhoduje o tom, co organizace může volat, kde může běžet a co může utratit, pole po poli.
Politika se ukládá pro každou organizaci a čte se při každém inferenčním požadavku. Výchozí hodnoty jsou bezpečné: hosting vlastněný v EU nebo v regionu EU, nulová retence, pouze veřejná a interní data, vyžadována stopa.
Pole
| Pole | Uložení | Výchozí | Co rozhoduje |
|---|---|---|---|
| residency_allowed | JSON array | ["eu_owned_eu_operated","eu_region_of_non_eu_parent"] | Které třídy hostingu může endpoint mít. Filtr, ne preference: endpoint mimo seznam se nikdy nevybere. |
| providers_allow | JSON array | [] — any | Prázdné znamená jakýkoli poskytovatel. Neprázdný seznam se stává seznamem povolených. |
| providers_deny | JSON array | [] | Poskytovatelé, kteří se nikdy nesmí použít; kontroluje se před seznamem povolených. |
| models_allow | JSON array | [] — any | Prázdné znamená jakýkoli model. Neprázdný seznam se stává seznamem povolených. |
| models_deny | JSON array | [] | Modely, které se nikdy nesmí použít. |
| max_usd_per_1m | REAL, nullable | null — no cap | Nejvyšší kombinovaná cena za milion tokenů, kterou může endpoint stát. Nad ní je endpoint odmítnut. |
| max_usd_per_day | REAL, nullable | null — no cap | Denní strop útraty pro organizaci. Při dosažení odpovídá 402 budget_exceeded. |
| retention | TEXT | zero | Povolená retence promptů. Implementována je pouze nula: jakákoli jiná hodnota, kterou politika povolí, způsobí selhání požadavku, místo aby se něco uložilo. |
| data_classes_allowed | JSON array | ["public","internal"] | Datové třídy, které může požadavek deklarovat. Třída mimo tento seznam je odmítnuta. |
| require_trace | INTEGER 0/1 | 1 | Zda každé inferenční volání zanechá řádek stopy. Při nulové retenci stopa obsahuje metadata, nikdy tělo promptu. |
| allow_partner_endpoints | INTEGER 0/1 | 0 | Zda se smí používat endpointy provozované mateřskou společností mimo EU. Ve výchozím stavu vypnuto. |
| json_logic | JSON, nullable | null | Vyhrazeno pro budoucí vlastní pravidlo. Dnes ho nic nečte, takže neovlivňuje žádné rozhodnutí. |
Která politika se použije
Požadavek může jednu uvést pomocí llmeu.policy_id. Pokud není uvedeno, použije se výchozí politika organizace. policy_id, které patří jiné organizaci, je odmítnuto s policy_not_found, protože vyhledávání je vždy omezeno na organizaci, jíž klíč patří.
"llmeu": { "policy_id": "the-uuid-from-the-console" }Protože se výchozí politika vztahuje na každý klíč, slib organizace ohledně umístění dat není něco, z čeho by se volající mohl vyvázat vynecháním pole.
Pořadí, v jakém pravidla běží
Nejprve druh endpointu — záznam pouze v katalogu je odmítnut před čímkoli jiným — poté stav, pak třída rezidence a region, poté seznamy poskytovatelů a modelů, pak pravidlo pro partnery, vidění, velikost kontextu a cena. Celý sled včetně kódu selhání, který každý krok vytvoří, je na stránce směrování.
Úpravy
V konzoli, nebo pomocí PUT /platform/v1/policies/{id} s klíčem, který nese platform_write. Změna se použije na další požadavek; požadavek již probíhající si zachová politiku, pod kterou začal.