Zásady
Objekt zásady, který rozhoduje o tom, co organizace může volat, kde může běžet a co může utratit, pole po poli.
Zásada se ukládá pro každou organizaci a čte se u každého požadavku na inference. Výchozí hodnoty jsou bezpečné: hosting ve vlastnictví EU nebo v regionu EU, nulová retence, pouze veřejná a interní data, vyžadována stopa.
Pole
| Pole | Úložiště | Výchozí | Co určuje |
|---|---|---|---|
| residency_allowed | JSON array | ["eu_owned_eu_operated","eu_region_of_non_eu_parent"] | Jaké třídy hostingu může endpoint mít. Filtr, ne preference: endpoint mimo seznam se nikdy nevybere. |
| providers_allow | JSON array | [] — any | Prázdné znamená jakýkoli poskytovatel. Neprázdný seznam se stane seznamem povolených. |
| providers_deny | JSON array | [] | Poskytovatelé, kteří nesmějí být nikdy použiti, kontrolováno před seznamem povolených. |
| models_allow | JSON array | [] — any | Prázdné znamená jakýkoli model. Neprázdný seznam se stane seznamem povolených. |
| models_deny | JSON array | [] | Modely, které nesmějí být nikdy použity. |
| max_usd_per_1m | REAL, nullable | null — no cap | Nejvyšší kombinovaná cena za milion tokenů, kterou může endpoint stát. Nad ní je endpoint odmítnut. |
| max_usd_per_day | REAL, nullable | null — no cap | Denní strop útraty pro organizaci. Při dosažení odpovídá 402 budget_exceeded. |
| retention | TEXT | zero | Povolená retence promptu. Implementována je jen nula: jakákoli jiná hodnota, kterou zásada povolí, způsobí selhání požadavku, místo aby se něco uložilo. |
| data_classes_allowed | JSON array | ["public","internal"] | Datové třídy, které může požadavek deklarovat. Třída mimo tento seznam je odmítnuta. |
| require_trace | INTEGER 0/1 | 1 | Zda každé volání inference zanechává řádek stopy. Při nulové retenci stopa obsahuje metadata, nikdy tělo promptu. |
| allow_partner_endpoints | INTEGER 0/1 | 0 | Zda smějí být použity endpointy provozované mateřskou společností mimo EU. Ve výchozím stavu vypnuto. |
| json_logic | JSON, nullable | null | Vyhrazeno pro budoucí vlastní pravidlo. Dnes ho nic nečte, takže nemění žádné rozhodnutí. |
Která zásada se použije
Požadavek může určit jednu pomocí llmeu.policy_id. Bez něj se použije výchozí zásada organizace. policy_id, který patří jiné organizaci, je odmítnut s policy_not_found, protože vyhledávání je vždy omezeno na organizaci, ke které klíč patří.
"llmeu": { "policy_id": "the-uuid-from-the-console" }Protože se výchozí zásada vztahuje na každý klíč, slib organizace ohledně rezidence není něco, z čeho se volající může vyvázat vynecháním pole.
Pořadí, v jakém se pravidla spouštějí
Nejprve druh endpointu — položka pouze v katalogu je odmítnuta před čímkoli jiným — potom stav, potom třída rezidence a region, potom seznamy poskytovatelů a modelů, potom pravidlo partnera, vision, velikost kontextu a cena. Celá posloupnost včetně kódu selhání, který každý krok vytvoří, je na stránce směrování.
Úpravy
V konzoli nebo pomocí PUT /platform/v1/policies/{id} s klíčem, který nese platform_write. Změna se použije na další požadavek; požadavek, který již běží, si ponechá zásadu, se kterou začal.