Politiky
Objekt politiky, ktorý rozhoduje o tom, čo organizácia môže volať, kde môže bežať a čo môže minúť, pole po poli.
Zásada sa ukladá pre každú organizáciu a číta sa pri každej požiadavke na inferenciu. Predvolené hodnoty sú bezpečné: hosting vo vlastníctve EÚ alebo v regióne EÚ, nulová retencia, iba verejné a interné údaje, vyžaduje sa stopa.
Polia
| Pole | Uloženie | Predvolené | Čo určuje |
|---|---|---|---|
| residency_allowed | JSON array | ["eu_owned_eu_operated","eu_region_of_non_eu_parent"] | Ktoré triedy hostingu môže mať koncový bod. Filter, nie preferencia: koncový bod mimo zoznamu sa nikdy nevyberie. |
| providers_allow | JSON array | [] — any | Prázdne znamená akéhokoľvek poskytovateľa. Neprázdny zoznam sa stáva zoznamom povolených. |
| providers_deny | JSON array | [] | Poskytovatelia, ktorí sa nesmú nikdy použiť; kontroluje sa pred zoznamom povolených. |
| models_allow | JSON array | [] — any | Prázdne znamená akýkoľvek model. Neprázdny zoznam sa stáva zoznamom povolených. |
| models_deny | JSON array | [] | Modely, ktoré sa nesmú nikdy použiť. |
| max_usd_per_1m | REAL, nullable | null — no cap | Najvyššia kombinovaná cena za milión tokenov, ktorú môže koncový bod stáť. Nad touto hodnotou sa koncový bod odmietne. |
| max_usd_per_day | REAL, nullable | null — no cap | Denný strop výdavkov pre organizáciu. Pri dosiahnutí odpovie 402 budget_exceeded. |
| retention | TEXT | zero | Povolená retencia promptu. Implementovaná je iba nulová: akákoľvek iná hodnota povolená zásadou spôsobí zlyhanie požiadavky, namiesto toho aby sa niečo uložilo. |
| data_classes_allowed | JSON array | ["public","internal"] | Triedy údajov, ktoré môže požiadavka deklarovať. Trieda mimo tohto zoznamu sa odmietne. |
| require_trace | INTEGER 0/1 | 1 | Či každé volanie inferencie zanechá riadok stopy. Pri nulovej retencii stopa obsahuje metadata, nikdy telo promptu. |
| allow_partner_endpoints | INTEGER 0/1 | 0 | Či sa môžu používať koncové body prevádzkované materskou spoločnosťou mimo EÚ. Predvolene vypnuté. |
| json_logic | JSON, nullable | null | Rezervované pre budúce vlastné pravidlo. Dnes ho nič nečíta, takže nemení žiadne rozhodnutie. |
Ktorá zásada sa uplatní
Požiadavka môže uviesť jednu pomocou llmeu.policy_id. Bez nej sa uplatní predvolená zásada organizácie. policy_id, ktoré patrí inej organizácii, sa odmietne s policy_not_found, pretože vyhľadávanie je vždy obmedzené na organizáciu, ktorej patrí kľúč.
"llmeu": { "policy_id": "the-uuid-from-the-console" }Keďže predvolená zásada sa uplatňuje na každý kľúč, sľub organizácie o umiestnení údajov nie je niečo, z čoho sa volajúci môže vyviať vynechaním poľa.
Poradie, v ktorom sa pravidlá vykonávajú
Najprv druh koncového bodu — záznam iba v katalógu sa odmietne pred všetkým ostatným — potom stav, potom trieda umiestnenia a región, potom zoznamy poskytovateľov a modelov, potom pravidlo partnerov, videnie, veľkosť kontextu a cena. Úplná postupnosť s kódom zlyhania, ktorý vytvára každý krok, je na stránke smerovania.
Úpravy
V konzole alebo pomocou PUT /platform/v1/policies/{id} s kľúčom, ktorý nesie platform_write. Zmena sa použije na ďalšiu požiadavku; požiadavka, ktorá už prebieha, si zachová zásadu, pod ktorou začala.