Politiky
Objekt politiky, ktorý rozhoduje o tom, čo organizácia môže volať, kde môže bežať a čo môže minúť, pole po poli.
Politika sa ukladá pre každú organizáciu a číta sa pri každej inferenčnej požiadavke. Predvolené hodnoty sú bezpečné: hosťovanie vlastnené EÚ alebo v regióne EÚ, nulové uchovávanie, iba verejné a interné údaje, vyžaduje sa stopa.
Polia
| Pole | Úložisko | Predvolené | Čo určuje |
|---|---|---|---|
| residency_allowed | JSON array | ["eu_owned_eu_operated","eu_region_of_non_eu_parent"] | Aké triedy hosťovania môže mať koncový bod. Filter, nie preferencia: koncový bod mimo zoznamu sa nikdy nevyberie. |
| providers_allow | JSON array | [] — any | Prázdne znamená akéhokoľvek poskytovateľa. Neprázdny zoznam sa stáva zoznamom povolených. |
| providers_deny | JSON array | [] | Poskytovatelia, ktorí sa nikdy nesmú použiť, kontroluje sa pred zoznamom povolených. |
| models_allow | JSON array | [] — any | Prázdne znamená akýkoľvek model. Neprázdny zoznam sa stáva zoznamom povolených. |
| models_deny | JSON array | [] | Modely, ktoré sa nikdy nesmú použiť. |
| max_usd_per_1m | REAL, nullable | null — no cap | Najvyššia kombinovaná cena za milión tokenov, ktorú môže koncový bod stáť. Nad ňou sa koncový bod odmietne. |
| max_usd_per_day | REAL, nullable | null — no cap | Denný strop výdavkov pre organizáciu. Po jeho dosiahnutí sa odpovie 402 budget_exceeded. |
| retention | TEXT | zero | Povolené uchovávanie promptov. Implementovaná je iba nula: akákoľvek iná hodnota, ktorú politika povoľuje, spôsobí zlyhanie požiadavky namiesto uloženia čohokoľvek. |
| data_classes_allowed | JSON array | ["public","internal"] | Triedy údajov, ktoré môže požiadavka deklarovať. Trieda mimo tohto zoznamu sa odmietne. |
| require_trace | INTEGER 0/1 | 1 | Či každé inferenčné volanie zanechá riadok stopy. Pri nulovom uchovávaní stopa obsahuje metadata, nikdy telo promptu. |
| allow_partner_endpoints | INTEGER 0/1 | 0 | Či sa môžu používať koncové body prevádzkované materskou spoločnosťou mimo EÚ. Predvolene vypnuté. |
| json_logic | JSON, nullable | null | Vyhradené pre budúce vlastné pravidlo. Dnes ho nič nečíta, takže nemení žiadne rozhodnutie. |
Ktorá politika sa použije
Požiadavka môže uviesť jednu pomocou llmeu.policy_id. Bez nej sa použije predvolená politika organizácie. policy_id, ktoré patrí inej organizácii, sa odmietne s policy_not_found, pretože vyhľadávanie je vždy obmedzené na organizáciu, ktorej kľúč patrí.
"llmeu": { "policy_id": "the-uuid-from-the-console" }Keďže predvolená politika sa vzťahuje na každý kľúč, sľub organizácie o umiestnení údajov nie je niečo, čoho sa volajúci môže zbaviť vynechaním poľa.
Poradie, v ktorom sa pravidlá vykonávajú
Najprv druh koncového bodu — záznam iba z katalógu sa odmietne pred čímkoľvek iným — potom stav, potom trieda umiestnenia a región, potom zoznamy poskytovateľov a modelov, potom pravidlo o partneroch, videnie, veľkosť kontextu a cena. Celá postupnosť s kódom zlyhania, ktorý vytvára každý krok, je na stránke smerovania.
Úprava
V konzole alebo pomocou PUT /platform/v1/policies/{id} s kľúčom, ktorý má platform_write. Zmena sa použije na ďalšiu požiadavku; požiadavka, ktorá už prebieha, si zachová politiku, pod ktorou začala.