Házirendek
A házirend-objektum, amely mezőnként eldönti, hogy egy szervezet mit hívhat, hol futhat és mit költhet.
A szabályzat szervezetenként tárolódik, és minden következtetési kérésnél beolvasásra kerül. Az alapértelmezések a biztonságosak: EU-tulajdonú vagy EU-régiós hosting, nulla megőrzés, csak nyilvános és belső adatok, kötelező nyomvonal.
Mezők
| Mező | Tárolás | Alapértelmezés | Mit dönt el |
|---|---|---|---|
| residency_allowed | JSON array | ["eu_owned_eu_operated","eu_region_of_non_eu_parent"] | Mely hostingosztályokkal rendelkezhet egy végpont. Szűrő, nem preferencia: a listán kívüli végpont soha nem kerül kiválasztásra. |
| providers_allow | JSON array | [] — any | Az üres bármely szolgáltatót jelent. A nem üres lista engedélyezési listává válik. |
| providers_deny | JSON array | [] | Szolgáltatók, amelyek soha nem használhatók, az engedélyezési lista előtt ellenőrizve. |
| models_allow | JSON array | [] — any | Az üres bármely modellt jelent. A nem üres lista engedélyezési listává válik. |
| models_deny | JSON array | [] | Modellek, amelyek soha nem használhatók. |
| max_usd_per_1m | REAL, nullable | null — no cap | A legmagasabb vegyes ár millió tokenenként, amennyibe egy végpont kerülhet. Efölötte a végpont elutasításra kerül. |
| max_usd_per_day | REAL, nullable | null — no cap | A szervezet napi költési plafonja. Ennek elérésekor 402 budget_exceeded válasz érkezik. |
| retention | TEXT | zero | Engedélyezett prompt-megőrzés. Csak a nulla van megvalósítva: bármely más, a szabályzat által engedélyezett érték a kérés meghiúsulását okozza ahelyett, hogy tárolna valamit. |
| data_classes_allowed | JSON array | ["public","internal"] | Adatosztályok, amelyeket egy kérés deklarálhat. A listán kívüli osztály elutasításra kerül. |
| require_trace | INTEGER 0/1 | 1 | Hogy minden következtetési hívás hagy-e nyomvonal-sort. Nulla megőrzésnél a nyomvonal metaadatokat tartalmaz, soha nem a prompt törzsét. |
| allow_partner_endpoints | INTEGER 0/1 | 0 | Hogy használhatók-e nem EU-s anyavállalat által üzemeltetett végpontok. Alapértelmezésben kikapcsolva. |
| json_logic | JSON, nullable | null | Egy jövőbeli egyéni szabály számára fenntartva. Ma semmi nem olvassa, így egyetlen döntést sem változtat meg. |
Melyik szabályzat érvényes
Egy kérés megnevezhet egyet az llmeu.policy_id segítségével. Enélkül a szervezet alapértelmezett szabályzata érvényes. A másik szervezethez tartozó policy_id a policy_not_found hibával kerül elutasításra, mert a keresés mindig arra a szervezetre korlátozódik, amelyhez a kulcs tartozik.
"llmeu": { "policy_id": "the-uuid-from-the-console" }Mivel az alapértelmezett szabályzat minden kulcsra érvényes, egy szervezet régiós ígéretéből a hívó nem tud kilépni egy mező elhagyásával.
A szabályok futási sorrendje
Először a végpont típusa — a csak katalógusban szereplő bejegyzés minden más előtt elutasításra kerül —, majd az állapot, aztán a régiós osztály és régió, majd a szolgáltatói és modellisták, végül a partner szabály, a látás, a kontextusméret és az ár. A teljes sorrend, az egyes lépések által előállított hibakóddal együtt, az útvonalválasztás oldalán található.
Szerkesztés
A konzolban, vagy a PUT /platform/v1/policies/{id} hívással olyan kulccsal, amely platform_write jogosultsággal rendelkezik. A módosítás a következő kérésre érvényes; a már folyamatban lévő kérés azt a szabályzatot tartja meg, amellyel elindult.