Szabályzatok
A szabályzatobjektum, amely meghatározza, hogy egy szervezet mit hívhat, hol futhat és mit költhet, mezőnként.
A szabályzat szervezetenként tárolódik, és minden inferenciakérésnél beolvasásra kerül. Az alapértelmezések a biztonságosak: EU-tulajdonú vagy EU-régiós hosting, nulla megőrzés, csak nyilvános és belső adatok, kötelező nyomkövetés.
Mezők
| Mező | Tárolás | Alapértelmezés | Mit dönt el |
|---|---|---|---|
| residency_allowed | JSON array | ["eu_owned_eu_operated","eu_region_of_non_eu_parent"] | Mely hostingosztályokkal rendelkezhet egy végpont. Szűrő, nem preferencia: a listán kívüli végpont soha nem kerül kiválasztásra. |
| providers_allow | JSON array | [] — any | Az üres bármely szolgáltatót jelent. A nem üres lista engedélyezési listává válik. |
| providers_deny | JSON array | [] | Szolgáltatók, amelyek soha nem használhatók; az engedélyezési lista előtt ellenőrizve. |
| models_allow | JSON array | [] — any | Az üres bármely modellt jelent. A nem üres lista engedélyezési listává válik. |
| models_deny | JSON array | [] | Modellek, amelyek soha nem használhatók. |
| max_usd_per_1m | REAL, nullable | null — no cap | A legmagasabb vegyes ár millió tokenenként, amibe egy végpont kerülhet. Efölötte a végpont elutasításra kerül. |
| max_usd_per_day | REAL, nullable | null — no cap | Napi költési felső határ a szervezet számára. Ennek elérése 402 budget_exceeded választ ad. |
| retention | TEXT | zero | Engedélyezett promptmegőrzés. Csak a nulla van implementálva: bármely más, a szabályzat által engedélyezett érték a kérés meghiúsulását eredményezi ahelyett, hogy tárolna valamit. |
| data_classes_allowed | JSON array | ["public","internal"] | Adatosztályok, amelyeket egy kérés deklarálhat. A listán kívüli osztály elutasításra kerül. |
| require_trace | INTEGER 0/1 | 1 | Azt szabályozza, hogy minden inferenciahívás hagy-e nyomkövetési sort. Nulla megőrzésnél a nyomkövetés metaadatokat tartalmaz, soha nem a prompt törzsét. |
| allow_partner_endpoints | INTEGER 0/1 | 0 | Azt szabályozza, hogy használhatók-e nem EU-s anyavállalat által üzemeltetett végpontok. Alapértelmezésben kikapcsolva. |
| json_logic | JSON, nullable | null | Egy jövőbeli egyéni szabály számára fenntartva. Ma semmi nem olvassa, így semmilyen döntést nem változtat. |
Melyik szabályzat alkalmazandó
Egy kérés megnevezhet egyet az llmeu.policy_id segítségével. Enélkül a szervezet alapértelmezett szabályzata érvényes. Egy másik szervezethez tartozó policy_id elutasításra kerül policy_not_found hibával, mert a keresés mindig arra a szervezetre korlátozódik, amelyhez a kulcs tartozik.
"llmeu": { "policy_id": "the-uuid-from-the-console" }Mivel az alapértelmezett szabályzat minden kulcsra érvényes, a szervezet adattárolási helyre vonatkozó ígéretét a hívó nem tudja kikerülni egy mező elhagyásával.
A szabályok végrehajtási sorrendje
Először a végpont típusa — a csak katalógusban szereplő bejegyzés minden más előtt elutasításra kerül —, majd az állapot, aztán a rezidenciaosztály és a régió, majd a szolgáltató- és modelllisták, végül a partner szabály, a látás, a kontextusméret és az ár. A teljes sorrend, az egyes lépések által előállított hibakóddal együtt, az útválasztási oldalon található.
Szerkesztés
A konzolban, vagy a PUT /platform/v1/policies/{id} hívással olyan kulccsal, amely platform_write jogosultsággal rendelkezik. A módosítás a következő kérésre érvényes; a már folyamatban lévő kérés megtartja azt a szabályzatot, amellyel elindult.