Policyer
Policyobjektet som avgör vad en organisation får anropa, var den får köra och vad den får spendera, fält för fält.
En policy lagras per organisation och läses vid varje inferensbegäran. Standardvärdena är de säkra: EU-ägt eller EU-regionhosting, noll retention, endast offentlig och intern data, en spårning krävs.
Fält
| Fält | Lagring | Standard | Vad den avgör |
|---|---|---|---|
| residency_allowed | JSON array | ["eu_owned_eu_operated","eu_region_of_non_eu_parent"] | Vilka hostingklasser en endpoint får ha. Ett filter, inte en preferens: en endpoint utanför listan väljs aldrig. |
| providers_allow | JSON array | [] — any | Tomt betyder valfri leverantör. En icke-tom lista blir en tillåtlista. |
| providers_deny | JSON array | [] | Leverantörer som aldrig får användas, kontrolleras före tillåtlistan. |
| models_allow | JSON array | [] — any | Tomt betyder valfri modell. En icke-tom lista blir en tillåtlista. |
| models_deny | JSON array | [] | Modeller som aldrig får användas. |
| max_usd_per_1m | REAL, nullable | null — no cap | Högsta sammanvägda pris per miljon tokens som en endpoint får kosta. Över det avvisas endpointen. |
| max_usd_per_day | REAL, nullable | null — no cap | Dagligt utgiftstak för organisationen. När det nås svarar systemet 402 budget_exceeded. |
| retention | TEXT | zero | Tillåten prompt-retention. Endast noll är implementerat: varje annat värde som policyn tillåter gör att begäran misslyckas i stället för att lagra något. |
| data_classes_allowed | JSON array | ["public","internal"] | Dataklasser som en begäran får deklarera. En klass utanför listan avvisas. |
| require_trace | INTEGER 0/1 | 1 | Om varje inferensanrop lämnar en spårrad. Vid noll retention innehåller ett spår metadata, aldrig en prompttext. |
| allow_partner_endpoints | INTEGER 0/1 | 0 | Om endpoints som drivs av ett moderbolag utanför EU får användas. Avstängt som standard. |
| json_logic | JSON, nullable | null | Reserverat för en framtida anpassad regel. Inget läser det i dag, så det ändrar inget beslut. |
Vilken policy som gäller
En begäran kan ange en sådan med llmeu.policy_id. Utan den gäller organisationens standardpolicy. Ett policy_id som tillhör en annan organisation avvisas med policy_not_found, eftersom uppslagningen alltid är begränsad till organisationen som nyckeln tillhör.
"llmeu": { "policy_id": "the-uuid-from-the-console" }Eftersom standardpolicyn gäller för varje nyckel är en organisations residenslöfte inte något som en anropare kan välja bort genom att utelämna ett fält.
Ordningen reglerna körs i
Endpointtyp först – en post som bara finns i katalogen avvisas före allt annat – sedan status, sedan residensklass och region, sedan leverantörs- och modelllistorna, sedan partnerregeln, vision, kontextstorlek och pris. Hela sekvensen, med felkoden varje steg ger, finns på routningssidan.
Redigering
I konsolen, eller med PUT /platform/v1/policies/{id} med en nyckel som har platform_write. En ändring gäller nästa begäran; en begäran som redan pågår behåller policyn den startade med.