Käytännöt
Käytäntöobjekti, joka päättää, mitä organisaatio saa kutsua, missä se saa suorittaa ja mitä se saa kuluttaa, kenttä kentältä.
Käytäntö tallennetaan organisaatiokohtaisesti ja luetaan jokaisella päättelypyynnöllä. Oletusarvot ovat turvalliset: EU-omisteinen tai EU-alueen hosting, nollasäilytys, vain julkinen ja sisäinen data, jälki vaaditaan.
Kentät
| Kenttä | Tallennus | Oletus | Mitä se päättää |
|---|---|---|---|
| residency_allowed | JSON array | ["eu_owned_eu_operated","eu_region_of_non_eu_parent"] | Mitkä hosting-luokat päätepisteellä voi olla. Suodatin, ei mieltymys: luettelon ulkopuolista päätepistettä ei koskaan valita. |
| providers_allow | JSON array | [] — any | Tyhjä tarkoittaa mitä tahansa tarjoajaa. Ei-tyhjä luettelo muuttuu sallittujen luetteloksi. |
| providers_deny | JSON array | [] | Tarjoajat, joita ei koskaan saa käyttää, tarkistetaan ennen sallittujen luetteloa. |
| models_allow | JSON array | [] — any | Tyhjä tarkoittaa mitä tahansa mallia. Ei-tyhjä luettelo muuttuu sallittujen luetteloksi. |
| models_deny | JSON array | [] | Mallit, joita ei koskaan saa käyttää. |
| max_usd_per_1m | REAL, nullable | null — no cap | Korkein yhdistetty hinta miljoonaa tokenia kohti, jonka päätepiste saa maksaa. Sen yläpuolella päätepiste hylätään. |
| max_usd_per_day | REAL, nullable | null — no cap | Organisaation päivittäinen kulukatto. Kun se saavutetaan, vastataan 402 budget_exceeded. |
| retention | TEXT | zero | Sallittu kehotteen säilytys. Vain nolla on toteutettu: mikä tahansa muu käytännön sallima arvo saa pyynnön epäonnistumaan sen sijaan, että jotain tallennettaisiin. |
| data_classes_allowed | JSON array | ["public","internal"] | Tietoluokat, joita pyyntö voi ilmoittaa. Luokan, joka ei ole tässä luettelossa, hylätään. |
| require_trace | INTEGER 0/1 | 1 | Jättääkö jokainen päättelykutsu jälkirivin. Nollasäilytyksessä jälki sisältää metatietoja, ei koskaan kehotteen sisältöä. |
| allow_partner_endpoints | INTEGER 0/1 | 0 | Saako EU:n ulkopuolisen emoyhtiön operoimia päätepisteitä käyttää. Oletuksena pois päältä. |
| json_logic | JSON, nullable | null | Varattu tulevalle mukautetulle säännölle. Mikään ei lue sitä tänään, joten se ei muuta mitään päätöstä. |
Mikä käytäntö on voimassa
Pyyntö voi nimetä yhden tunnisteella llmeu.policy_id. Ilman sitä organisaation oletuskäytäntö on voimassa. policy_id, joka kuuluu toiselle organisaatiolle, hylätään virheellä policy_not_found, koska haku kohdistuu aina organisaatioon, jolle avain kuuluu.
"llmeu": { "policy_id": "the-uuid-from-the-console" }Koska oletuskäytäntö koskee jokaista avainta, kutsuja ei voi jättäytyä pois organisaation sijoittumislupauksesta jättämällä kentän pois.
Järjestys, jossa säännöt suoritetaan
Ensin päätepisteen tyyppi — vain luettelossa oleva merkintä hylätään ennen muuta — sitten tila, sitten sijoittumisluokka ja alue, sitten tarjoaja- ja malliluettelot, sitten kumppanisääntö, visio, kontekstikoko ja hinta. Koko järjestys ja kunkin vaiheen tuottama virhekoodi ovat reitityssivulla.
Muokkaaminen
Konsolissa tai komennolla PUT /platform/v1/policies/{id} käyttämällä avainta, jolla on platform_write. Muutos tulee voimaan seuraavaan pyyntöön; jo käynnissä oleva pyyntö säilyttää käytännön, jonka alla se alkoi.