Πολιτικές
Το αντικείμενο πολιτικής που καθορίζει τι μπορεί να καλέσει ένας οργανισμός, πού μπορεί να εκτελεστεί και τι μπορεί να ξοδέψει, πεδίο προς πεδίο.
Μια πολιτική αποθηκεύεται ανά οργανισμό και διαβάζεται σε κάθε αίτημα συμπερασμού. Οι προεπιλογές είναι οι ασφαλείς: φιλοξενία με ιδιοκτησία ΕΕ ή σε περιφέρεια ΕΕ, μηδενική διατήρηση, μόνο δημόσια και εσωτερικά δεδομένα, απαιτείται ίχνος.
Πεδία
| Πεδίο | Αποθήκευση | Προεπιλογή | Τι καθορίζει |
|---|---|---|---|
| residency_allowed | JSON array | ["eu_owned_eu_operated","eu_region_of_non_eu_parent"] | Ποιες κλάσεις φιλοξενίας μπορεί να έχει ένα endpoint. Ένα φίλτρο, όχι προτίμηση: ένα endpoint εκτός της λίστας δεν επιλέγεται ποτέ. |
| providers_allow | JSON array | [] — any | Κενό σημαίνει οποιοσδήποτε πάροχος. Μια μη κενή λίστα γίνεται λίστα επιτρεπόμενων. |
| providers_deny | JSON array | [] | Πάροχοι που δεν μπορούν ποτέ να χρησιμοποιηθούν, ελέγχονται πριν από τη λίστα επιτρεπόμενων. |
| models_allow | JSON array | [] — any | Κενό σημαίνει οποιοδήποτε μοντέλο. Μια μη κενή λίστα γίνεται λίστα επιτρεπόμενων. |
| models_deny | JSON array | [] | Μοντέλα που δεν μπορούν ποτέ να χρησιμοποιηθούν. |
| max_usd_per_1m | REAL, nullable | null — no cap | Η υψηλότερη μεικτή τιμή ανά εκατομμύριο tokens που μπορεί να κοστίζει ένα endpoint. Πάνω από αυτήν, το endpoint απορρίπτεται. |
| max_usd_per_day | REAL, nullable | null — no cap | Ημερήσιο ανώτατο όριο δαπάνης για τον οργανισμό. Όταν επιτευχθεί, απαντά 402 budget_exceeded. |
| retention | TEXT | zero | Επιτρεπόμενη διατήρηση prompt. Μόνο το μηδέν είναι υλοποιημένο: οποιαδήποτε άλλη τιμή επιτρέπει η πολιτική κάνει το αίτημα να αποτυγχάνει αντί να αποθηκεύσει κάτι. |
| data_classes_allowed | JSON array | ["public","internal"] | Κλάσεις δεδομένων που μπορεί να δηλώσει ένα αίτημα. Μια κλάση εκτός αυτής της λίστας απορρίπτεται. |
| require_trace | INTEGER 0/1 | 1 | Αν κάθε κλήση συμπερασμού αφήνει μια γραμμή ίχνους. Σε μηδενική διατήρηση, ένα ίχνος περιέχει μεταδεδομένα, ποτέ σώμα prompt. |
| allow_partner_endpoints | INTEGER 0/1 | 0 | Αν μπορούν να χρησιμοποιηθούν endpoints που λειτουργούνται από μητρική εκτός ΕΕ. Ανενεργό από προεπιλογή. |
| json_logic | JSON, nullable | null | Δεσμευμένο για μελλοντικό προσαρμοσμένο κανόνα. Τίποτα δεν το διαβάζει σήμερα, επομένως δεν αλλάζει καμία απόφαση. |
Ποια πολιτική εφαρμόζεται
Ένα αίτημα μπορεί να ορίσει μία με llmeu.policy_id. Χωρίς αυτό, εφαρμόζεται η προεπιλεγμένη πολιτική του οργανισμού. Ένα policy_id που ανήκει σε άλλον οργανισμό απορρίπτεται με policy_not_found, επειδή η αναζήτηση περιορίζεται πάντα στον οργανισμό στον οποίο ανήκει το κλειδί.
"llmeu": { "policy_id": "the-uuid-from-the-console" }Επειδή η προεπιλεγμένη πολιτική εφαρμόζεται σε κάθε κλειδί, η υπόσχεση φιλοξενίας ενός οργανισμού δεν είναι κάτι από το οποίο μπορεί να εξαιρεθεί ένας καλών παραλείποντας ένα πεδίο.
Η σειρά με την οποία εκτελούνται οι κανόνες
Πρώτα το είδος του endpoint — μια καταχώρηση μόνο καταλόγου απορρίπτεται πριν από οτιδήποτε άλλο — μετά η κατάσταση, μετά η κλάση φιλοξενίας και η περιοχή, μετά οι λίστες παρόχων και μοντέλων, μετά ο κανόνας συνεργατών, η όραση, το μέγεθος πλαισίου και η τιμή. Η πλήρης ακολουθία, με τον κωδικό αποτυχίας που παράγει κάθε βήμα, βρίσκεται στη σελίδα δρομολόγησης.
Επεξεργασία
Στην κονσόλα, ή με PUT /platform/v1/policies/{id} χρησιμοποιώντας ένα κλειδί που φέρει platform_write. Μια αλλαγή εφαρμόζεται στο επόμενο αίτημα· ένα αίτημα που είναι ήδη σε εξέλιξη διατηρεί την πολιτική με την οποία ξεκίνησε.