Πολιτικές
Το αντικείμενο πολιτικής που καθορίζει τι μπορεί να καλέσει ένας οργανισμός, πού μπορεί να εκτελεστεί και τι μπορεί να ξοδέψει, πεδίο προς πεδίο.
Μια πολιτική αποθηκεύεται ανά οργανισμό και διαβάζεται σε κάθε αίτημα συμπερασμού. Οι προεπιλογές είναι οι ασφαλείς: φιλοξενία με ιδιοκτησία ΕΕ ή σε περιφέρεια ΕΕ, μηδενική διατήρηση, μόνο δημόσια και εσωτερικά δεδομένα, απαιτείται ίχνος.
Πεδία
| Πεδίο | Αποθήκευση | Προεπιλογή | Τι καθορίζει |
|---|---|---|---|
| residency_allowed | JSON array | ["eu_owned_eu_operated","eu_region_of_non_eu_parent"] | Ποιες κλάσεις φιλοξενίας μπορεί να έχει ένα τελικό σημείο. Φίλτρο, όχι προτίμηση: ένα τελικό σημείο εκτός λίστας δεν επιλέγεται ποτέ. |
| providers_allow | JSON array | [] — any | Κενό σημαίνει οποιοσδήποτε πάροχος. Μια μη κενή λίστα γίνεται λίστα επιτρεπόμενων. |
| providers_deny | JSON array | [] | Πάροχοι που δεν επιτρέπεται να χρησιμοποιηθούν ποτέ, ελέγχονται πριν από τη λίστα επιτρεπόμενων. |
| models_allow | JSON array | [] — any | Κενό σημαίνει οποιοδήποτε μοντέλο. Μια μη κενή λίστα γίνεται λίστα επιτρεπόμενων. |
| models_deny | JSON array | [] | Μοντέλα που δεν επιτρέπεται να χρησιμοποιηθούν ποτέ. |
| max_usd_per_1m | REAL, nullable | null — no cap | Η υψηλότερη μικτή τιμή ανά εκατομμύριο tokens που μπορεί να κοστίζει ένα τελικό σημείο. Πάνω από αυτήν, το τελικό σημείο απορρίπτεται. |
| max_usd_per_day | REAL, nullable | null — no cap | Ημερήσιο ανώτατο όριο δαπάνης για τον οργανισμό. Όταν επιτευχθεί, η απάντηση είναι 402 budget_exceeded. |
| retention | TEXT | zero | Επιτρεπόμενη διατήρηση prompt. Μόνο το μηδέν έχει υλοποιηθεί: οποιαδήποτε άλλη τιμή που επιτρέπει η πολιτική προκαλεί αποτυχία του αιτήματος αντί να αποθηκεύσει κάτι. |
| data_classes_allowed | JSON array | ["public","internal"] | Κλάσεις δεδομένων που μπορεί να δηλώσει ένα αίτημα. Μια κλάση εκτός αυτής της λίστας απορρίπτεται. |
| require_trace | INTEGER 0/1 | 1 | Αν κάθε κλήση συμπερασμού αφήνει γραμμή ίχνους. Με μηδενική διατήρηση, ένα ίχνος περιέχει μεταδεδομένα, ποτέ σώμα prompt. |
| allow_partner_endpoints | INTEGER 0/1 | 0 | Αν μπορούν να χρησιμοποιηθούν τελικά σημεία που λειτουργούνται από μητρική εκτός ΕΕ. Ανενεργό από προεπιλογή. |
| json_logic | JSON, nullable | null | Δεσμευμένο για μελλοντικό προσαρμοσμένο κανόνα. Κανείς δεν το διαβάζει σήμερα, οπότε δεν αλλάζει καμία απόφαση. |
Ποια πολιτική εφαρμόζεται
Ένα αίτημα μπορεί να κατονομάσει μία με llmeu.policy_id. Χωρίς αυτό, εφαρμόζεται η προεπιλεγμένη πολιτική του οργανισμού. Ένα policy_id που ανήκει σε άλλον οργανισμό απορρίπτεται με policy_not_found, επειδή η αναζήτηση περιορίζεται πάντα στον οργανισμό στον οποίο ανήκει το κλειδί.
"llmeu": { "policy_id": "the-uuid-from-the-console" }Επειδή η προεπιλεγμένη πολιτική εφαρμόζεται σε κάθε κλειδί, η υπόσχεση διαμονής δεδομένων ενός οργανισμού δεν είναι κάτι από το οποίο μπορεί να εξαιρεθεί ο καλών παραλείποντας ένα πεδίο.
Η σειρά με την οποία εκτελούνται οι κανόνες
Πρώτα το είδος του τελικού σημείου — μια καταχώριση μόνο καταλόγου απορρίπτεται πριν από οτιδήποτε άλλο — μετά η κατάσταση, μετά η κλάση διαμονής και η περιοχή, μετά οι λίστες παρόχων και μοντέλων, μετά ο κανόνας συνεργατών, η όραση, το μέγεθος συμφραζομένων και η τιμή. Η πλήρης ακολουθία, με τον κωδικό αποτυχίας που παράγει κάθε βήμα, βρίσκεται στη σελίδα δρομολόγησης.
Επεξεργασία
Στην κονσόλα, ή με PUT /platform/v1/policies/{id} χρησιμοποιώντας ένα κλειδί που φέρει platform_write. Μια αλλαγή εφαρμόζεται στο επόμενο αίτημα· ένα αίτημα που βρίσκεται ήδη σε εξέλιξη διατηρεί την πολιτική με την οποία ξεκίνησε.