Πώς λειτουργούν τα LLM στην ΕΕ;

Η φιλοξενία είναι ιδιότητα ενός τελικού σημείου, όχι ενός μοντέλου

«Ένα LLM λειτουργεί στην ΕΕ» δεν είναι ιδιότητα ενός μοντέλου. Είναι ιδιότητα μιας γραμμής τελικού σημείου: μια εγγραφή που αναφέρει ποια έκδοση ποιου μοντέλου παρέχεται, από ποια περιοχή, από ποιον χειριστή, με ποιο runtime και με ποιον καταγεγραμμένο ρυθμό. Τα ίδια βάρη μπορούν να παρέχονται από τη Φρανκφούρτη, από μια περιοχή της ΕΕ ενός hyperscaler ή από εκτός ΕΕ, και αυτές είναι τρεις διαφορετικές απαντήσεις σε μία ερώτηση.

Κάθε μοντέλο εδώ έχει μια γραμμή τελικού σημείου ακόμα και όταν τίποτα δεν το εξυπηρετεί. Ένα μοντέλο που η πλατφόρμα δεν μπορεί να εξυπηρετήσει φέρει μια γραμμή της οποίας ο τύπος είναι catalogue_only, και η μηχανή δρομολόγησης απορρίπτει αυτόν τον τύπο πριν από οποιονδήποτε άλλο κανόνα. Ένα τέτοιο μοντέλο φέρει την ετικέτα catalogue only και η αναζήτησή του με το όνομα επιστρέφει 404 hosted_unavailable αντί για ένα εξυπηρετούμενο μοντέλο.

Τέσσερις κατηγορίες για την ιδιοκτησία, τη λειτουργία και την τοποθεσία

Η κατοικία περιγράφεται με τέσσερις κατηγορίες, σκόπιμα μη εναλλάξιμες. Μια εταιρεία της ΕΕ που κατέχει και λειτουργεί υποδομές στην ΕΕ είναι μία. Η επεξεργασία σε μια περιοχή της ΕΕ της οποίας η μητρική εταιρεία βρίσκεται εκτός ΕΕ είναι μια άλλη: η τοποθεσία είναι ευρωπαϊκή, η δικαιοδοσία όχι αποκλειστικά. Ένα μοντέλο που λειτουργεί εντός υποδομής που ελέγχει ο πελάτης είναι μια τρίτη. Μια καταχώριση καταλόγου χωρίς συμπεράσματα είναι η τέταρτη, και η τοποθεσία επεξεργασίας της είναι μη επαληθευμένη.

Καμία από αυτές δεν αποτελεί ασυλία από νομικές υποχρεώσεις αποκάλυψης, και η τεκμηρίωση το αναφέρει ρητά. Μια κατηγορία είναι μια ταξινόμηση που μπορείτε να ελέγξετε σε μια γραμμή, όχι ένα νομικό καθεστώς, και ταξινομεί την ιδιοκτησία, τη λειτουργία και την τοποθεσία αντί να υπόσχεται ένα αποτέλεσμα.

Οι παρακολουθούμενες περιοχές είναι η Φρανκφούρτη και το Βερολίνο που λειτουργούν από την LLM EU, το Παρίσι από έναν χειριστή της ΕΕ, συν δύο συλλογικές καταχωρίσεις, μία για οποιονδήποτε ιστότοπο της ΕΕ που ανήκει και λειτουργεί στην ΕΕ και μία για μια περιοχή της ΕΕ ενός μητρικού cloud εκτός ΕΕ. Μια περαιτέρω καταχώριση καλύπτει την επιφάνεια του μεσίτη εκτός ΕΕ, της οποίας η χώρα καταγράφεται ως XX επειδή ένας μεσίτης που δρομολογεί σε πολλές δικαιοδοσίες δεν βρίσκεται σε μία, και την οποία η προεπιλεγμένη κατοικία αρνείται. Αυτές οι γραμμές είναι δεδομένα διαμόρφωσης, όχι απόδειξη λειτουργίας μηχανών.

Τι συμβαίνει σε ένα αίτημα

Μια κλήση φτάνει σε ένα συμβατό με OpenAI τελικό σημείο με ένα κλειδί φορέα. Ο δρομολογητής δημιουργεί το σύνολο υποψηφίων από τις γραμμές τελικών σημείων και τα φίλτρα: μια γραμμή μόνο καταλόγου αποκλείεται· ένα τελικό σημείο που δεν είναι ούτε ενεργό ούτε υποβαθμισμένο· ένα του οποίου η κατηγορία κυριαρχίας δεν βρίσκεται ούτε στην πολιτική σας ούτε στην κατοικία που ζητήσατε· ένα σε μια περιοχή εκτός αυτού του πεδίου· ένα μοντέλο που δεν μπορεί να δημιουργήσει κείμενο· λίστες άρνησης και επιτρεπόμενων παρόχων και μοντέλων· τελικά σημεία συνεργατών εκτός αν επιτρέπεται· μοντέλα χωρίς την οπτική λειτουργία σε ένα αίτημα εικόνας· ένα μοντέλο του οποίου το τεκμηριωμένο παράθυρο είναι μικρότερο από το όριο εισόδου συν το όριο εξόδου· και μια τιμή πάνω από το ανώτατο όριό σας. Αυτό που επιβιώνει βαθμολογείται και η υψηλότερη βαθμολογία κερδίζει, με τις ισοπαλίες να σπάνε σε χαμηλότερη τιμή, μετά σε χαμηλότερη καταγεγραμμένη καθυστέρηση, μετά σε ένα σταθερό αναγνωριστικό.

Όταν το φίλτρο δεν αφήνει τίποτα, το αίτημα αποτυγχάνει με 409 no_endpoint_for_policy. Αυτός είναι ο κανόνας που λειτουργεί, όχι ένα παροδικό σφάλμα: η ανάκτηση δημιουργεί τη λίστα της από την απόφαση που είχε ήδη φιλτραριστεί, και γίνονται το πολύ τρεις προσπάθειες, σε ένα 5xx ή ένα μη προσβάσιμο backend, με κάθε προσπάθεια να καταγράφεται στο ίχνος.

Τι μπορείτε να επαληθεύσετε εκ των υστέρων

Κάθε απάντηση ονομάζει το μοντέλο που εκτελέστηκε, την έκδοσή του, το αναγνωριστικό τελικού σημείου, την περιοχή, την κατηγορία κυριαρχίας, τον λόγο δρομολόγησης και την εφαρμοζόμενη διατήρηση. Ο λόγος είναι μια πρόταση, όχι ένας κωδικός: για ένα αίτημα κωδικοποίησης διαβάζεται ως «αυτόματη δρομολόγηση για εργασία κωδικοποίησης + κατοικία eu-hosted + ένα μοντέλο σε μια περιοχή (ιδιοκτησία ΕΕ, λειτουργία ΕΕ)· τέσσερα τελικά σημεία αποκλείστηκαν· τελικά σημεία συνεργατών δεν επιτρέπονται». Η πλήρης γραμμή ίχνους είναι ανακτήσιμη με αναγνωριστικό.

Η διατήρηση είναι αυτό που ρωτούν οι άνθρωποι πρώτα, και η εφαρμοζόμενη απάντηση είναι στενή: το μηδέν είναι η προεπιλογή και η μόνη εφαρμοζόμενη λειτουργία. Τα σώματα προτροπής και ολοκλήρωσης δεν γράφονται ποτέ στη βάση δεδομένων και αυτές οι στήλες παραμένουν null. Μια πολιτική μπορεί να αποθηκεύσει μια επιλογή 24 ωρών, 7 ημερών ή 30 ημερών, η οποία δεν ενεργοποιεί την αποθήκευση· ένα αίτημα πάνω από το όριο επιστρέφει 403 retention_exceeds_policy, και οποιαδήποτε επιτρεπόμενη αποτελεσματική διατήρηση εκτός από το μηδέν επιστρέφει 501 retention_not_implemented. Ένα ίχνος είναι η λειτουργική καταγραφή μιας κλήσης από την πλατφόρμα, όχι γεωγραφική τοποθεσία και όχι αξιολόγηση οτιδήποτε.

Εκτέλεση των βαρών μόνοι σας

Η στοίβα είναι Node 22 χωρίς εξαρτήσεις runtime και SQLite, ξεκινώντας ως διαδικασία web, διαδικασία μόνο API ή worker. Ένα διαμορφωμένο pool συμπερασμάτων είναι αυτό που μετατρέπει τις γραμμές καταλόγου σε εξυπηρετούμενες: ο χειριστής δηλώνει ποια μοντέλα εξυπηρετεί πραγματικά το pool, και μόνο τότε ένα μέρος του καταλόγου φέρει μια αξίωση φιλοξενίας με μια γραμμή τελικού σημείου vllm σε μια ονομασμένη περιοχή. Το Unset σημαίνει κανένα πραγματικό backend, η προεπιλογή ανάπτυξης· το mock τότε απαντά σε μια περιοχή που ονομάζεται dev-mock και κάθε σελίδα το αναφέρει.

Η πύλη άδειας χρήσης έχει σημασία. Ένα μοντέλο εισέρχεται σε ένα σχέδιο φιλοξενίας μόνο όταν τα βάρη του είναι ανοιχτά και η άδειά του επιτρέπει την εμπορική εξυπηρέτηση· μια κάρτα της οποίας το αναγνωριστικό άδειας χρήσης αναφέρει μη εμπορική, ή της οποίας τα καταγεγραμμένα όρια απαγορεύουν την εμπορική εξυπηρέτηση, δεν επιλέγεται, και ένας χειριστής που ονομάζει ένα τέτοιο μοντέλο λαμβάνει ένα σκληρό σφάλμα αντί για μια σιωπηλή παράλειψη.

Η ανεξαρτησία από έναν προμηθευτή είναι επίσης ένα ζήτημα υλικού. Ένα σημείο ελέγχου 7B ή 9B όπως το Teuken 7B Instruct v0.6 ή το EuroLLM 9B χωράει σε έναν μόνο επιταχυντή μεσαίας κατηγορίας, το ρεαλιστικό σημείο εισόδου για βάρη στις δικές σας μηχανές. Ένα μείγμα ειδικών 123B με περίπου 12B ενεργές παραμέτρους, ή ένα σημείο ελέγχου 675B, χρειάζεται κόμβους πολλαπλών GPU ακόμα και κβαντισμένο. Οι προμηθευτές δημοσιεύουν κβαντισμένα σημεία ελέγχου για τη μέση λύση, και το καθένα είναι ένα ξεχωριστό τεχνούργημα με τις δικές του ανταλλαγές.

Τι σημαίνει και τι δεν σημαίνει «Ευρωπαϊκό LLM»

Ένα ευρωπαϊκό γλωσσικό μοντέλο κατασκευάζεται, χρηματοδοτείται ή εκπαιδεύεται με ευρωπαϊκές γλώσσες ως στόχο. Το EuroLLM 9B καλύπτει και τις 24 επίσημες γλώσσες της ΕΕ και περισσότερες, αναπτύχθηκε από μια κοινοπραξία με επικεφαλής τη Λισαβόνα με την Εδιμβούργο και την Unbabel ως εταίρους. Το Teuken 7B προήλθε από ένα γερμανικό δημόσια χρηματοδοτούμενο έργο και εκπαιδεύτηκε και στις 24 επίσημες γλώσσες της ΕΕ. Η Mistral είναι μια γαλλική εταιρεία που δημοσιεύει μοντέλα ανοιχτού βάρους και αδειοδοτημένα. Το να είναι ευρωπαϊκό λέει ποιος το κατασκεύασε και ποιες γλώσσες στοχεύει· δεν λέει πού επεξεργάζεται ένα αίτημα συμπεράσματος, κάτι που είναι η δουλειά της γραμμής τελικού σημείου, και δεν κάνει ένα μοντέλο καλύτερο.

Αποφασίστε πρώτα το όριο, και μετά ελέγξτε ότι κάθε επίπεδο της διοχέτευσής σας βρίσκεται εντός αυτού. Η ανάκτηση, η ενσωμάτωση, η ανακατάταξη και η δημιουργία φτάνουν το καθένα σε ένα διαφορετικό μοντέλο, και κάθε μία από αυτές τις κλήσεις είναι ένα σημείο όπου το όριο μπορεί να σπάσει ενώ η κλήση συνομιλίας εξακολουθεί να φαίνεται σωστή. Γράψτε το εκεί όπου ο κώδικας μπορεί να το επιβάλει, γιατί μια κατοικία που ζει μόνο σε ένα έγγραφο πολιτικής είναι μια προτίμηση, και μια προτίμηση είναι αυτό που ένας δρομολογητής χαλαρώνει αθόρυβα σε μια κακή μέρα.