Ένα διακριτικό (token) είναι ένα μικρό κομμάτι κειμένου, περίπου ένα τμήμα λέξης. Ένα παράθυρο πλαισίου είναι ο μέγιστος αριθμός διακριτικών που μπορεί να περιέχει μία κλήση: οδηγίες, η συνομιλία μέχρι στιγμής, ανακτημένα αποσπάσματα και η απάντηση.
Η AI είναι το πεδίο· ένα μεγάλο γλωσσικό μοντέλο είναι ένα είδος μοντέλου μέσα σε αυτό, ένα βασικό LLM συνεχίζει το κείμενο αντί να ακολουθεί οδηγίες, και το Nemotron 3 Super είναι ένα μείγμα ειδικών 123.6B.
Ένα LLM είναι ένα πρόγραμμα εκπαιδευμένο σε μεγάλες ποσότητες κειμένου για να προβλέπει το επόμενο διακριτικό (token), ένα μικρό κομμάτι κειμένου. Απαντά από τα βάρη του και την προτροπή που στέλνετε, όχι από μια βάση δεδομένων που αναζητά.
Ένας retriever συνδυάζει ένα μοντέλο ενσωμάτωσης που μετατρέπει το κείμενο σε διανύσματα με έναν reranker που βαθμολογεί τα αποσπάσματα. Το multilingual-e5-large είναι MIT με κομμάτια 512-token. Το embeddinggemma-300m δέχεται 2048.
Το RAG είναι μια διοχέτευση (pipeline), όχι ένα μοντέλο: η εφαρμογή σας ανακτά αποσπάσματα και το μοντέλο απαντά βάσει αυτών. Μόνο το τελευταίο στάδιο είναι μια ολοκλήρωση συνομιλίας. Η ενσωμάτωση (embedding) και η ανακατάταξη (reranking) είναι ξεχωριστές κλήσεις.
Ένα μοντέλο λειτουργεί εκεί όπου λειτουργεί ένα τελικό σημείο (endpoint), και η γραμμή καταγράφει την περιοχή και την κατηγορία του. Η κατοικία (residency) είναι ένα φίλτρο που εφαρμόζεται πριν από τη βαθμολόγηση: αν τίποτα δεν την ικανοποιεί, το αίτημα επιστρέφει 409 no_endpoint_for_policy.
Τα ανοιχτά βάρη σημαίνουν ότι τα αρχεία είναι διαθέσιμα για λήψη. Ένα endpoint σημαίνει ότι κάποιος τα εκτελεί για εσάς. Πολλές ευρωπαϊκές αναπτύξεις χρησιμοποιούν και τα δύο: ένα API για μεταβλητό φόρτο εργασίας, ένα αυτο-φιλοξενούμενο checkpoint για ευαίσθητη εργασία.
Μια τιμή διαβάζεται από το ποσοστό που καταγράφει μια γραμμή τελικού σημείου, ανά εκατομμύριο tokens εισόδου και εξόδου, συν ένα ορατό τέλος ανά αίτημα. Μια γραμμή χωρίς καταγεγραμμένο ποσοστό εμφανίζεται χωρίς τιμή.
Μια άδεια είναι ένα καταγεγραμμένο πεδίο σε κάθε κάρτα μοντέλου: ένα αναγνωριστικό SPDX και ένας σύνδεσμος προς το κείμενο. Το «ανοιχτά βάρη» σημαίνει ότι τα βάρη είναι διαθέσιμα για λήψη, όχι ότι επιτρέπεται η εμπορική χρήση.
Ένα όριο ρυθμού εδώ είναι ένα ανώτατο όριο ανά κάδο σε ένα σταθερό παράθυρο: 600 κλήσεις ανά κλειδί και 1800 ανά οργανισμό κάθε λεπτό, με το πολύ 8 αιτήματα σε εξέλιξη σε ένα κλειδί.
Ένας δρομολογητής μετατρέπει ένα αίτημα που δεν ονομάζει μηχανή σε μια απόκριση τελικού σημείου. Μια καθαρή συνάρτηση φιλτράρει τους υποψηφίους βάσει πολιτικής και διαμονής, βαθμολογεί όσους επιβιώνουν και επιλέγει την υψηλότερη βαθμολογία.