Όρια ρυθμού
Τα όρια που εφαρμόζει αυτή η ανάπτυξη, όπως αποδίδονται από τον πίνακα που διαβάζει ο limiter, με το τι μετράει κάθε bucket.
| Κατηγορία | Όριο | Παράθυρο | Μετράται |
|---|---|---|---|
| key_chat κλήσεις inference που γίνονται με ένα API key |
600 | 1 min | ανά API key |
| org_chat κλήσεις inference σε ολόκληρο τον οργανισμό |
1800 | 1 min | ανά οργανισμό |
| platform κλήσεις στο platform API: οργανισμός, κλειδιά, χρήση, traces, πολιτικές |
300 | 1 min | ανά API key |
| public_chat ανώνυμες κλήσεις στο playground |
20 | 1 h | ανά διεύθυνση IP |
| public_page αιτήματα δημόσιας σελίδας |
300 | 1 h | ανά διεύθυνση IP |
| public_card_request αιτήματα model card που αποστέλλονται από τη δημόσια φόρμα |
5 | 1 h | ανά διεύθυνση IP |
| auth προσπάθειες σύνδεσης, εγγραφής, ανάκτησης και επαναφοράς κωδικού |
20 | 15 min | ανά διεύθυνση IP |
Ταυτοχρονισμός
Το πολύ 8 αιτήματα μπορούν να είναι σε εξέλιξη σε ένα API key ταυτόχρονα. Ένα αίτημα πάνω από αυτό περιμένει αντί να αποτύχει, μέχρι να γεμίσει η ουρά.
Πώς φαίνεται μια άρνηση
429 με κωδικό rate_limit_exceeded και τύπο rate_limit_error. Δεν υπάρχουν κεφαλίδες x-ratelimit-* ή retry-after σήμερα: το μήνυμα αναφέρει τον χρόνο επαναφοράς του παραθύρου, και αυτό είναι το μόνο σήμα. Αντιμετωπίστε το 429 ως επαναλήψιμο με backoff; αντιμετωπίστε κάθε άλλο σφάλμα σε αυτήν την τεκμηρίωση ως αίτημα που πρέπει να αλλάξει για να πετύχει.
Πού βρίσκεται ο μετρητής
Τα παράθυρα μετρώνται στη διεργασία API και εγγράφονται πίσω στη βάση δεδομένων κάθε λίγα δευτερόλεπτα, έτσι μια επανεκκίνηση συνεχίζει το παράθυρο αντί να δίνει νέο προϋπολογισμό. Το ανώτατο όριο που ακολουθεί δηλώνεται αντί να ανακαλύπτεται: ο μετρητής είναι ανά κόμβο API, επομένως δύο κόμβοι διπλασιάζουν κάθε πραγματικό όριο. Το REDIS_URL προορίζεται για την κοινόχρηστη έκδοση και τίποτα δεν το διαβάζει ακόμα — εκτελέστε έναν κόμβο API, ή αποδεχτείτε όρια ανά κόμβο.