Ograničenja brzine
Ograničenja koja ova implementacija primjenjuje, prikazana iz tablice koju čita ograničivač, s onim što svaki bucket broji.
| Bucket | Ograničenje | Prozor | Broji se |
|---|---|---|---|
| key_chat inferencijski pozivi s jednim API ključem |
600 | 1 min | po API ključu |
| org_chat inferencijski pozivi u cijeloj organizaciji |
1800 | 1 min | po organizaciji |
| platform pozivi platform API-ja: organizacija, ključevi, upotreba, tragovi, politike |
300 | 1 min | po API ključu |
| public_chat anonimni pozivi iz playgrounda |
20 | 1 h | po IP adresi |
| public_page zahtjevi za javne stranice |
300 | 1 h | po IP adresi |
| public_card_request zahtjevi za model card poslani iz javnog obrasca |
5 | 1 h | po IP adresi |
| auth pokušaji prijave, registracije, oporavka i ponovnog postavljanja lozinke |
20 | 15 min | po IP adresi |
Istovremenost
Najviše 8 zahtjeva može biti u tijeku na jednom API ključu istovremeno. Zahtjev iznad toga čeka umjesto da ne uspije, dok se red ne napuni.
Kako izgleda odbijanje
429 s kodom rate_limit_exceeded i tipom rate_limit_error. Danas nema x-ratelimit-* ni retry-after zaglavlja: poruka navodi vrijeme resetiranja prozora i to je jedini signal. Tretirajte 429 kao ponovljiv uz backoff; svaku drugu grešku u ovoj dokumentaciji tretirajte kao zahtjev koji se mora promijeniti prije nego što može uspjeti.
Gdje se nalazi brojač
Prozori se broje u API procesu i vraćaju u bazu podataka svakih nekoliko sekundi, pa restart nastavlja prozor umjesto da dodijeli novi proračun. Gornja granica koja slijedi je navedena, a ne otkrivena: brojač je po API čvoru, pa dva čvora udvostručuju svako efektivno ograničenje. REDIS_URL je rezerviran za dijeljenu verziju i još ga ništa ne čita — pokrenite jedan API čvor ili prihvatite ograničenja po čvoru.