Rýchlostné limity
Limity, ktoré toto nasadenie uplatňuje, vykreslené z tabuľky, ktorú číta limiter, spolu s tým, čo každá kategória počíta.
| Kategória | Limit | Okno | Počítané |
|---|---|---|---|
| key_chat inferenčné volania vykonané jedným API kľúčom |
600 | 1 min | na API kľúč |
| org_chat inferenčné volania v celej organizácii |
1800 | 1 min | na organizáciu |
| platform volania platformového API: organizácia, kľúče, využitie, trace, politiky |
300 | 1 min | na API kľúč |
| public_chat anonymné volania playgroundu |
20 | 1 h | na IP adresu |
| public_page požiadavky na verejné stránky |
300 | 1 h | na IP adresu |
| public_card_request požiadavky na modelové karty odoslané z verejného formulára |
5 | 1 h | na IP adresu |
| auth pokusy o prihlásenie, registráciu, obnovenie a reset hesla |
20 | 15 min | na IP adresu |
Súbežnosť
Na jednom API kľúči môže byť súčasne v obehu najviac 8 požiadaviek. Požiadavka nad tento limit čaká, namiesto toho aby zlyhala, kým sa front nezaplní.
Ako vyzerá odmietnutie
429 s kódom rate_limit_exceeded a typom rate_limit_error. Dnes neexistujú žiadne hlavičky x-ratelimit-* ani retry-after: správa uvádza čas resetovania okna a to je jediný signál. 429 považujte za opakovateľnú s backoffom; každú inú chybu v tejto dokumentácii považujte za požiadavku, ktorá sa musí zmeniť, aby mohla uspieť.
Kde sa nachádza počítadlo
Okná sa počítajú v procese API a každých pár sekúnd sa zapisujú späť do databázy, takže reštart pokračuje v okne namiesto pridelenia nového rozpočtu. Strop, ktorý z toho vyplýva, je uvedený, nie objavovaný: počítadlo je na jeden uzol API, takže dva uzly zdvojnásobia každý efektívny limit. REDIS_URL je rezervovaná pre zdieľanú verziu a zatiaľ ju nič nečíta — spustite jeden uzol API alebo akceptujte limity na uzol.