Omezení rychlosti
Limity, které toto nasazení uplatňuje, vykreslené z tabulky, kterou čte omezovač, včetně toho, co každý bucket počítá.
| Bucket | Limit | Okno | Počítáno |
|---|---|---|---|
| key_chat volání inference provedená jedním API klíčem |
600 | 1 min | na API klíč |
| org_chat volání inference v rámci celé organizace |
1800 | 1 min | na organizaci |
| platform volání platformového API: organizace, klíče, využití, trasování, zásady |
300 | 1 min | na API klíč |
| public_chat anonymní volání v playgroundu |
20 | 1 h | na IP adresu |
| public_page požadavky na veřejné stránky |
300 | 1 h | na IP adresu |
| public_card_request požadavky na modelové karty odeslané z veřejného formuláře |
5 | 1 h | na IP adresu |
| auth pokusy o přihlášení, registraci, obnovení a reset hesla |
20 | 15 min | na IP adresu |
Souběžnost
Najednou může na jednom API klíči probíhat nejvýše 8 požadavků. Požadavek nad tento limit čeká, místo aby selhal, dokud není fronta plná.
Jak vypadá odmítnutí
429 s kódem rate_limit_exceeded a typem rate_limit_error. Dnes neexistují žádné hlavičky x-ratelimit-* ani retry-after: zpráva uvádí čas obnovení okna a to je jediný signál. Považujte 429 za opakovatelnou s exponenciálním čekáním; každou jinou chybu v této dokumentaci považujte za požadavek, který se musí změnit, aby mohl uspět.
Kde žije počítadlo
Okna se počítají v procesu API a každých pár sekund se zapisují zpět do databáze, takže restart pokračuje v okně, místo aby přidělil nový rozpočet. Z toho vyplývající strop je uveden, nikoli objevován: počítadlo je na uzel API, takže dva uzly zdvojnásobí každý efektivní limit. REDIS_URL je rezervováno pro sdílenou verzi a zatím ho nic nečte — spusťte jeden uzel API, nebo přijměte limity na uzel.