Hastighetsbegränsningar
De gränser som denna driftsättning tillämpar, hämtade från tabellen som begränsaren läser, med vad varje bucket räknar.
| Bucket | Gräns | Fönster | Räknas |
|---|---|---|---|
| key_chat inferensanrop gjorda med en API-nyckel |
600 | 1 min | per API-nyckel |
| org_chat inferensanrop över en hel organisation |
1800 | 1 min | per organisation |
| platform plattforms-API-anrop: organisation, nycklar, användning, spårningar, policyer |
300 | 1 min | per API-nyckel |
| public_chat anonyma playground-anrop |
20 | 1 h | per IP-adress |
| public_page förfrågningar till offentliga sidor |
300 | 1 h | per IP-adress |
| public_card_request modellkortsbegäranden skickade från det offentliga formuläret |
5 | 1 h | per IP-adress |
| auth inloggnings-, registrerings-, lösenordsåterställnings- och återställningsförsök |
20 | 15 min | per IP-adress |
Samtidighet
Högst 8 förfrågningar får vara i flykt på en API-nyckel samtidigt. En förfrågan över det väntar i stället för att misslyckas, tills kön är full.
Hur ett avslag ser ut
429 med kod rate_limit_exceeded och typ rate_limit_error. Det finns inga x-ratelimit-* eller retry-after-rubriker idag: meddelandet anger tiden för fönstrets återställning, och det är den enda signalen. Behandla en 429 som återförsökbar med backoff; behandla alla andra fel i denna dokumentation som en begäran som måste ändras innan den kan lyckas.
Var räknaren finns
Fönster räknas i API-processen och skrivs tillbaka till databasen med några sekunders mellanrum, så en omstart fortsätter fönstret i stället för att dela ut en ny budget. Taket som följer anges i stället för att upptäckas: räknaren är per API-nod, så två noder fördubblar varje effektiv gräns. REDIS_URL är reserverad för den delade versionen och ingenting läser den ännu — kör en API-nod, eller acceptera gränser per nod.