Užklausų dažnio limitai
Limitai, kuriuos taiko šis diegimas, pateikiami iš lentelės, kurią skaito limitų tikrintuvas, kartu su tuo, ką skaičiuoja kiekvienas krepšelis.
| Krepšelis | Limitas | Langas | Skaičiuojama |
|---|---|---|---|
| key_chat inferencijos kvietimai, atlikti su vienu API raktu |
600 | 1 min | vienam API raktui |
| org_chat inferencijos kvietimai visoje organizacijoje |
1800 | 1 min | vienai organizacijai |
| platform platformos API kvietimai: organizacija, raktai, naudojimas, pėdsakai, politikos |
300 | 1 min | vienam API raktui |
| public_chat anoniminiai playground kvietimai |
20 | 1 h | vienam IP adresui |
| public_page viešų puslapių užklausos |
300 | 1 h | vienam IP adresui |
| public_card_request modelio kortelės užklausos, siunčiamos iš viešos formos |
5 | 1 h | vienam IP adresui |
| auth prisijungimo, registracijos, slaptažodžio atkūrimo ir nustatymo iš naujo bandymai |
20 | 15 min | vienam IP adresui |
Vienalaikiškumas
Vienu metu vienam API raktui gali būti vykdoma daugiausia 8 užklausų. Užklausa, viršijanti šį skaičių, laukia, o ne nepavyksta, kol eilė bus pilna.
Kaip atrodo atsisakymas
429 su kodu rate_limit_exceeded ir tipu rate_limit_error. Šiandien nėra x-ratelimit-* ar retry-after antraščių: pranešime nurodomas lango atstatymo laikas, ir tai yra vienintelis signalas. 429 traktuokite kaip pakartotinai bandytiną su didėjančiu uždelsimu; kiekvieną kitą šios dokumentacijos klaidą traktuokite kaip užklausą, kurią reikia pakeisti, kad ji pavyktų.
Kur gyvena skaitiklis
Langai skaičiuojami API procese ir kas kelias sekundes įrašomi atgal į duomenų bazę, todėl paleidus iš naujo langas tęsiamas, o ne išduodamas naujas biudžetas. Iš to kylanti viršutinė riba yra nurodoma, o ne atrandama: skaitiklis yra vienam API mazgui, todėl du mazgai padvigubina kiekvieną galiojantį limitą. REDIS_URL yra rezervuotas bendrai versijai ir jo dar niekas neskaito — paleiskite vieną API mazgą arba priimkite limitus, taikomus vienam mazgui.