Ограничения на скоростта
Ограниченията, които тази инсталация прилага, извлечени от таблицата, която ограничителят чете, с това какво отчита всяка кофа.
| Кофа | Лимит | Прозорец | Отчита се |
|---|---|---|---|
| key_chat извиквания за инференция, направени с един API ключ |
600 | 1 min | на API ключ |
| org_chat извиквания за инференция в цяла организация |
1800 | 1 min | на организация |
| platform извиквания към платформения API: организация, ключове, използване, проследявания, политики |
300 | 1 min | на API ключ |
| public_chat анонимни извиквания към playground |
20 | 1 h | на IP адрес |
| public_page заявки към публични страници |
300 | 1 h | на IP адрес |
| public_card_request заявки за моделни карти, изпратени от публичната форма |
5 | 1 h | на IP адрес |
| auth опити за вход, регистрация, възстановяване и нулиране на парола |
20 | 15 min | на IP адрес |
Едновременност
Най-много 8 заявки могат да бъдат в процес на изпълнение на един API ключ едновременно. Заявка над това изчаква, вместо да се провали, докато опашката се запълни.
Как изглежда отказът
429 с код rate_limit_exceeded и тип rate_limit_error. Днес няма x-ratelimit-* или retry-after хедъри: съобщението посочва времето за нулиране на прозореца и това е единственият сигнал. Отнасяйте се към 429 като към повтаряема заявка с backoff; отнасяйте се към всяка друга грешка в тази документация като към заявка, която трябва да се промени, преди да успее.
Къде живее броячът
Прозорците се броят в процеса на API и се записват обратно в базата данни на всеки няколко секунди, така че рестартирането продължава прозореца, вместо да раздава нов бюджет. Таванът, който следва, е заявен, а не открит: броячът е на API възел, така че два възела удвояват всеки ефективен лимит. REDIS_URL е запазен за споделената версия и нищо още не го чете — стартирайте един API възел или приемете лимити на възел.