Поместите бесплатную квоту в 30 миллионов токенов за реестр, а не за общий ключ

Выделение токенов в 30 миллионов на бумаге выглядит щедрым и исчезает через неделю, когда три товарища по команде указывают один и тот же ключ в одном и том же цикле повторов. Первая ошибка связана не с качеством модели; это отсутствие атрибуции для каждого запроса и защиты квот на пути приложения. В этой статье создается небольшая группа поставщиков, записывает каждое выполнение в SQLite и отклоняет задания с превышением бюджета до того, как они израсходуют общую квоту. MonkeyCode описывается оператором как проект с открытым исходным кодом со свободным доступом к модели и возможностью бесплатного сервера. Это заявления о доступности, а не гарантия производства. Раскрытие информации: эта статья была подготовлена ​​в рамках информационно-пропагандистской программы MonkeyCode. Проверьте текущие квоты и ограничения сервера, прежде чем зависеть от них; рабочий процесс работает с любым совместимым маршрутом. Определите уровень, который выходит из строя первым Первая поломка не модели. Это передача управления между специальным сценарием товарища по команде и общим ключом API. Бесплатная квота обычно умирает из-за одного из четырех режимов сбоя: Режим отказа Первый видимый сигнал Дешевая охрана Квота истощена одним разовым заданием 429 за каждого звонящего бюджет токенов на задание Цикл повторов умножает расходы использование растет, в то время как количество успешных попыток остается неизменным идемпотентный идентификатор задания плюс учетная запись