Повторите запрос, а не приглашение: классификация ошибок для моделей свободного кодирования

Большая часть логики повтора повторяет приглашение. Эффективная сортировка повторяет только тот слой, на котором произошел сбой. Конечная точка модели свободного кодирования дает сбой по уровням: запрос может быть недействительным транспорт может выйти из строя сервер может быть ограничен по скорости модель может обрезать или возвращать выходные данные, которые нарушают работу вашего синтаксического анализатора Если ваш клиент повторяет все эти действия одним и тем же способом, вы сжигаете бесплатную квоту на детерминированные ошибки. Исправление небольшое: классифицируйте сбой, затем повторите попытку или исправьте. Почему слепая повторная попытка не удалась Типичный клиент выглядит так: попробуйте: ответ = call_free_model (подсказка) кроме Исключения: время.сон(2) ответ = call_free_model (подсказка) Это повторит попытку неправильного приглашения. Он повторяет попытку усечения максимального токена. Он рассматривает каждую неудачу как временную. Бесплатные размещенные конечные точки еще больше усугубляют ситуацию: 429 означает ограничение скорости, а не проблему модели 502/503 означает перегрузку, а не проблему модели 200 с усеченным текстом и готово: false означает, что достигнут максимальный лимит токенов. 400 с телом проверки означает, что запрос неверный и никогда не будет успешным. Повторная попытка 400 — это не настойчивость. Это ошибка. Классифицируйте, прежде чем повторить попытку Захватывайте четыре поля при каждом неудачном вызове: Статус HTTP тип исключения тело ответа отмечена ли модель завершением