Добавляйте повторы только после того, как запрос узнает, что он уже сделал. Конечные точки бесплатной модели и бесплатные серверы выходят из строя в худшем месте: после того, как работа может быть выполнена, но до того, как вы получите ответ. Раскрытие информации: Эта статья была подготовлена в рамках M...
Добавляйте повторы только после того, как запрос узнает, что он уже сделал. Конечные точки бесплатной модели и бесплатные серверы выходят из строя в худшем месте: после того, как работа может быть выполнена, но до того, как вы получите ответ.
Раскрытие информации: эта статья была подготовлена в рамках информационно-пропагандистской программы MonkeyCode. Я полагаюсь только на два заявления о доступности, предоставленные оператором: MonkeyCode имеет бесплатный доступ к модели и бесплатную опцию сервера.
Приведенный ниже рабочий процесс представляет собой защиту на стороне клиента, а не гарантию поставщика.
Почему повторная попытка не используется по умолчанию
Бесплатный рабочий сервер может быть переработан в середине запроса.
Конечная точка свободной модели может истечь по истечении времени после генерации.
Повторная попытка может дублировать нисходящую запись или возвращать смешанные полезные данные JSON.
Простой тайм-аут не сообщает вам, выполнил ли провайдер уже запрос.
Правило скучное, но полезное: держите намерение запроса, необработанный ответ и принятый результат отдельно. Повторная попытка безопасна только в том случае, если принятый результат отсутствует и в журнале не указано частичного побочного эффекта.
Идемпотентный журнал запросов
Артефакт — небольшой журнал Python. Он хеширует параметры приглашения и запроса в ключ, добавляет события в файл JSONL и атомарно записывает результат только после того, как полезная нагрузка будет проанализирована как полный JSON.
я