Запустите теневой контракт для маршрута свободной модели перед объединением коммутатора

Запустите теневой контракт для маршрута свободной модели перед объединением коммутатора Ваш основной маршрут LLM работает. Вы найдете бесплатный модельный маршрут с лимитом в 30 миллионов токенов и опцией бесплатного сервера, поэтому вы вызываете его непосредственно из одной функциональной ветки. Демо-версия дает правдоподобный ответ, и PR становится зеленым. Позже та же ветвь выходит из строя в CI с ошибкой 429, тайм-аутом или пустым массивом вариантов, который, как предполагал ваш код, никогда не будет пустым. Ошибка не в качестве модели. Дело в том, что свободный маршрут стал зависимостью еще до того, как его оценили как контракт. MonkeyCode — один из поставщиков с общедоступной бесплатной моделью. В материалах о продукте описывается проект с открытым исходным кодом, лимит в 30 миллионов токенов и опция бесплатного сервера. Раскрытие информации: эта статья была подготовлена ​​в рамках информационно-пропагандистской программы MonkeyCode. Я рассматриваю цифру в 30 миллионов токенов как вводимые оператором данные, а не как независимую гарантию, поэтому приведенная ниже схема записывает то, что на самом деле возвращает конечная точка. Теневой контракт Держите свободный маршрут в тенистой полосе. Первичный трафик не меняется. Теневой маршрут получает те же запросы, но слияние блокируется только тогда, когда оно нарушает контракт ответа, а не когда один ответ