ТЛ;ДР Шлюз LLM с несколькими поставщиками — разумный выбор для классификации больших объемов текста, когда мне нужно сравнить стоимость модели, сменить поставщика без перенастройки моего анализатора и сохранить доступный резервный вариант. Я бы оставил классификатор только текстовым...
ТЛ;ДР
Шлюз LLM с несколькими поставщиками — разумный выбор для классификации больших объемов текста, когда мне нужно сравнить стоимость модели, сменить поставщика без перенастройки моего анализатора и сохранить доступный резервный вариант. Я бы оставил классификатор только текстовым, потребовал бы стабильного контракта JSON и вместо этого выбрал бы прямого поставщика, когда элементы управления, специфичные для поставщика, имеют большее значение, чем маршрутизация.
Я научился относиться к конвейеру тегов как к границе системы данных, а не как к умному приглашению с очередью за ним.
Протокол решения: сохранить классификационный договор
Мое решение — разместить шлюз перед службой тегов, когда рабочая нагрузка может перемещаться между моделями классов OpenAI, Claude и Gemini без изменения значения тегов. Инвариант более узок, чем люди говорят: для данной входной версии и версии таксономии нисходящий код должен получать действительный JSON с теми же полями, а недоступная предпочтительная модель не должна превращать один неверный запрос в неограниченный шторм повторов. Долговечность начинается с этого контракта; база данных не может спасти конвейер, который принимает три несовместимые формы категорий только потому, что три поставщика по-разному описывают надежность.
Шаблон шлюза занимает свое место, потому что