Выбор лучшей модели LLM для вашего случая использования с Oxlo

Я построил небольшую модель маршрутизатора, который считывает описание задачи, выбирает для нее наиболее подходящую модель Oxlo.ai и запускает ее. Поскольку Oxlo.ai использует фиксированную цену за каждый запрос вместо учета на основе токенов, переключение моделей между вызовами не приводит к неожиданным затратам, поэтому вы можете свободно маршрутизировать вызовы. В этом уроке я рассмотрю сценарий Python, чтобы вы могли адаптировать его к своему стеку. Что вам понадобится Python 3.10 или новее OpenAI SDK: pip install openai Ключ API Oxlo.ai с https://portal.oxlo.ai. Шаг 1. Определите каталог моделей Сначала я сопоставляю типы задач с моделями Oxlo.ai, которые хочу рассмотреть. Я делаю описания краткими, чтобы маршрутизатор имел четкий сигнал. МОДЕЛЬ_КАТАЛОГ = { "кодирование": { "id": "deepseek-v3.2", "name": "DeepSeek V3.2", "context": "Кодирование, отладка и структурированное мышление. Доступен уровень бесплатного пользования." }, "рассуждение": { "id": "qwen-3-32b", "name": "Квен 3 32B", "context": "Многоязычное мышление, рабочие процессы агентов и использование инструментов." }, "общий": { "id": "лама-3.3-70b", "name": "Лама 3.3 70Б", "context": "Общий чат, подведение итогов и творческое письмо." }, "видение": { "id": "кими-к2.6", "name": "Кими К2.6", "context": "Ввод изображения