Мы включили прогрессивное раскрытие информации для агента с 20 инструментами. Откладывание схем инструментов сокращает входные токены примерно на 30 %, а общую стоимость — примерно на 21 %. Хороший результат, отправлено, напишите сообщение в блоге. Затем я разбил цифры по задачам, и...
Мы включили прогрессивное раскрытие информации для агента с 20 инструментами. Откладывание схем инструментов сокращает входные токены примерно на 30 %, а общую стоимость — примерно на 21 %. Хороший результат, отправлено, напишите сообщение в блоге.
Потом я разбил цифры по задачам, и оказалось, что среднее что-то скрывает. Три из четырех типов задач позволили сэкономить от 21% до 30%. Четвертый ничего не сэкономил на одном транспорте и стоил на 12,3% дороже на другом.
Этот пост посвящен четвертой задаче и тому, почему число, которое вам следует учитывать при откладывании схем инструментов, не является средним.
Все 80 заездов являются публичными. Каждая приведенная ниже команда — это та, которую я запускал во время написания этой статьи, с вставленным в нее реальным выводом. Вы можете воспроизвести все это в автономном режиме бесплатно.
Установка
Четыре бизнес-задачи, для каждой нужен ровно один инструмент. Всегда зарегистрировано двадцать схем инструментов. Две руки:
всегда включен: все 20 схем сериализуются в каждый запрос
deferred: все 20 инструментов заключены в DeferredLoadingToolset от Pydantic AI, поэтому модель должна найти возможность и загрузить ее перед ее вызовом.
Двадцать запусков на ячейку, последовательно, без повторных попыток, gpt-4o при температуре 0, Parallel_tool_calls=False. Запустите 6 августа 2026 г. против pydantic-ai-slim[openai]==2.24.0. Оба транспорта, Чат завершен