40% проектов ИИ-агентов будут отменены к 2027 году. Управление токенами — это то, как этого избежать.

Тиша Чавла и Сушим Коул ТЛ;ДР. Агенты ИИ тратят жетоны на размышления, и сколько они тратят, не является детерминированным. Одна и та же задача может стоить совершенно разную сумму при разных запусках, а застрявший рекурсивный цикл может тратить неограниченные затраты, но при этом выглядеть успешным. Вы не можете заранее запланировать недетерминированный ресурс. Вы должны наблюдать за ним, атрибутировать его и применять ограничения во время выполнения из цикла управления, отделенного от агента. 🛠️ Мы встроили это в инструмент с открытым исходным кодом. TokenOps — это управление токенами с учетом запуска для многоагентных систем: плоскость управления + SDK, которая ограничивает расходы и управляет поведением всего рабочего процесса агента, а не каждого запроса. pip install Agent-Tokenops Если это руководство окажется полезным, ⭐ пометьте репозиторий, чтобы его могло найти больше людей, создающих агентов. Содержание Первые принципы Проблема Примитивы для управления токенами Текущее пространство Дисциплина Где подходит TokenOps 0. Первые принципы Начните с того, что доказуемо верно, а затем наращивайте. Токен — это дозированная единица платного ресурса. Каждый вызов модели потребляет счетное количество токенов по опубликованной цене.12 Потребление недетерминировано. Генерация токенов стохастическая: на каждом этапе модель отбирает t