Сравнение моделей LLM для задач с долгосрочными зависимостями

Задачи с долговременными зависимостями требуют, чтобы модель могла анализировать упорядоченные последовательности, где значение каждого события определяется тем, что произошло до и после. Примеры включают анализ системного журнала, телеметрию датчиков, финансовые данные, многоходовые потоки поддержки клиентов и долгосрочные траектории агентов. Стандартные модели большого языка рассматривают входные данные как неупорядоченный набор токенов, если только позиционное кодирование не обеспечивает последовательность, и даже в этом случае механизмы внимания часто разбавляют сигналы, которые находятся на расстоянии тысяч токенов друг от друга. Выбор правильной серверной части вывода и архитектуры модели для этих рабочих нагрузок означает оценку эффективной длины контекста, глубины рассуждений, управления состоянием и, что особенно важно, того, как масштабируются затраты на вывод по мере того, как вы вводите больше истории в подсказку. Почему временное мышление нарушает стандартное внимание Самообладание преобразователя вычисляет парные взаимодействия между всеми токенами, что создает квадратичную память и рост вычислений. На практике это означает, что удаленные токены получают более слабые градиенты и более шумные оценки релевантности. Позиционное кодирование сообщает модели, что токен A предшествует токену B, но они не кодируют время настенных часов, нерегулярные интервалы выборки или причинно-следственные связи.