Вы задаете своему ИИ-помощнику вопрос, на который он уже ответил вчера, и он отвечает так, будто вы никогда не встречались. Этот разочаровывающий сброс не является ошибкой, которую можно исправить с помощью более длинного запроса. Это структурный пробел в том, как устроено большинство агентов, и...
Вы задаете своему ИИ-помощнику вопрос, на который он уже ответил вчера, и он отвечает так, будто вы никогда не встречались. Этот разочаровывающий сброс не является ошибкой, которую можно исправить с помощью более длинного запроса. Это структурный пробел в том, как устроено большинство агентов, и понимание этого — первый шаг к его исправлению.
Почему ИИ-агент забывает историю разговоров
Большинство чат-ботов и вторых пилотов полагаются на так называемое контекстное окно. Думайте об этом как о кратковременной рабочей памяти: модель может ссылаться на несколько последних сообщений, но как только разговор заканчивается, эта информация исчезает. Следующий сеанс начинается с чистого листа, независимо от того, сколько земли вы уже прошли.
Это происходит потому, что популярные структуры агентов достаточно хорошо справляются с кратковременной памятью, но никогда не были предназначены для долговременного воспроизведения. Инструменты, которые буферизуют недавнюю историю чата, выполняют свою работу в течение одного сеанса, а затем полностью сбрасываются после закрытия этого сеанса. Агент, который вчера помог вам отладить сложную проблему, сегодня действительно не помнит о ней.
Для одноразового вопроса это ограничение не имеет большого значения. Но для агентов, призванных знать своих пользователей, отслеживать текущие проекты или рассуждать о том, как факты изменились с течением времени, забывая обо всех