Агент ИИ не просто отвечает на вопросы. Он вызывает инструменты, редактирует файлы, открывает запросы на включение, переводит деньги, отправляет сообщения. Рано или поздно одно из этих действий будет подвергнуто сомнению клиентом, аудитором, регулирующим органом или вашим собственным инцидентом...
Агент ИИ не просто отвечает на вопросы. Он вызывает инструменты, редактирует файлы, открывает запросы на включение, переводит деньги, отправляет сообщения. Рано или поздно одно из этих действий будет подвергнуто сомнению со стороны клиента, аудитора, регулирующего органа или вашей собственной проверки инцидента, и то, что вы можете сказать в этот момент, полностью зависит от того, что вы записали в тот момент.
Создание полезного контрольного журнала для агента на самом деле представляет собой две проблемы, и команды обычно замечают только первую из них. Полнота: правильно ли вы запечатлели события? Достоверность: может ли кто-нибудь, кроме вас, поверить в запись? В этом посте рассматриваются оба вопроса, включая обязанности по ведению учета, которые Закон ЕС об искусственном интеллекте теперь возлагает на системы высокого риска.
Что должен фиксировать контрольный журнал агента ИИ
Стенограммы чата не являются контрольным журналом. Стенограмма записывает то, что сказала модель; вопросы, которые будут иметь значение позже, касаются того, что сделала система. Маршрут, который стоит вести, для каждого пробега:
Какой код и модель выполнялись. Версии агента и навыков, идентификатор модели и хэши содержимого исполняемого кода, а не просто строка версии, которую кто-то может изменить.
Входы. Задача или приглашение, конфигурация и действующая политика. Храните конфиденциальные полезные данные как дайджесты SHA-256, а не как p.