ИИ должен предложить. Системы должны проверять. Агент ИИ может выполнить правильное действие, но при этом не иметь полномочий на его выполнение. Это различие становится критически важным, когда агенты выходят за рамки генерации текста и начинают модифицировать код, вызывая API...
ИИ должен предложить. Системы должны проверять.
Агент ИИ может выполнить правильное действие, но при этом не иметь полномочий на его выполнение.
Это различие становится критически важным, когда агенты выходят за рамки генерации текста и начинают модифицировать код, вызывать API, изменять инфраструктуру, запускать рабочие процессы или координировать действия других агентов.
Вопрос уже не только в том:
Может ли модель определить, что должно произойти?
Это также:
Что происходит между действием, предлагаемым моделью, и действием, которое фактически выполняет система?
Полезная отправная точка:
ИИ предлагает. Системы проверяют. Инфраструктура работает.
Проблема с прямым исполнением
Рассмотрим агента кодирования ИИ, работающего в производственной среде.
Агент получает задание:
Исправьте ошибку аутентификации и внедрите изменение.
Он анализирует репозиторий, изменяет код, запускает тесты и выдает команду развертывания.
Код может быть правильным.
Тесты могут пройти.
Команда развертывания может быть допустимой.
Ни один из этих фактов автоматически не означает, что агенту следует разрешить развертывание в рабочей среде.
В этом разница между правильностью и авторитетом.
Модель может правильно определить, что должно произойти, оставаясь при этом несанкционированной на выполнение действий.