После того, как агент-гейт скажет «да», заставьте его назвать недостающие доказательства

Недавний разговор между агентом и привратником продолжает возвращаться к одному вопросу: если модель может вызывать инструмент, кто решает, что разрешено? В текущих сообщениях показано много кода, позволяющего сказать «нет». Я получаю комфорт. Между агентом и командой находится шлюз, проверяющий запрос и блокирующий опасные материалы. Но вот та часть, которую мне постоянно не хватает в демо-версиях. Большинство ворот показывают решение. Они показывают запрос, разрешение и, возможно, однострочную причину. Они редко показывают то, чего ворота не знали до того, как сказали «да». Этот след недостающих доказательств — это то, что я хочу проверить, потому что ворота, которые одобряют, не называя того, что они не проверяли, на самом деле не проверяют. Это регистрация согласия. Поэтому я организовал дешевый репетиционный цикл. Я не оцениваю агента. Я оцениваю ворота. MonkeyCode, проект с открытым исходным кодом, предлагает бесплатный доступ к модели и опцию бесплатного сервера с разрешением в 30 миллионов токенов, о котором сообщает оператор. Раскрытие информации: эта статья была подготовлена ​​в рамках информационно-пропагандистской программы MonkeyCode. Артефакт представляет собой аудит после выдачи разрешения по 12 сценариям: четыре явно разрешенных запроса, четыре явно заблокированных запроса и четыре граничных запроса, правильный ответ на которые зависит от отсутствующих доказательств. По каждому запросу я р