Большинство случаев злоупотребления инструментами агента происходят не потому, что модель не понимает ваши инструкции по безопасности, а потому, что вы вписали эти ограничения в системную подсказку без какого-либо повторяемого набора регрессий, чтобы доказать наличие ограничений...
Большинство случаев злоупотребления инструментами агента происходят не потому, что модель не понимает ваши инструкции по безопасности, а потому, что вы вписали эти ограничения в системную подсказку без какого-либо повторяемого набора регрессий, чтобы доказать, что ограничения все еще сохраняются. Вы можете создать этот пакет, не подписываясь на платную службу вывода: используйте бесплатный доступ к модели для генерации состязательных подсказок, используйте бесплатный сервер для запуска изолированного исполнителя инструмента, а затем подтверждайте каждый вызов инструмента, превращая расплывчатое требование «не переступать границы» в воспроизводимый тест.
Оставшаяся часть этой статьи посвящена небольшому, но полному набору регрессионных решений. Сначала он объявляет, какие операции разрешены, затем использует модель для генерации пользовательских входных данных, которые пытаются нарушить это объявление, затем запускает регистратор вызовов инструментов и, наконец, проверяет журналы на наличие каких-либо нарушений. Пакет может работать на любом хосте, который предлагает доступ к модели, и в контейнере Linux, а это именно та среда, которую бесплатный доступ к модели и бесплатный сервер MonkeyCode могут обеспечить с минимальными затратами. Раскрытие информации: эта статья была подготовлена в рамках информационно-пропагандистской программы MonkeyCode. Я использую эти бесплатные ресурсы здесь только для иллюстрации рабочего процесса и не подразумеваю, что