CoSnitch — напоминание о том, что ваш чат-бот расскажет о вас, если вы хорошо попросите

Помощника искусственного интеллекта уговорили описать свои внутренности незнакомцу. Это не диковинка для побега из тюрьмы, это разведка как услуга, и это должно беспокоить любого, кто прикрутил LLM к производственной инфраструктуре, не задумываясь о том, что на самом деле знает модель. Контекст Это не новая территория, украшенная новым именем. Оперативное внедрение и раскрытие информации через LLM были задокументированы с первых дней существования плагина ChatGPT: люди получали модели для утечки системных подсказок в течение нескольких недель после появления доступа к API. Что добавляет CoSnitch, так это специфичность: он не обманом заставляет Copilot раскрыть шаблон системного приглашения, а вытягивает подробности о базовой архитектуре и состоянии безопасности. Это существенно другая поверхность атаки. Утечка системной подсказки вызывает смущение. Утечка карты архитектуры — это целевой список. Данная закономерность соответствует тенденции, которую мы наблюдали весь год: злоумышленники перестают пытаться взломать модель и начинают пытаться взять у нее интервью. Социальная инженерия, но целью является программное обеспечение, а не сотрудник службы поддержки. Та же психология, те же техники предлога, просто нацелены на то, что не вызывает подозрений, не устает и не запоминает, что о нем спрашивали.