У обмана есть срок годности. Вот как это измерить. Почему «ложные пути завершения» для злоумышленников, управляемых искусственным интеллектом, перестают работать — и как точно узнать, когда это произойдет у вас. Есть момент, которого в конце концов достигает каждый защитный обман: тра...
У обмана есть срок годности. Вот как это измерить.
Почему «ложные пути завершения» для злоумышленников, управляемых искусственным интеллектом, перестают работать — и как точно узнать, когда это произойдет у вас.
Любой защитный обман в конце концов достигает момента: ловушка, которая раньше работала, перестает работать. Не потому, что кто-то ошибся, а потому, что существо на другой стороне оказалось умнее ловушки.
Это не новая проблема в сфере безопасности — у приманок всегда был срок годности. Но когда злоумышленником, исследующим вашу среду, является оптимизатор, управляемый искусственным интеллектом, а не человек, срок годности сокращается, а режим отказа меняется. Злоумышленник-человек становится подозрительным. Система ИИ не вызывает подозрений — она незаметно накапливает статистические данные, встреча за встречей, пока распознавание образов не пересечет порог и приманка просто не перестанет ее обманывать.
У этого порога есть название: скорость затухания. И в отличие от «внутреннего ощущения» или «вероятно, это все еще работает», скорость распада — это то, что вы действительно можете измерить.
Основная идея
Путь ложного завершения — цель-ловушка, созданная для того, чтобы удовлетворить поиск оптимизатора ИИ, чтобы он перестал искать дальше, — работает до тех пор, пока он не перестанет работать. Не удача определяет, как долго это продлится.