Различные технологические компании, государственные структуры и научно-исследовательские институты все больше полагаются на нейронные сети и построенные на их основе системы искусственного интеллекта в решении широкого круга задач, начиная от более приземленного распознавания лиц и заканчивая поисками экзотических форм материи. Но легко ли обмануть эти сверхсложные высокотехнологические системы? На этот вопрос и попытались ответить группа студентов небезызвестного Массачусетского технологического института (Massachusetts Institute of Technology; MIT).
В рамках соответствующего исследования студенты занялись поиском надежного и эффективного инструмента, позволяющего обманом заставить нейросеть увидеть в коте, например, корову. То есть, ошибочно принять один объект или предмет за другой.
Исследователи использовали специфическую технику под названием «adversarial examples» – устоявшегося перевода на русский для этого термина нет, дословно можно перевести как примеры с противопоставлением/соперничающие примеры. Под этим термином скрываются изображения, звуки, текст, которые людям кажутся вполне обычными, машины видят их совершенно по-другому. Обманные изображения могут ввести глубинную нейросеть в заблуждение и принять одно за другое. Подобные обманные изображения создаются путем наложения на обычное изображение специфического «невидимого» слоя со случайным узором.
Справедливости ради отметим, что техника эта не доскональная, поскольку чувствительна к различным воздействия: масштабирование, кадрирование, поворот на определенный угол или прочие изменения могут ослабить обманный эффект и привести к правильному определению изображения. Авторы исследования ставили задачу создать обманное изображение, которое будет работать при любых условиях. И надо сказать, они добились определенных успехов, сообщает itc.ua.
Созданный студентами алгоритм показал высокую эффективность, причем как применительно к обычных плоским изображениям, так и к 3D-моделям. Обработанные им изображениями могут обмануть ИИ вне зависимости от ракурса. Студентам удалось обмануть систему ИИ Google Inception v3, заставив ее увидеть в напечатанной на 3D-принтере черепахе винтовку. Более подробно о результатах исследования можно прочесть на сайте arXiv.org, где выложен препринт научной статьи.
Это важно в первую очередь потому, что одним ИИ Google эта проблема не ограничивается. Любая система ИИ на глубинной нейросети потенциально уязвима для такого рода атак.
Безусловно, системы искусственного интеллекта – одна из главных тенденций в IT-индустрии в последние годы и едва ли в ближайшем будущем что-то изменится. В то же время даже современные системы ИИ далеко не всегда работают хорошо. Взять хотя бы недавний случай с системой ИИ в смартфонах Apple, которая умеет автоматически определять, что изображено на снимке, и группировать изображения по категориям. Только полное понимание того, каким образом можно обманывать подобные системы, позволит разработать соответствующие защитные механизмы и избежать серьезных проблем в будущем.
