сентябрь 2019
для Deepmark
Задача
Исследовать уязвимости алгоритма распознавания лиц к состязательным атакам
Атака выполняется как black-box, есть доступ только к входу алгоритма и выходу
Архитектура нейронной сети и её веса считаются недоступной для атакующего
Наибольший интерес представляет возможность изготовления носимой маски/очков/макияжа, способного взломать алгоритм распознавания лиц
Результат
Процесс
Выбираем оптимальный алгоритм генерации состязательных примеров
Генерация состязательной (adversarial) атаки состоит в подборе минимальных изменений во входном изображении, внесение которых заставляет нейронную сеть распознавать пример как другой класс. А алгоритм распознавания лиц, соответственно, принимает в этом случае некорректное решение.
Наиболее критичной является минимизация количества обращений к нейронной сети в процессе генерации атаки. В этом плане для black box атаки хорошо подходит семейство генетических алгоритмов, в частности вариации NES.
Критерием успешности атаки считается значение меры cosine distance, меньшее 0.05 для дескрипторов исходного и целевого примеров.
Так выглядит результат его работы без дополнительных ограничений.
А так - в случае снижения разрешения маски. Такой шаблон более применим в случае физического предъявления его устройству распознавания (или камере)
Исследуем возможности генерации маски
Паттерн для состязательной атаки может генерироваться только в заданной области - например на оправе очков. С помощью таких шаблонов атака может быть легко пересена в реальный физический мир.
