Adversarial attacks

Атаки на обход методов глубинного обучения

На этой странице собраны материалы для предварительного чтения по теме, дальше страницу будем дополнять более полезными ресурсами.

Тем, кто выбрал данную тему, надо обязательно посмотреть список спецкурсов (и основных курсов) кафедры ММП, и послушать всё наиболее близкое к DNN.

Задача на курсовую работу 2020/2021 года: Экспериментальный стенд для adversarial атак на нейросетевые классификаторы

Поисследовать свежие работы по adversarial example attack на DNN (deep neural networks), в первую очередь с конференций USENIX Security, IEEE Security & Privacy, на основе готовых примеров из работ сделать модельное приложение с классификатором (классификация изображений или распознавание голоса в текст или что-то третье) и работающие примеры adversarial атак на это приложение.

Материалы для чтения

Статьи:

1. DeepSearch: a simple and effective blackbox attack for deep neural networks https://dl.acm.org/doi/10.1145/3368089.3409750
2. Extracting Training Data from Large Language Models https://arxiv.org/abs/2012.07805
3. FoolHD: Fooling speaker identification by Highly imperceptible adversarial Disturbances https://arxiv.org/abs/2011.08483
4. Mitigating Evasion Attacks to Deep Neural Networks via Region-based Classification https://arxiv.org/abs/1709.05583
5. Face2Face: Real-Time Face Capture and Reenactment of RGB Videos https://ieeexplore.ieee.org/document/7780631/
6. Hybrid Batch Attacks: Finding Black-box Adversarial Examples with Limited Queries https://www.usenix.org/conference/usenixsecurity20/presentation/suya
7. Strike (with) a Pose: Neural Networks Are Easily Fooled by Strange Poses of Familiar Objects https://arxiv.org/abs/1811.11553
8. https://keenlab.tencent.com/en/whitepapers/Experimental_Security_Research_of_Tesla_Autopilot.pdf
9. Unravelling Robustness of Deep Learning based Face Recognition Against Adversarial Attacks https://arxiv.org/abs/1803.00401
10. Robust Physical-World Attacks on Deep Learning Models https://arxiv.org/abs/1707.08945
11. Audio Adversarial Examples: Targeted Attacks on Speech-to-Text https://arxiv.org/abs/1801.01944
12. Свежий обзор https://openai.com/blog/adversarial-example-research/

Смотреть дополнительно: https://paperswithcode.com/task/adversarial-attack https://competitions.codalab.org/competitions/19090#learn_the_details

Код:

1. https://github.com/Trusted-AI/adversarial-robustness-toolbox
2. https://github.com/QData/TextAttack
3. https://github.com/tensorflow/cleverhans
4. https://github.com/snakers4/msc-2018-final