Интерпретируемое машинное обучение (2022)

Курс Интерпретируемое машинное обучение читается в весеннем семестре первого года обучения магистерской программы "Искусственный интеллект в кибербезопасности".

• Когда: в четверг, 14:35.
• Где: дистанционно, ссылка на зум, ссылка на чат

Курс рекомендуется студентам, интересующимся методами интерпретации для моделей машинного обучения.

Оценка за курс будет определяться по результатам выполнения домашних заданий заданий. Выполнение всех домашних заданий позволяют получить "зачет" автоматически.

Лекции

• 14.02 - ML задачи в кибербезопасности слайды
• 21.02 - Введение в интерпретируемое машинное обучение слайды видео - часть 1 видео - часть 2
• 18.03 - LIME слайды видео
• 24.03 - SHAP слайды видео
• 31.03 - PDP, ICE, ALE слайды видео
• 7.04 - Saliency maps, DeconvNet, Occlusion Sensitivity, Integrated gradients тетрадка видео
• 14.04 - Backpropagation methods: Vanila backprop, Guided backprop, CAM (class activation methods), Grad-CAM+, Grad-CAM++ тетрадка
• 21.04 - Visual Transformers видеотетрадка
• 28.04 - Deep Taylor decomposition, Layer-wise Relevance Propagation видеотетрадка

Задания

1. Реализация LIME и SHAP Описание задания Дедлайн: 26 марта
2. Интерпретация нейронных сетей для картинок Распределение методов интерпретации по людям Дедлайн: 13 мая

Полезные ссылки и литература

Книги

1. Machine Learning and Cybersecurity (2021)
2. Molnar "Interpretable Machine Learning" (2020)
3. Masis "Interpretable Machine Learning with Python" (2021)
4. Хелемский "Лекции по функциональному анализу"

Статьи

1. Ribeiro "“Why Should I Trust You?” Explaining the Predictions of Any Classifier" (2016)
2. Friedman, Jerome H. “Greedy function approximation: A gradient boosting machine.” Annals of statistics (2001): 1189-1232
3. Apley, Daniel W. “Visualizing the effects of predictor variables in black box supervised learning models.” arXiv preprint arXiv:1612.08468 (2016)
4. "General Activation Maximization, Activation Maximization in Codespace, Simple Taylor Decomposition, Deep Taylor Decomposition, LRP-ab"
5. "DeepDream"
6. "Saliency Map, Vanilla Backpropagation"
7. "DeConvNet Full Input Reconstruction, DeConvNet Partial Input Reconstruction, Occlusion Sensitivity"
8. "Guided Backpropagation"
9. "Integrated Gradients"
10. "SmoothGrad"
11. "Deep Taylor Decomposition, LRP-0, -epsilon, -gamma, LRP-ab"
12. "DeepLIFT"
13. "Class Activation Map (CAM)"
14. "Gradient-Weighted Class Activation Map (Grad-CAM)"

Репозитории и либы

1. https://github.com/marcotcr/lime
2. https://shap.readthedocs.io
3. https://scikit-learn.org/stable/modules/partial_dependence.html