Курс "Введение в глубокое обучение" для бакалавров 3 курса кафедры ММП ВМК МГУ, весенний семестр

Этот репозиторий содержит материалы к курсу "Введение в глубокое обучение", читаемого бакалаврам 3 курса кафедры ММП факультета ВМК МГУ в весеннем семестре 2025 года.

О курсе

• Обязательный курс для студентов каф. ММП 3 курса, 6 семестр
• Отчётность: зачёт с оценкой, экзамен

Курс читается в поддержку курса "Математические методы распознавания образов" (машинное обучение, часть 2), читаемого на кафедре ММП. В ходе курса студенты выполняют различные практические задания.

Архивный курс лекций по глубинному обучению

Общефакультетский курс лекций по машинному обучению 2023-2024

Общефакультетский курс лекций по машинному обучению 2022-2023

Общефакультетский курс лекций по машинному обучению 2021-2022

Курс лекций по машинному обучению

Курс семинаров по машинному обучению

Материалы

Материалы курса основаны на парах "Практикум на ЭВМ", читаемого бакалаврам 3 курса кафедры ММП факультета ВМК МГУ в весеннем семестре.

Видеозаписи пар выкладываются в этом плейлисте.

Видеозаписи практикумов 2024 года в этом плейлисте

Видеозаписи практикумов 2023 года в этом плейлисте.

Видеозаписи практикумов 2022 года в этом плейлисте.

Видеозаписи практикумов 2021 года в этом плейлисте.

Задания выкладываются здесь.

Занятия

Дата	Номер	Тема	Материалы	ДЗ
10 февраля	Лекция 01	Введение в DL	Конспект	¯\_(ツ)_/¯
10 февраля	Семинар 01	Backpropagation	Конспект	¯\_(ツ)_/¯
13 февраля	Лекция 02	Регуляризация	Конспект	Полносвязная нейронная сеть на numpy
13 февраля	Семинар 02	Автоматическое дифференцирование	Конспект	¯\_(ツ)_/¯
17 февраля	Лекция 03	Оптимизаторы	Конспект	¯\_(ツ)_/¯
20 февраля	Семинар 03	PyTorch	Конспект	Простейшая нейронная сеть на Pytorch
24 февраля	Лекция 04	Сверточные нейронные сети Сверточные архитектуры Transfer Learning	Конспект .ipynb Конспект .pdf	¯\_(ツ)_/¯
25 февраля	Семинар 04	Цикл обучения в Pytorch CNN для классификации Transfer Learning	Конспект	¯\_(ツ)_/¯
3 марта	Лекция 05	Задачи компьютерного зрения: детекция и семантическая сегментация	Конспект	Сегментация изображений
4 марта	Семинар 05	Семантическая сегментация Детекция объектов Регуляризация свёрточных слоев	Конспект	¯\_(ツ)_/¯
11 марта	Лекция 06	Эмбединги слов Дистрибутивная гипотеза word2vec	Конспект	¯\_(ツ)_/¯
11 марта	Семинар 06	Работа с эмбедингами	Конспект	¯\_(ツ)_/¯
17 марта	Лекция 07	Рекуррентные сети: теория	Конспект	¯\_(ツ)_/¯
18 марта	Семинар 07	Рекуррентные сети: практика	Ноутбук	Рекуррентные Нейронные Сети. Dropout. LM
24 марта	Лекция 08	Токенизаторы Трансформеры Теория MHSA, MHCA	¯\_(ツ)_/¯	¯\_(ツ)_/¯
25 марта	Семинар 08	Bert GPT MoE	¯\_(ツ)_/¯	Hugging Face NLP
31 марта	Лекция 09	Трансформеры Transfer Learning Transformers	¯\_(ツ)_/¯	¯\_(ツ)_/¯
1 апреля	Семинар 09	Transformers: практика	¯\_(ツ)_/¯	¯\_(ツ)_/¯
7 апреля	Лекция 10	Обработка сигналов Представления звука: Waveform, Спектрограмы ASR: CTC, LAS, RNN-T	¯\_(ツ)_/¯	¯\_(ツ)_/¯
8 апреля	Семинар 10	ASR: CTC, LAS, RNN-T Аугментации	¯\_(ツ)_/¯	Денойзинг аудио. Conformer
14 апреля	Лекция 11	Задачи генеративного моделирования GAN WGAN	¯\_(ツ)_/¯	¯\_(ツ)_/¯
15 апреля	Семинар 11	Обучение GAN Архитектуры	¯\_(ツ)_/¯	pi-GAN
21 апреля	Лекция 12	Vision Transformers Мультимодальные LLM CLIP LLaVA-based подход	¯\_(ツ)_/¯	¯\_(ツ)_/¯
22 апреля	Семинар 12	Практика мультимодальных LLM	¯\_(ツ)_/¯	¯\_(ツ)_/¯
28 апреля	Лекция 13	GNN	¯\_(ツ)_/¯	¯\_(ツ)_/¯
29 апреля	Семинар 13	Табличные данные SSM	¯\_(ツ)_/¯	¯\_(ツ)_/¯

Формат сдачи курса

Условия для получение зачета

• В рамках семестра предполагается выполнить пять больших и два средних практических заданий стоимостью 10 баллов каждое.
• За каждый день просрочки задания назначается штраф — 1 балл.
  • B ≥ 56 и 7 практических заданий сданы на оценку ≥ 4 ⇒ отлично
  • B ≥ 42 и 6 практических задания сданы на оценку ≥ 4 ⇒ хорошо
  • B ≥ 35 и 4 практических задания сданы на оценку ≥ 4 ⇒ удовлетворительно
  • иначе ⇒ неудовлетворительно

Формат сдачи экзамена

• Экзамен состоит из теоретического минимума и билета
• На подготовку письменного ответа по билету дается час
• Перед ответом по билету студент сдает теоретический минимум
• Незнание ответа на любой вопрос из теоретического минимума означает оценку неудовлетворительно
• При подготовке ответа по билету студент может пользоваться рукописными материалами, которые занимают не более одной стороны стандартного листа А4
• Во время ответа по билету нельзя пользоваться материалами подготовленными до экзамена, все необходимое должно быть в письменном ответе
• Экзаменатор может задавать произвольное число вопросов по курсу
• Дополнительные вопросы могут быть либо в форме теории, либо задачами по темам лекций