Добро пожаловать на страничку курса "Введение в глубокое обучение и вообще".

• Большая часть материалов курса нагло украдена из других курсов. В README к каждой неделе я пытался описывать что и где я спёр
• Материалы для каждого семинара лежат в папках /week*
• Курс сделан на pytorch (в 2022 был на tensorflow)
• Если вы хотите скачать из репозитория конкретную папку, просто вставьте ссылку на неё в сервис для скачки. Ну либо наконец уже разберитесь с git и сделайте pull.

Нашёл на этой страничке ошибку? Нашёл какой-то ультраполезный ресурс? Придумал какое-то интересное задание для семинара? Есть конструктивная критика? Не молчи, заводи issue, делай пулл-реквест и напиши мне на почту [email protected] или в Telegram (@Ppilif).

• 📦 Таблица с оценками
• 📦 Видео записи семинаров и лекций
• 📦 Все важные объявления будут дублироваться в чате курса. Там же можно задать свои вопросы. Жми кнопку ниже и попадёшь в чат.

Показать, что никакого искусственного интеллекта не существует. Нейросетка — это просто ансамбль из регрессий. Дать понять на каком уровне развития сейчас находится эта область машинного обучения и когда ждать нормальный искуственный интеллект, который всех поработит ну или хотябы будет присылать терминаторов.

Это приблизительный план. По ходу курса он будет немного видоизменяться.

• week01 От регрессии к нейросети. Введение в pytorch.
• week02 Решаем ручные задачки и продолжаем погружаться в pytorch.
• week03 50 оттенков градиентного спуска. Учимся искать матричные производные.
• week04 Копаемся в алгоритме обратного распространения ошибки. Пробуем его закодить.
• week05 Свёрточные нейросети. Наконец-то добрались до них сквозь всю математику!
• week06 Нейросети - конструктор LEGO. Говорим про разные функции активации, инициализацию, дропаут и регуляризацию.
• week07 Нормализация по батчам, лучшие практики для обучения нейросетей
• week08 Современные архитектуры свёрточных сетей. Transfer learning.
• week09 Рекурентные нейронные сетки: RNN, LSTM, GRU. Временные ряды.
• week10 Работа с текстами, введение в NLP, идея эмбедингов: w2v.
• week11 Автокодировщики: тексты, картинки, нейросети для графов
• week12 Seq2seq модели. Механизмы внимания. Автопереводчики. Генерация текстов.
• week13 Разбираемся с трансформерами.
• week14 Генеративные нейронные сети.
• Где-то тут проводим контрольную работу!
• week15 Задачи компьютерного зрения.
• week16 Резервная лекция. Если она останется, то на ней рассказать что-нибудь жутко современное аж жуть.

Будет шесть домашек.

1. Основы tensorflow, сбор своих первых нейросетей на tensorflow
2. Собираем нейросеть своими руками
3. Большое задание по работе с картинками
4. Маленькое задание на рекуррентные сетки и временные ряды
5. Большое задание по работе с текстами
6. Маленькое задание про генеративные сетки либо компьютерное зрение

В домашних заданиях будет довольно много бонусных баллов. Из-за их наличия вы сможете выбирать те разделы, которые вас больше всего заинтересовали. Одну домашку можно не делать без уважительной причины. Итоговая оценка будет ставиться за лучшие пять заданий.

Итоговая оценка вычисляется по формуле:

Накоп = 0.3 СР + 0.5 ДЗ + 0.2 КР 

Итог = min(10, 0.7 Накоп + 0.3 Экз)

• ДЗ - средняя оценка за домашки на python (6 заданий), одна домашка сделанная хуже всего при расчёте средней оценки, не учитывается
• СР - средняя оценка за самостоялки на семинарах (около 10 квизов), две работы, написанные хуже всего, не учитываются
• КР - балл за письменную контрольную работу
• Экз - балл за письменный экзамен

Если накопленная оценка оказалась >= 6, а также за контрольную вы получили оценку >=6, можно забрать себе накопленную оценку как автомат и не сдавать экзамен. На примеры квизов, мидтёрма и экзаменов можно посмотреть в репозитории прошлого года

Правила сдачи заданий:

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опозданиии на одну секунду. Сдавайте работы заранее.

Есть исключение, и имя ему Late days policy. У каждого студента есть право отложить мягкий дедлайн на 1,2 или 3 дня. Суммарно для откладывания в запасе есть три дня. Можно отодвинуть один дедлайн на три дня, а можно три дедлайна подвинуть на один день. Распоряжаться этими днями студент может как угодно. Жёсткий дедлайн, при этом, не меняется.

При обнаружении плагиата оценки обнуляются всем, кто был задействован в списывании, а также подаётся докладная записка в учебный офис. При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

Любой из студентов может быть вызван на защиту любого домашнего задания. На защите по тексту работу ему задаётся несколько вопросов. Если студент не отвечает на них, работа обнуляется.

• 📚 Николенко: «Глубокое обучение. Погружение в мир нейронных сетей.» — книга, которую всем рекомендую читать в первую очередь.
• 📚 Гудфеллоу, Бенджио: «Глубокое обучение.» — библия глубокого обучения с ответами на многие вопросы и хорошей математикой.
• 📚 Педро Домингос: «Верховный Алгоритм.» — книга для рефлексии и мыслях о том, когда же нас поработит искуственный интеллект.
• 📚 Machine Learning with PyTorch and Scikit-Learn by Sebastian Raschka - долго думал какую книгу сюда вкинуть про пайторч. В итоге выбрал эту. Себастьян Рашка оч крутой чел, который вошёл в 2021 году в top-100 AI-инфлюенсеров. У него клёвый блог про ML, а ещё он недавно выложил в паблик свои курсы по ML и DL
• 📚 Интерактивный учебник с разбором семинарских листочков от Ульянкина Филиппа (меня)

• 🤖 Deep learning на пальцах. Семён из кремниевой долины записывает лекции на youtube. Объясняет и правда на пальцах. Причём сложные вещи. Круто смотреть его стримы в метро, пока куда-то едешь.
• 🤖 Бесплатный курс по pytorch от Samsung. Состоит из двух частей: про CV и про NLP.
• 🤖 Вышкиниские лекции Жени Соколова
• 🤖 Курс нейронок, который читают в ШАД и сколтехе. Есть варианты кода на разных фреймворках. Есть видео лекций на русском и английском.
• 🤖 Лекции с физтеховской deep learning school. Они открыли новый набор и до 26 февраля можно даже зарегистрироваться и проходить курс в основном потоке.
• 🤖 CS231 от Стэнфорда Есть видео на youtbe и конспекты. Я часто буду на них ссылаться. Многие курсы используют их материалы у себя.
• 🤖 Нейронные сети от Andrew Ng. Когда ML ещё не был таким модным, все смотрели его лекции. Подходит для тех, кто хочет всё делать медленно и непринуждённо.
• 🤖 Deep Learning Fundamentals от Себастьяна Рашка. Во втором модуле основы пайторча. Курс выглядит приятно, запись в процессе. \href{https://sebastianraschka.com/blog/2021/dl-course.html}{Ещё один курс Себастьяна по DL} из вуза, где он преподаёт.

Устарело, но ещё можно найти:

• 🤖 Бесплатный курс по tf от Google. Короткий. Покрывает весь базовый Keras. Все тетрадки выложены в colab. Внутри есть очень странные интервью.
• 🤖 Advanced ML от Яндекса. Это для тех, кто хочет развиваться дальше. В специализации есть разные специфические курсы. Первый из них про нейронки. Код на Tensorflow. Версия библиотеки там пока что старая.

Весь контент, созданный для этого курса распространяются на правах лицензии MIT License Материалы публикуются как общественное достояние.