fulyankin / deep_learning_masha_book Goto Github PK

/problem_set_08_embeddings/intro_08.html

Возможное содержание:

• Записать разные модели как автокодировщик:
  • pca
  • картинки
  • w2v
  • node2vec
  • elmo
  • и тд...
• Посчитать число параметров в fasttext
• Энкодер декодер с какими-нибудь свойствами для расстояний (типо все лежат в какой-нибудь залупе и тп)
• Посчитать что-нибудь в w2v и пооценивать параметры
• Что-нибудь про классические механизмы внимания в автопереводах

К пункту д) предлагаю свою формулу - она вроде рабочая, в отличие от той, которая там висит.
Пусть

Тогда если a % s != 0, то

иначе (то есть если a % s == 0) в числителе просто не нужно добавлять единицу.

Привет, нашел неточность в размерностях.
В тексте размерность векторов указана неверно, а в решениях - правильно:

Когда прочитал не понял, как кодируется пол. Температура просто подается. Митинг либо есть, либо нет, поэтому числа 1 и 0 соответственно. А как мы кодируем пол? 0 - мужчина, а 1 - женщина? Или 0 - женщина, а 1 - мужчина? Пришлось смотреть решение, чтобы понять. Надо добавить к описанию задачи пояснение.

Содержание:

• Написать лист про взрыв градиентов (/problem_set_07_rnn/problem_03.html)
• Написать решение
  • последним трем задачам (/problem_set_07_rnn/problem_04.html)
  • /problem_set_07_rnn/problem_05.html
  • /problem_set_07_rnn/problem_06.html
  • /problem_set_07_rnn/problem_07.html

/problem_set_09_transformers/intro_09.html
Содержание - придумывается

В системе к решению 8 б) пара опечаток.

Листочек 3: алгоритм обратного распространения ошибки. 2. Придумываем бэкпроп

В решении - [часть г) Выпишите все производные в том виде, в котором их было бы удобно использовать для алгоритма обратного распространения ошибки, а затем, сформулируйте сам алгоритм. Нарисуйте под него удобную схемку]
присутствует ошибка.

А именно:

h₂ = o₁ * w₂, следовательно
∂(h₂)/∂(w₂) = ∂(o₁*w₂) / ∂(w₂) = o₁

На графе, который изображен выше данной выкладки все показано верно

В условиях везде написано, что x размера 1 x n, но на самом деле он n x 1. В решениях всё правильно.

Ошибка в решении, ну или условии - в условии во втором наблюдении y = 0, а в первом y = 1. А в решении наоборот.
Можно конечно пересчитать для такого условия, но тогда на первом шаге веса никак не поменяются, так как L = (0 - 0)^2.
Легче просто в условии y поменять местами, тогда решение будет правильным.