yizt / numpy_neural_network Goto Github PK

https://github.com/yizt/numpy_neural_network/blob/master/nn/losses.py
dy = y_probability - y_true 这个地方的推导不是很理解。大佬这个多分类的损失函数求梯度咋来的啊。

如上。

似乎应为 global_max_pooling_backward

`
def sigmoid_backward(next_dz):

"""

sigmoid激活反向过程

:param next_dz:

:return:

"""

return sigmoid_forward(1-sigmoid_forward(next_dz))

`

sigmod激活函数的反向传播，应该是

dz = next_dz*z_{i+1}*z_{i+1}*W_i^{T}

cross entropy的话最后一层后面还要加softmax吧

您好，最近阅读了您的这个仓库，受益非浅，非常感谢。
但是我对您在nn/activations.py 中的Tanh的反向传播函数有点疑惑。
def tanh_backward(next_dz):
"""
tanh激活反向过程
:param next_dz:
:return:
"""
return 1 - np.square(np.tanh(next_dz))
根据反向传播的求导，我觉得Tanh的反向函数应该是：
def tanh_backward(next_dz, z):
return next_dz*(1 - np.square(np.tanh(z)))
谢谢您的指教。