5.3 反向傳播法 Backpropagation

簡單的backward法實作

YunghuiHsu/deep-learning-from-scratch

• 加法节点的反向传播，将上游的值原封不动的输出到下游，因为加法节点的导数为1.
• 乘法的反向传播会乘以输入信号的翻转值.

加法的反向传播只是将上游的值传给下游，并不需要正向传播的输入信号，但是，乘法的反向传播需要正向传播时的输入信号值。 因此，实现乘法节点的反向传播时，要保存正向传播的输入信号。

购买苹果的反向传播例子,乘法节点的反向传播会将输入信号翻转后传给下游，加法节点会直接传给下游:

比如上面橘子个数上的导数为165, 165 = 1.1*150，即上一级的导数1.1乘以翻转的输入信号150(单价)，得到165.

5.5  執行活化函數層

5.5.1 ReLU(Rectified Linear Unit)層

激活函数，y=f(x)：

• x>0时，y=x，对应y关于x的导数为1