文章目录

3.8 激活函数的导数（Derivatives of activation functions）

在神经网络中使用反向传播的时候，你真的需要计算激活函数的斜率或者导数。针对以下四种激活，求其导数如下：
1）sigmoid activation function

图3.8.1
其具体的求导如下：


2) Tanh activation function

图3.8.2
其具体的求导如下：


3）Rectified Linear Unit (ReLU)


4）Leaky linear unit (Leaky ReLU)
与ReLU类似


注：通常在z=0的时候给定其导数1,0.01；当然z=0的情况很少