Leaky ReLU（Leaky Rectified Linear Unit）是一种常用的激活函数，其计算公式为：
其中，是输入。
该算法是ReLU激活函数的改进，解决了ReLU在负数输入时梯度为0的问题。是深度学习中常用的激活函数之一。
标准代码如下
def leaky_relu(x,alpha):
return np.maximum(x, alpha)
Leaky ReLU（Leaky Rectified Linear Unit）是一种常用的激活函数，其计算公式为：
其中，是输入。
该算法是ReLU激活函数的改进，解决了ReLU在负数输入时梯度为0的问题。是深度学习中常用的激活函数之一。
def leaky_relu(x,alpha):
return np.maximum(x, alpha)
牛客博客，记录你的成长
京公网安备 11010502036488号