5.3 参数学习
在卷积网络中，参数为卷积核中权重以及偏置．和全连接前馈网络类似，卷积网络也可以通过误差反向传播算法来进行参数学习。
在全连接前馈神经网络中，梯度主要通过每一层的误差项𝛿 进行反向传播，并进一步计算每层参数的梯度。
在卷积神经网络中，主要有两种不同功能的神经层：卷积层和汇聚层。而参数为卷积核以及偏置，因此只需要计算卷积层中参数的梯度。
5.3.1 卷积神经网络的反向传播算法
卷积层和汇聚层中误差项的计算有所不同，因此我们分别计算其误差项
汇聚层：- 当第𝑙 + 1 层为汇聚层时，因为汇聚层是下采样操作，𝑙 + 1 层的每个神经元的误差项𝛿 对应于第𝑙 层的相应特征映射的一个区域．𝑙 层的第𝑝 个特征映射中的每个神经元都有一条边和𝑙 + 1 层的第𝑝 个特征映射中的一个神经元相连．根据链式法则，第𝑙 层的一个特征映射的误差项𝛿(𝑙,𝑝)，只需要将𝑙 + 1 层对应特征映射的误差项𝛿(𝑙+1,𝑝) 进行上采样操作（和第𝑙 层的大小一样），再和𝑙 层特征映射的激活值偏导数逐元素相乘，就得到了𝛿(𝑙,𝑝)．
- 当第𝑙 + 1 层为汇聚层时，因为汇聚层是下采样操作，𝑙 + 1 层的每个神经元的误差项𝛿 对应于第𝑙 层的相应特征映射的一个区域．𝑙 层的第𝑝 个特征映射中的每个神经元都有一条边和𝑙 + 1 层的第𝑝 个特征映射中的一个神经元相连．根据链式法则，第𝑙 层的一个特征映射的误差项𝛿(𝑙,𝑝)，只需要将𝑙 + 1 层对应特征映射的误差项𝛿(𝑙+1,𝑝) 进行上采样操作（和第𝑙 层的大小一样），再和𝑙 层特征映射的激活值偏导数逐元素相乘，就得到了𝛿(𝑙,𝑝)．
卷积层：
- 当𝑙 + 1 层为卷积层时，假设特征映射净输入𝒵(𝑙+1) ∈ ℝ𝑀′×𝑁′×𝑃，其中第𝑝(1 ≤ 𝑝 ≤ 𝑃) 个特征映射净输入
- 当𝑙 + 1 层为卷积层时，假设特征映射净输入𝒵(𝑙+1) ∈ ℝ𝑀′×𝑁′×𝑃，其中第𝑝(1 ≤ 𝑝 ≤ 𝑃) 个特征映射净输入
京公网安备 11010502036488号