第五章：卷积神经网络

  • 卷积神经网络（Convolutional Neural Network，CNN或ConvNet）是一种具有局部连接、权重共享等特性的深层前馈神经网络。
  • 在用全连接前馈网络来处理图像时，会存在以下两个问题：
    1. 参数太多：如果输入图像大小为100× 100 × 3（即图像高度为100，宽度为100以及RGB 3个颜色通道），在全连接前馈网络中，第一个隐藏层的每个 神经元到输入层都有100 × 100 × 3 = 30 000个互相独立的连接，每个连接都对 应一个权重参数．随着隐藏层神经元数量的增多，参数的规模也会急剧增加．这 会导致整个神经网络的训练效率非常低，也很容易出现过拟合。
    2. 局部不变性特征：自然图像中的物体都具有局部不变性特征，比如尺度缩放、平移、旋转等操作不影响其语义信息．而全连接前馈网络很难提取这些 局部不变性特征，一般需要进行数据增强来提高性能。
  • 卷积神经网络有三个结构上的特性：局部连接、权重共享以及汇前馈神经网络。

5.1 卷积

5.1.1 定义

  • 卷积（Convolution），也叫褶积，是分析数学中一种重要的运算．在信号处理或图像处理中，经常使用一维或二维卷积。

5.1.1.1 一维卷积

  • 一维卷积经常用在信号处理中，用于计算信号的延迟累积。
  • 假设一个信号发生器每个时刻𝑡产生一个信号𝑥𝑡，其信息的衰减率为𝑤𝑘，即在𝑘 − 1个时间步长 后，信息为原来的𝑤𝑘 倍．假设𝑤1 = 1, 𝑤2 = 1/2, 𝑤3 = 1/4，那么在时刻𝑡收到的 信号𝑦𝑡 为当前时刻产生的信息和以前时刻延迟信息的叠加，
    图片说明
  • 不同的卷积核，产生的效果不一样。
    图片说明

5.1.1.2 二维卷积

  • 图片说明
    图片说明
    图片说明

5.1.2 互相关

互相关和卷积的区别仅仅在于卷积核是否进行翻转．因 此互相关也可以称为不翻转卷积。

  • 在神经网络中使用卷积是为了进行特征抽取，卷积核是否进行翻转和其特征抽取的能力无关．特别是当卷积核是可学习的参数时，卷积和互相关在能力上 是等价的．因此，为了实现上（或描述上）的方便起见，我们用互相关来代替卷积．事实上，很多深度学习工具中卷积操作其实都是互相关操作。