5.2 卷积神经网络

  • 卷积神经网络一般由卷积层、汇聚层和全连接层构成。

    5.2.1 用卷积代替全连接

  • 在全连接的前馈神经网络中，由于权重矩阵中的权重参数的数量会非常多，导致训练效率会非常低。使用卷积可以减少。
  • 根据卷积的定义，卷积层有两个很重要的性质
    1. 局部连接 局部连接在卷积层(偎设是第l层)中的每一个神经元都只和下一层(第l层)中某个局部窗口内的神经元相连,构成一个局部连接网络。
    2. 权重共享 权重共享可以理解为一个卷积核只捕捉输入数据中的一种特定的局部特征。因此，需要提取多个特征就需要使用多个不同的卷积核。图片说明
      图片说明

5.2.2 卷积层

  • 卷积层的作用是提取一个局部区域的特征，不同的卷积核相当于不同的特征提取器。上一节中描述的卷积层的神经元和全连接网络一样都是一维结构。由于卷积网络主要应用在图像处理上，而图像为二维结构，因此为了更充分地利用 图像的局部信息，通常将神经元组织为三维结构的神经层。
  • 特征映射（Feature Map）为一幅图像（或其他特征映射）在经过卷积提取到的特征，每个特征映射可以作为一类抽取的图像特征．为了提高卷积网络的表示能力，可以在每一层使用多个不同的特征映射，以更好地表示图像的特征。
    图片说明

    5.2.3 汇聚层

  • 汇聚层（Pooling Layer）也叫子采样层（Subsampling Layer），其作用是进行特征选择，降低特征数量，从而减少参数数量。
  • 卷积层虽然可以显著减少网络中连接的数量，但特征映射组中的神经元个数并没有显著减少．如果后面接一个分类器，分类器的输入维数依然很高，很容 易出现过拟合．为了解决这个问题，可以在卷积层之后加上一个汇聚层，从而降 低特征维数，避免过拟合。
    图片说明
    图片说明

    5.2.4 卷积网络的整体结构

  • 一个典型的卷积网络是由卷积层、汇聚层、全连接层交叉堆叠而成。
    图片说明
  • 目前,卷积网络的整体结构趋向于使用更小的卷积核(比如1×1和3×3)以及更深的结构(比如层数大于50).此外,由于卷积的操作性越来越灵活(比如不同的步长),汇聚层的作用也变得越来越小,因此目前比较流行的卷积网络中,汇聚层的比例正在逐渐降低,趋向于全卷积网络。