5.4 几种典型的卷积神经网络

5.4.1 LeNet-5

  • 图片说明
  • LeNet-5 共有7 层，接受输入图像大小为32 × 32 = 1 024，输出对应10 个类别的得分．LeNet-5 中的每一层结构如下：
    图片说明

5.4.2 AlexNet

  • AlexNet 的结构如下图所示，包括5 个卷积层、3 个汇聚层和3 个全连接层（其中最后一层是使用Softmax 函数的输出层）．因为网络规模超出了当时的单个GPU 的内存限制，AlexNet 将网络拆为两半，分别放在两个GPU 上，GPU 间只在某些层（比如第3 层）进行通信。
  • 图片说明
  • AlexNet 的输入为224 × 224 × 3 的图像，输出为1 000 个类别的条件概率，具体结构如下：
    图片说明
  • 此外，AlexNet 还在前两个汇聚层之后进行了局部响应归一化（Local ResponseNormalization，LRN）以增强模型的泛化能力。

    5.4.3 Inception 网络

  • Inception 模块同时使用1 × 1、3 × 3、5 × 5 等不同大小的卷积核，并将得到的特征映射在深度上拼接（堆叠）起来作为输出特征映射．
  • 图片说明

    5.4.4 残差网络

  • 残差网络（Residual Network，ResNet）通过给非线性的卷积层增加直连边（Shortcut Connection）（也称为残差连接（Residual Connection））的方式来提高信息的传播效率．残差网络的思想并不局限于卷积神经网络。
  • 假设在一个深度网络中，我们期望一个非线性单元（可以为一层或多层的卷积 层）𝑓(𝒙; 𝜃) 去逼近一个目标函数为ℎ(𝒙)．如果将目标函数拆分成两部分：恒等函 数（Identity
    Function）𝒙 和残差函数（Residue Function）ℎ(𝒙) − 𝒙．
  • 图片说明
  • 图片说明