论文原文

https://arxiv.org/pdf/1602.07360.pdf

摘要

最近深层卷积网络的主要方向集中于提高网络的准确率。对于相同的正确率水平，更小的CNN架构可以提供如下优势：（1）在分布式训练中，与服务器通信需求更小。（2）参数更少，从云端下载模型的数据量少。（3）更适合在FPGA等内存受限的设备上部署。
基于这些优点，本文提出了SqueezeNet。他在ImageNet上实现了和AlexNet相同的准确率，但是只使用了1/50的参数。更进一步，使用模型压缩技术，可以将SqueezeNet压缩到0.5M，这是AlexNet的1/510。

1.介绍

不说了，和摘要差不多。

2.相关工作

2.1 常见的模型压缩技术

常用的模型压缩技术有：

• 奇异值分解(singular value decomposition (SVD))
• 网络剪枝(Network Pruning):使用网络剪枝和稀疏矩阵
• 深度压缩(Deep compression)：使用网络剪枝，数字化和huffman编码
• 硬件加速器(hardware accelerator)

2.2CNN微结构

在设计深度网络架构的过程中，如果手动选择每一层的滤波器过于繁杂。通常先构建几个卷积层组成的小模块，再将模块堆叠成完整的网络。定义这种模块的网络为CNN微结构。

2.3CNN 宏观结构

与微结构模块相对应，定义完整的网络架构为CNN macroarchitecture。在完整的网络架构中，深度是一个重要的参数。

2.4神经网络的设计空间探索

由于超参数繁多，深度神经网络具有很大的设计空间（design space）。通常进行设计空间探索的方法有：
（1）贝叶斯优化
（2）模拟退火
（3）随机搜索
（4）遗传算法

SqueezeNet：更少的参数呈现相同的准确率

3.1结构设计技巧

• (1)使用 $1\ast 1$1∗1卷积代替 $3\ast 3$3∗3卷积：参数减少为原来的1/9
• (2)减少输入通道数量：这一部分使用squeeze layers来实现
• (3)将欠采样操作延后，可以给卷积层提供更大的激活图：更大的激活图保留了更多的信息，可以提供更高的分类准确率
  其中，(1)和(2)可以显著减少参数数量，(3)可以在参数数量受限的情况下提供准确率。

3.2FIRE MODULE

Fire Module是SqueezeNet中的基础构建模块，如下定义 Fire Module :
1. squeeze convolution layer：只使用 $1\times 1$1×1卷积filter，即上面提到的策略(1)。
2. expand layer：使用 $1\times 1$1×1和 $3\times 3$3×3卷积filter的组合。
3. Fire module中使用3个可调的超参数： $s_{1x1}$s1x1​(squeeze convolution layer中11 filter的个数)， $e_{1x1}$e1x1​(expand layer中11 filter的个数)， $e_{3x3}$e3x3​（expand layer中3*3 filter的个数）
4. 使用Fire module的过程中，令 $s_{1x1}\&lt;e1x1+e_{3x3}$s1x1​<e1x1+e3x3​，这样squeeze layer可以限制输入通道数量，即上面提到的技巧2。

3.3 SqeezeNet的模型结构

SqueezeNet以卷积层（conv1）开始，接着使用8个Fire modules (fire2-9)，最后以卷积层（conv10）结束。每个fire module中的filter数量逐渐增加，并且在conv1, fire4, fire8, 和 conv10这几层之后使用步长为2的max-pooling，即将池化层放在相对靠后的位置，这使用了以上的策略（3）。
如图，左边为原始版本的SqueezeNet，中间为包含simple bypass的改进版本，最右侧为使用complex bypass的改进版本。更加具体的细节请看下表：
这里有一些细节，例如我们看fire2这个module在剪枝前的参数是11920，这个参数是怎么计算得到的呢？
fire2之前的maxpool1层的输出是 $55\ast 55\ast 96$55∗55∗96，之后接着的Squeeze层有16个 $1\ast 1\ast 96$1∗1∗96的卷积filter，注意这里是多通道卷积，为了避免与二维卷积混淆，在卷积尺寸末尾写上了通道数。这一层的输出尺寸为 $55\ast 55\ast 16$55∗55∗16，之后将输出分别送到expand层中的 $1\ast 1\ast 16$1∗1∗16(64个)和 $3\ast 3\ast 16$3∗3∗16(64个)进行处理，注意这里不对16个通道进行切分(就是说这里和MobibleNet里面的那种深度可分离卷积不一样，这里就是普通的卷积)。为了得到大小相同的输出，对 $3\ast 3\ast 16$3∗3∗16的卷积输入进行尺寸为1的zero padding。分别得到$555564和 $55\ast 55\ast 64$55∗55∗64的大小相同的feature map。将这两个feature map连接到一起得到 $55\ast 55\ast 128$55∗55∗128大小的feature map，加上bias参数，这里的总参数为 $(1\ast 1\ast 96+1)\ast 16+(1\ast 1\ast 16+1)\ast 64+(3\ast 3\ast 16+1)\ast 64=(1552+1088+9280)=11920$(1∗1∗96+1)∗16+(1∗1∗16+1)∗64+(3∗3∗16+1)∗64=(1552+1088+9280)=11920。

可以看到Fire module中先通过Squeeze层的 $1\ast 1$1∗1卷积来降维和降低参数，之后的expand使用不同尺寸的卷积模板来提取特征同时进行升维。这里 $3\ast 3\ast 16$3∗3∗16的卷积模板参数较多，远大于 $1\ast 1$1∗1卷积的参数，所以作者对 $3\ast 3\ast 16$3∗3∗16卷积又进行了卷积操作和降维操作以减少参数数量。从网络整体来看，feature map的尺寸不断减小，通道数不断增加，最后使用平均池化将输出转换成 $1\ast 1\ast 1000$1∗1∗1000完成分类任务。

3.3.1 SqueezeNet的其他细节

SqueezeNet还有以下的一些细节：
-为了使 $1\ast 1$1∗1和 $3\ast 3$3∗3filter输出的结果尺寸相同，在expand modules中，给 $3\ast 3$3∗3filter的原始输入添加一个像素的边界(zero-padding)。

• squeeze和expand layers中都是用ReLU作为激活函数。
• 在fire9 module之后，使用dropout，比例取50%
• 注意到SqueezeNet中没有全连接层，这借鉴了Network in network的思想
• 训练过程中，初始学习率设置为0.04，，在训练过程中线性降低学习率。更多的细节参见本项目在github中的配置文件。
• 由于caffe中不支持使用2个不同尺寸的filter，在expand layer中实际上是使用了2个单独的卷积层( $1\ast 1filter和3\ast 3filter$1∗1filter和3∗3filter)，最后将这两层的输出连接在一起，这在数值上等价于使用单层但包含2个不同尺寸的filter。

4. SqueezeNet和其他网络和压缩算法比较

SVD方法能将预训练的AlexNet模型压缩为原来的1/5，top1和top5正确率几乎不变。深度压缩能将模型压缩到原来的1/35，正确率基本不变。SqueezeNet的压缩倍率可以达到50以上，并且准确率还有略微的提升。注意到即使使用未进行压缩得32位数值精度来表示模型，SqueezeNet也比压缩率最高的模型更小，同时表现更好。
如果将深度压缩得方向用在SqueezeNet上，使用33%的稀疏表示和8位精度，会得到一个仅有0.66的模型。进一步，如果使用6位精度，会得到仅有0.47MB的模型，同时准确率不变。此外，结果表明深度压缩不仅对包含庞大参数参数量的CNN网络起作用，对于较小的网络，例如SqueezeNet也是有用的。将SqueezeNet的网络结构和深度压缩结合起来可以将原模型压缩到1/510。

5.CNN微观空间结构

在SqueezeNet中，每一个FireModule有3个维度的超参数，即 $s_{1x1},e_{1x1}和e_{3x3}$s1x1​,e1x1​和e3x3​。SqueezeNet一共有8个Fire modules，即一共24个超参数。下面讨论其中一些重要的超参数的影响。为方便讨论，定义如下参数：

1. $bas{e}_e$basee​Fire module中expand filter的个数。
2. $freq$freq: Fire module的个数。
3. $incr{e}_c$increc​:在每 $freq$freq个Fire module之后增加的expand filter个数。
4. $SR$SR:压缩比，为squeeze layer中filter个数除以Fire module中filter总个数得到的一个比例。
5. $pc{t}_{3}x3$pct3​x3：在expand layer有 $1\ast 1$1∗1和 $3\ast 3$3∗3两种卷积，这里定义的参数是 $3\ast 3$3∗3卷积个数占总个数的比例。
   下图为实验结果：
   

6.CNN宏观结构设计

受ResNet启发，这里探究旁路连接（bypass conection）的影响。在Figure 2中展示了三种不同的网络架构。下表给出了实验结果：

使用旁路连接后，正确率有一定的提高。

代码实现

Caffe:https://github.com/DeepScale/SqueezeNet
Keras:https://github.com/rcmalli/keras-squeezenet