深度可分离卷积

普通情况的卷积

上面的图片展示了一张三个通道的图片经过两个5X5X3的卷积核的卷积，生成两个256X256X1的特征图，然后concat为一张256X256X2的特征图。一共包含5X5X3X2 = 150个参数。

分离卷积

上面的图片首先对图像的每个通道进行单独的卷积，生成256X256X3的图片，在使用1X1X3的卷积核对生成图片进行普通情况的卷积，然后concat起来，同样生成了256X256X2的特征图（1X1的卷积核用于改变通道数）。
相比于普通情况的卷积，分离卷积所使用的的参数大大减少了，只使用到了5X5X3+3X2 = 81个参数。这只是这么一个小的卷积模型，在相同的参数情况下，可以训练更加大的网络模型。从上面两张图的对比可以看出，普通卷积相较于分离卷积进行的乘法是要多出一倍的（分离卷积后面的1X1的卷积只要进行加法运算），这能够很大程度的节省计算的时间。

空洞卷积（膨胀卷积）

上面展示的是普通卷积的示意图，将一个卷积核顺着通道维度，不断卷积。

如上图，（a）对应于一般情况下的卷积核，（b）是（a）膨胀后的3X3的卷积核，（c）是（b）膨胀后的3X3的卷积核。可以看出，相同的大小的卷积核，但是感受野变大了（直观感觉是卷积核中多了点框框）。下面一张图是膨胀卷积的演示图。

膨胀卷积的优点：
1.膨胀卷积核，参数量相同的情况下，会获得更大的感受野，从而减少参数量。
2.膨胀卷积可以同时进行，比如使用图中（a）（b）（c）三种不同的膨胀卷积进行对图片进行操作，得到的结果串联起来，从而在同一层上可以实现多分辨率的结构，从而提升模型性能。