年份

标题

是否采用辅助分类损失lossauxiliary

主损失lossmain

 

总loss

备注

CVPR 2015

Fully Convolutional Networks for Semantic Segmentation

Softmax loss

lossmain 

 

CVPR 2017

Semantic Segmentation--Pyramid Scene Parsing Network(PSPNet)

是/ Softmax loss,

Softmax loss

lossmain  +0.4lossauxiliary

 

CVPR 2018

Context Encoding for Semantic Segmentation

Cross-entropy loss

Cross-entropy loss

lossmain  +0.2lossauxiliary

 

CVPR 2018

Convolutional Neural Networks with Alternately Updated Clique

Cross-entropy loss

lossmain 

 

CVPR 2018

DenseASPP for Semantic Segmentation in Street Scenes

 

Cross-entropy loss

 

lossmain 

 

CVPR 2018

Learning a Discriminative Feature Network for Semantic Segmentation

是/ semantic boundary loss(focal loss)

Cross-entropy loss

λ=0.1

semantic boundary loss的标签是由mask图像二值化提取canny边缘得到的,不是分类损失

2018

OCNet: Object Context Network for Scene Parsing

是/ Softmax loss,

Softmax loss

lossmain  +0.4lossauxiliary

 

2018

Pyramid Attention Network

for Semantic Segmentation

Softmax loss

lossmain

 

ECCV 2018

BiSeNet: Bilateral Segmentation Network for

Real-time Semantic Segmentation

是/ Softmax loss,

Softmax loss

α=1 K=3;Xi is the output feature from stage i of Xception model

 

 

Loss

公式

特点

Log loss

可化为:

当正样本数量远远小于负样本的数量时,即y=0的数量远大于y=1的数量,loss函数中y=0的成分就会占据主导,使得模型严重偏向背景。

所以对于背景远远大于目标的分割任务,Log loss效果非常不好

Dice Loss

定义两个轮廓区域的相似程度,用A、B表示两个轮廓区域所包含的点集,定义为:

loss为:

Dice Loss其实也可以分为两个部分,一个是前景的loss,一个是物体的loss,但是在实现中,往往只关心物体的loss

FocaL Loss

γ>0,论文中2为最优

  1. 首先在原有的基础上加了一个因子,其中γ>0使得减少易分类样本的损失。使得更关注于困难的、错分的样本

例如gamma为2,对于正类样本而言,预测结果为0.95肯定是简单样本,所以(1-0.95)的gamma次方就会很小,这时损失函数值就变得更小。而预测概率为0.3的样本其损失相对很大。对于负类样本而言同样,预测0.1的结果应当远比预测0.7的样本损失值要小得多。对于预测概率为0.5时,损失只减少了0.25倍,所以更加关注于这种难以区分的样本。这样减少了简单样本的影响,大量预测概率很小的样本叠加起来后的效应才可能比较有效。

  1. 此外,加入平衡因子α,用来平衡正负样本本身的比例不均。
  2. 只添加α虽然可以平衡正负样本的重要性,但是无法解决简单与困难样本的问题。

γ调节简单样本权重降低的速率,当γ为0时即为交叉熵损失函数,当γ增加时,调整因子的影响也在增加