每周一篇经典医学图像分割，大家好，我是小咩。
今天带来的论文是《Multi-task learning for the segmentation of organs at risk with label dependence》，可以翻译成《利用标签依赖性分割处于风险的器官的多任务学习》
Authors:Tao He, Junjie Hu, Ying Song, Jixiang Guo, Zhang Yi
Keywords: Segmentation of organs at risk，Encoder-decoder networks，Label dependence Multi-label classification
论文思路梳理：
众所周知的是，医学图像的数据集从来称不上够用。用于训练的数据集往往需要人工进行标记才能训练出神经网络，但是标记会耗费工作人员大量的时间，所以研究者们致力于去发掘一些可以更高效利用标签的方式。
此前常用的两种方法是：
1、两步法（two-step）：训练两个模型，以其中一个的输出作为另一个的输入。例如第一个模型初步分割出轮廓，第二个模型进行细分。
2、集成投票法（ensemble voting）：让不同算法对同一种问题都进行预测。
本文作者的思路是：
我们对器官进行图像级多标签分类（image-level multi-label classification），以预测CT图像是否包含器官。如果分类网络预测CT图像中没有器官，但分割网络输出指示器官位置的像素区域，我们认为分割网络预测的该区域对应于假阳性，因此将其忽略。如图FP区域对应着假阳性。我们称之为：假阳性滤波器（false positive filtering (FPF) algorithm.）
思路是对的，但是依然需要训练两个网络，花费了很多时间。
图片说明
那么，既然先后训练两个网络，花费时间较多，不如把分类网络直接扔在分割网络里面，使用多任务学习，直接将网络结构连在一起。
以下是设想的网络模型：
图片说明
粗箭头的四个编码器块，可以放上ResNet或者DenseNet，燕尾箭头代表的解码器块由上采样（upsample）和串联（concatenation）组成，后跟三个bn-relu-conv层，最后一个块由两个无串联的bn-relu-conv-upsample层组成。 因此，提出的编码器-解码器网络将大部分通过迁移学习来重用ResNets或DenseNets的预训练参数。
使用多任务学习的同时，又会面临一些问题：
困难1：我们不能保证所保存的检查点是用于辅助分类任务优化的，因为它可能导致多标签分类过拟合。
困难2：当多标签分类处于低TPR（真阳率）时，FPF算法不适用于器官分割。 因此，多标签分类应尽可能地减少假阴性样本，否则FPF算法将由于省略分割网络预测的真阳性像素而误导滤波过程。
根据这个需求，作者提出了动态阈值选择（DTS）算法来对FPF算法进行优化。
图片说明
动态阈值选择（DTS）：设置了固定的最小TPR tmin用来选择阈值。
在每个训练时期，当ROC曲线中的TPR大于tmin并且分割性能大于先前的时期时，我们选择并保存阈值
s1、初始设置所有分类阈值为0
s2、每个epoch当中，训练模型,并以不同阈值生成ROC图，节点总数为length
s3、进行每一个分类的选择阈值，选择ROC图上的当前节点阈值和真阳率，当且仅当tpr>tmin保存阈值
该部分的Python代码如下：
图片说明
** FPF算法(假阳性过滤)：**
分类任务根据所选阈值σ预测类别。
在测试阶段，对于预测的分割mask，如果将图像像素分配给阳性(M>0)，但是分类任务预测相应的CT图像不属于该类别（ci<σi），则我们将省略该分割mask。
图片说明
CT图像往往会照出多个有相关性的器官，例如心和肝往往出现在同一个位置的CT图像中，心和肾却往往不能同一次拍到。这就会带给我们一种设想，是否可以根据标签之间的相互依赖性，作为分类网络的标准。
于是本文作者提出了一种新型的损失函数。
加权平均交叉熵损失函数WMCE(Weighted mean cross entropy loss function)：
首先引出一个概念，在第j个器官的条件下计算第i个器官的全局条件概率p（j | i）如下：
图片说明
其中，N（x）表示在所有CT图像中发生的事件数x，换句话说就是出现i与j的事件数除以出现i的事件数。我们定义p（i | i）≡1。全局条件概率p（j | i）表示训练集中i和j之间的随机相关性
所以在二进制相关性多标签分类中，使用p（j | i）作为二进制交叉熵（BCE）损失函数中的权重。 因此，提出加权平均交叉熵（WMCE）损失函数如下：
WMCE
其中f（）表示sigmoid函数，K表示网络最后输出中神经元的数量，n表示类别的数量，lj表示第j个器官的标签。
所以论文的基本工作就是：
——提出了一种使用联合网络框架的MTL架构来解决器官分割问题。 我们在联合编码器-解码器网络中使用组合损失函数来同时学习两个任务。

——通过优化损失函数和FPF算法来进一步开发这种方法，以减少训练时间并改善分割效果。

——使用两个器官之间的全局条件概率进行多标签分类，其中器官高度相关。 标签依赖由WMCE损失函数利用起来，用于辅助任务中的多标签分类。

——通过使用DTS策略来获得较高的TPR来优化FPF算法。 DTS允许FPF算法精确过滤CT图像中的假阳性像素。
最后就是本文的结论了，通过设计实验之后，作者验证了他的算法：

  • 首先在MTL体系结构中验证了迁移学习的好处，
  • 然后针对多标签分类的macro-TPR验证了WMCE的性能。 我们详细介绍了SegTHOR和TAOWCH数据集的实验结果和分析。
  • 最后，我们使用TAOWCH数据集中的心脏，肝，肺和肾的案例研究，清楚地说明了标签依赖性（全局条件概率p（j | i）与性能改善之间的比例关系。
  • 具有编码器-解码器网络的MTL体系结构，具有DTS的优化FPF算法以及WMCE损失函数可整体提高性能。
  • 分割时间优于广泛使用的两步法和整体投票法。
    这就是本文的基本内容了，如果对您的研究有思路的话，可以去查看全文，作者将他们的代码附在了github上。
    我是小咩，这是我的每周分享本周读的论文，有机会一起进步吧。