每周一篇经典医学图像分割,大家好,我是小咩。
今天带来的论文是《Multi-task learning for the segmentation of organs at risk with label dependence》,可以翻译成《利用标签依赖性分割处于风险的器官的多任务学习》
Authors:Tao He, Junjie Hu, Ying Song, Jixiang Guo, Zhang Yi
Keywords: Segmentation of organs at risk,Encoder-decoder networks,Label dependence Multi-label classification
论文思路梳理
众所周知的是,医学图像的数据集从来称不上够用。用于训练的数据集往往需要人工进行标记才能训练出神经网络,但是标记会耗费工作人员大量的时间,所以研究者们致力于去发掘一些可以更高效利用标签的方式。
此前常用的两种方法是:
1、两步法(two-step):训练两个模型,以其中一个的输出作为另一个的输入。例如第一个模型初步分割出轮廓,第二个模型进行细分。
2、集成投票法(ensemble voting):让不同算法对同一种问题都进行预测。
本文作者的思路是:
我们对器官进行图像级多标签分类(image-level multi-label classification),以预测CT图像是否包含器官。如果分类网络预测CT图像中没有器官,但分割网络输出指示器官位置的像素区域,我们认为分割网络预测的该区域对应于假阳性,因此将其忽略。如图FP区域对应着假阳性。我们称之为:假阳性滤波器(false positive filtering (FPF) algorithm.)
思路是对的,但是依然需要训练两个网络,花费了很多时间。
图片说明
那么,既然先后训练两个网络,花费时间较多,不如把分类网络直接扔在分割网络里面,使用多任务学习,直接将网络结构连在一起。
以下是设想的网络模型
图片说明
粗箭头的四个编码器块,可以放上ResNet或者DenseNet,燕尾箭头代表的解码器块由上采样(upsample)和串联(concatenation)组成,后跟三个bn-relu-conv层,最后一个块由两个无串联的bn-relu-conv-upsample层组成。 因此,提出的编码器-解码器网络将大部分通过迁移学习来重用ResNets或DenseNets的预训练参数。
使用多任务学习的同时,又会面临一些问题:
困难1:我们不能保证所保存的检查点是用于辅助分类任务优化的,因为它可能导致多标签分类过拟合。
困难2:当多标签分类处于低TPR(真阳率)时,FPF算法不适用于器官分割。 因此,多标签分类应尽可能地减少假阴性样本,否则FPF算法将由于省略分割网络预测的真阳性像素而误导滤波过程。
根据这个需求,作者提出了动态阈值选择(DTS)算法来对FPF算法进行优化。
图片说明
动态阈值选择(DTS):设置了固定的最小TPR tmin用来选择阈值。
在每个训练时期,当ROC曲线中的TPR大于tmin并且分割性能大于先前的时期时,我们选择并保存阈值
s1、初始设置所有分类阈值为0
s2、每个epoch当中,训练模型,并以不同阈值生成ROC图,节点总数为length
s3、进行每一个分类的选择阈值,选择ROC图上的当前节点阈值和真阳率,当且仅当tpr>tmin保存阈值
该部分的Python代码如下:
图片说明
** FPF算法(假阳性过滤):**
分类任务根据所选阈值σ预测类别。
在测试阶段,对于预测的分割mask,如果将图像像素分配给阳性(M>0),但是分类任务预测相应的CT图像不属于该类别(ci<σi),则我们将省略该分割mask。
图片说明
CT图像往往会照出多个有相关性的器官,例如心和肝往往出现在同一个位置的CT图像中,心和肾却往往不能同一次拍到。这就会带给我们一种设想,是否可以根据标签之间的相互依赖性,作为分类网络的标准。
于是本文作者提出了一种新型的损失函数。
加权平均交叉熵损失函数WMCE(Weighted mean cross entropy loss function):
首先引出一个概念,在第j个器官的条件下计算第i个器官的全局条件概率p(j | i)如下:
图片说明
其中,N(x)表示在所有CT图像中发生的事件数x,换句话说就是出现i与j的事件数除以出现i的事件数。我们定义p(i | i)≡1。全局条件概率p(j | i)表示训练集中i和j之间的随机相关性
所以在二进制相关性多标签分类中,使用p(j | i)作为二进制交叉熵(BCE)损失函数中的权重。 因此,提出加权平均交叉熵(WMCE)损失函数如下:
WMCE
其中f()表示sigmoid函数,K表示网络最后输出中神经元的数量,n表示类别的数量,lj表示第j个器官的标签。
所以论文的基本工作就是:
——提出了一种使用联合网络框架的MTL架构来解决器官分割问题。 我们在联合编码器-解码器网络中使用组合损失函数来同时学习两个任务。

——通过优化损失函数和FPF算法来进一步开发这种方法,以减少训练时间并改善分割效果。

——使用两个器官之间的全局条件概率进行多标签分类,其中器官高度相关。 标签依赖由WMCE损失函数利用起来,用于辅助任务中的多标签分类。

——通过使用DTS策略来获得较高的TPR来优化FPF算法。 DTS允许FPF算法精确过滤CT图像中的假阳性像素。
最后就是本文的结论了,通过设计实验之后,作者验证了他的算法:

  • 首先在MTL体系结构中验证了迁移学习的好处,
  • 然后针对多标签分类的macro-TPR验证了WMCE的性能。 我们详细介绍了SegTHOR和TAOWCH数据集的实验结果和分析。
  • 最后,我们使用TAOWCH数据集中的心脏,肝,肺和肾的案例研究,清楚地说明了标签依赖性(全局条件概率p(j | i)与性能改善之间的比例关系。
  • 具有编码器-解码器网络的MTL体系结构,具有DTS的优化FPF算法以及WMCE损失函数可整体提高性能。
  • 分割时间优于广泛使用的两步法和整体投票法。
    这就是本文的基本内容了,如果对您的研究有思路的话,可以去查看全文,作者将他们的代码附在了github上。
    我是小咩,这是我的每周分享本周读的论文,有机会一起进步吧。