5月18日，本实验室在交互式医学图像分割和标注方面的最新工作“MIDeepSeg: Minimally Interactive Segmentation of Unseen Objects from Medical Images Using Deep Learning”在医学影像人工智能领域顶级期刊Medical Image Analysis (影响因子11.148) 上发表。该工作利用新型深度学习算法实现了医学图像的快速交互式分割和标注，对于提高医学图像标注的效率，降低人工智能模型开发过程中的标注负担具有重要意义。

图1  Medical Image Analysis 在线发表本研究成果

  基于人工智能的医学图像分割对于疾病诊断、病灶定量分析、治疗计划的制定等具有重要意义。然而人工智能分割模型的训练依赖于对大量图像的精确标注，该过程十分费时，且通常需要专业的医生进行。对一幅三维医学图像的精确手工标注通常需要数小时的时间，极大提高了人工智能算法开发的时间成本，因此研究一套高效率、高精度的智能化的交互式标注工具，对于人工智能医学图像分割模型的开发和应用具有重要价值。 

  目前国际上已有一些工作通过深度学习模型来提高医学图像标注的效率和精度，然而这些方法大多是针对某个特定的器官或成像模态开发的，在某些器官上训练的标注算法难以用于对其他器官标注。因此，如何提高智能标注算法的通用性，使其在针对单个器官训练后即可在更大规模的不同模态、不同器官的图像中都能进行精确高效地标注，是一个亟待解决的问题。

图2 本研究中提出的MIDeepSeg示意图

  在本研究中，罗祥德同学在本实验室王国泰、张少霆老师的指导下，提出了将人工交互和深度学习算法相结合的交互式图像标注方法MIDeepSeg。该方法接受用户在待标注器官的内侧边缘附近提供少量交互点，即可自动生成该器官的轮廓，且允许用户再通过少量的额外的交互点进行快速修正。

图3 MIDeepSeg用于CT图像中肾脏的标注

本文中提出了一种基于测地线距离变换的方式对人工交互进行编码，将交互点的信息转化成前景和背景的概率图，用以指导神经网络对器官的轮廓进行精确预测，并通过一种新的信息融合方式，将额外交互点的信息与初始的轮廓进行高效融合，从而快速得到修正后更加精确的结果。该方法可以极大提高模型的泛化性，从而使该标注算法在大量新的未见过的器官和图像模态中仍然具有优越的性能。

图4 MIDeepSeg用于磁共振图像中脾脏的标注

  实验中，MIDeepSeg仅针对T2加权磁共振图像中的胎盘进行了训练，即可用于CT、超声、T1/T2加权磁共振等不同模态图像中的胰腺、肾脏、肝脏、脾脏、大脑、前列腺等不同器官的多种新场景下的图像标注。该方法针对一幅二维图像的标注平均只需3-6次鼠标点击，与主流的标注软件ITK-SNAP相比，标注一幅三维图像的平均精度提高了8%左右，而标注效率提高了6倍以上。

 本研究成果由电子科技大学与伦敦国王学院、商汤科技等单位合作完成。

  相关链接：

  罗祥德，2018年本科毕业于电子科大机电学院机械设计制造及自动化专业; 2018年被智慧医疗实验室录取为硕士研究生，2020年起转为硕博连读。研究方向为医学图像计算、半监督学习。目前已分别在人工智能领域顶级会议AAAI (CCF A)、医学图像处理领域顶级会议MICCAI（提前接收）发表研究论文。

  论文链接：https://www.sciencedirect.com/science/article/pii/S1361841521001481

  演示视频链接：https://www.youtube.com/watch?v=eq-tqlJnckE