复旦大学宋志坚教授深度学习在mpMRI图

年8月24-26日,第三届图像计算与数字医学国际研讨会(ISICDM),在西安索菲特酒店召开。研讨会由国际数字医学会与国家天元数学西北中心联合主办,西安电子科技大学数学与统计学院与空军军医大学(第四军医大学)生物医学工程学院联合承办。

雷锋网AI掘金志第三次作为大会首席合作媒体,全程参与ISICDM的报道。

在8月24日上午的数字医学与智能诊疗分会上,复旦大学的宋志坚发表了题为《深度学习用于计算机辅助诊断与治疗:面临的问题、机遇与挑战》的演讲。

宋志坚教授是复旦大学特聘教授、数字医学研究中心主任、上海市MICCAI(MedicalImageComputingandComputerAssistedIntervention)重点实验室主任。

在演讲中,宋教授分享了团队在前列腺mpMRI(多参数磁共振)诊断、临床数据增强以及头颈部放疗危险部位分割的成果。

以mpMRI诊断为例,因为数据量和特异性的问题,判断前列腺癌是否具有临床显著性风险,这是一个非常大的临床需求。宋教授的团队建立了一个专门用于前列腺癌诊断的网络架构,成绩连续八个月在ProstateXGrandChallenge排在第一。

此外,宋教授还就AI在医疗领域的前景发表了自己的看法:“从经济角度来看,自第三次工业革命以来,新的创造财富的科技动力还没有真正到来,大家均在期盼第四次工业革命为人们带来新的机遇和发展动力。”

其中就包含了对人工智能所寄予的希望,深度学习是人工智能的核心技术之一。但是,目前深度学习还存在四个方面的问题(尤其是在医学上的应用):个别舆论宣传偏离了科学本身、监管政策、黑箱问题、隐私与黑客攻击以及数据的数量与质量。

以下是宋志坚教授的演讲内容,雷锋网作了不改变原意的编辑

宋志坚:我本人是从事手术导航、手术机器人领域研究的人员。这几年,人工智能尤其是深度学习得到了广泛应用,我们也开展了一些这方面的研究工作,今天想结合我们实验室工作的具体工作,和大家交流一下深度学习给医学诊断和治疗带来的机遇及其存在问题。

大家都知道,要让计算机为我们人类工作,帮助我们解决问题,大致可以分为两个思路。

第一个是人工建模的思路,这种思路的步骤是首先提出问题,然后对问题进行深入的分析和探讨,在这个基础上提出算法,然后再根据算法来进行编程。

另外一种思路就是机器学习方法,它也是人工建模,最典型的就是神经网络,但是人工仅建一半的模型,剩下的一半模型,例如神经网络的参数不是人工确定的,而是通过对数据进行训练而获得,亦即,根据我们希望输出的结果和实际结果的差异,经过反复迭代而最终将网络参数确定下来。

如果网络的隐层很多,一般称之为深度学习网络。这几年深度学习的发展很快,它能解决许多非线性的问题。

以往我们靠人工建模较难以解决的问题,现在通过深度学习很可能可以取得很大的进展。也就是说,深度学习给我们带来了许多机遇。

牛津大学的科研人员进行了一个评估,今后几年哪些工作有可能会被人工智能所替代。其中与我们医务人员最相关的就是外科医生,从年算起,35年左右就有可能会被人工智能所替代(文章并未详细说明替代到什么程度)。

近年来,深度学习在医学诊断和治疗方面的研究有很多,我们可以快速回顾一下这方面的进展。

首先我们看一下人工智能在肺结节诊断方面的相关实验,18名放射学专家有17个被人工智能超过;肺炎、心脏肥大的AUC指标分别是0.63和0.87;3DCT诊断在中风方面的研究AUC达到了0.73。

而且,深度学习的诊断速度很快,是人工的倍。

此外,还有利用深度学习对基因组学进行研究的案例。

在皮肤病方面,皮肤癌的诊断准确度达到0.96,黑素瘤方面达到了0.94。这方面的研究很普遍,进展也很快。上面这个是很典型的基因组学的网络结构,由于时间关系就不展开描述了。

这个是电子病历,它将影像学、基因组学还有电子病历作为输入和训练对象,所建立的网络可用于对疾病进行自动诊断。

人们对某一事物的认识往往是通过科学实验或临床实践而来。针对深度学习在疾病诊断和治疗领域的应用,我们实验室开展了一些工作,我借助这个机会把我们的工作简单介绍一下,具体介绍三个实例。

第一个介绍的是前列腺癌诊断的问题,判断前列腺癌是否具有临床显著性风险,这是一个非常大的临床需求。

我们用的是多参数磁共振的数据,因为图像量非常大,所以医生诊断工作量就很大;另外一个重要原因是,医生通过MRI对前列腺癌的诊断,和CT对肺脏、肝脏疾病的诊断不一样,前列腺癌的特异性不是很好,诊断的难度要大一些。

所以,通过多参数磁共振图像实现对前列腺癌的诊断诊断,是大家都在研究的前沿问题。

我们的整体思路是这样:

首先,我们对前列腺癌进行一个大致的位置确定,即预处理。

其次,我们建立一个专门用于前列腺癌诊断的网络。在这个基础上,我们对它进行训练测试,看看它的准确性,这是总体的框架。

具体而言,对每一种参数的前列腺的数据,我们有一个连续卷积的过程。我们看每一个小方块,放大以后是这样的。我们对某一个图像,比方说*的图像,首先是3*3*64的卷积,卷积以后就形成了×*64个卷积。

卷积结束以后,我们再进行一个1*1*64的卷积的操作。这样就把**64变成了**1,这是3*3的卷积,然后紧接着是一个5*5的卷积。

最后,我们把这两个卷积连起来,再进行一个pooling的操作。那么2*2的pooling之后,*就变成了*。

回过头来看,假设是*的图像,再是**64,一直下来是一个8*8的图像,我们把8*8图像的每一个像素、每一个参数的卷积,结合前列腺癌的位置,把它连起来进入全连接进行判断,最后可以得出一个结果。

我们用的数据集是SPIE所提供的ProstateX挑战赛数据集,训练集利包含名患者的个病变,测试集包含了名患者的个病变。

现在测试下来,我们的成绩连续八个月排在第一。

我认为,最关键的是建立了一个专门用于前列腺癌诊断的网络架构。

我们做的第二个工作是临床数据增强。

在前列腺穿刺导航研究当中,首先要对前列腺进行分割。这里面会遇到一个问题,就是临床数据包括前列腺数据的获取很难。此外,医生在这方面的工作量很大。

因此我们做了一个图像增强的工作,也就是怎样由小数据形成大数据。

这个工作的基本思路是这样:

首先我们对图像进行预处理。在此基础上,我们针对每一个训练集的图像,用统计模型对数据进行增强。也就是说,从概率统计上看,前列腺的轮廓最大概率的形状有哪些?

所以,根据一组轮廓能生成多个新的轮廓,然后对某一个生成的轮廓,找到最接近的那个轮廓所对应的图像,然后用轮廓之间所对应的最接近的关系,把对应图像的纹理进行插值。

这样,就由小数据生成了大数据。它的基本思路是这样的,然后把原来提供的数据和我们生成的数据进行训练,得出结果。

这个是由小数据生成大数据的一个图示化结果。

我们可以看到,上面是原来提供的数据,下面是我们模拟生成的。可以看到,我们生成的图像很漂亮,像真的一样,那么它有没有用呢?

我们做了试验,使用CNN和Unet进行验证。可以看到,随着生成数据的增加,图像分割精度也在迅速提升。

所以,我们生成的数据在网络训练中是起作用的,能够在数据不足的时候,用数据增强的方法,部分地解决问题。

这是我们以图像分割为例对数据增强做的试验,对增强的数据进行验证,上图分别是2D和3D上的前列腺分割结果。

第三个工作是头颈部放疗危及器官的分割。

头颈部放疗,通常要对一些危及器官进行规避,即放疗中不能损害到到这些危及器官。这么多的危及器官,一般有9到10个,要靠人工勾画,医生的工作量很大,有没有可能用人工智能的方法把危及器官自动分割出来。

我们工作的基本思路是这样:首先,因为训练集的图像已经是分割好了,我们把分割好的图像把它提取出来,其他的都不要了,这样就形成了两个系列的图像。对这两个系列的图像因为它训练速度的问题我们进行了下采样。

对这个图像,我们经过传统的计算方法,把已经分割好的地方用一个小的立方体框住。

首先,训练找到头颈部某一个器官的大致位置,把这个图像输入第一个名为LocNet的网络(基本结构和Unet相似),对它进行训练。

训练是以我们


转载请注明:http://www.pvmnc.com/wazlyy/15261.html

 


当前时间: