教学课程资源库 更多>>

关键词： 医学影像   细粒度图像识别   大骨节病   白内障  

摘要： 医学影像因自相似性高而需要细粒度识别与分析。全局共享许多生理结构,导致影像类间高度相似;而同类之间同种生理结构因形态、尺寸和角度等微小的局部差异,导致影像类内差异大,这些特性是高精度医学图像识别面临的难题。单一的深度神经网络能自动提取图像最具判决性的全局特征,但其深层特征往往损失很多局部信息,这种特性不利于细粒度的医学图像识别。本文采用基于深度学习的细粒度识别方法分析医疗影像,挖掘这些影像中潜在的一致特征分布,从而把细粒度识别方法推广到医学影像识别中,达到医学影像精准识别的目标。本文主要研究大骨节病和白内障病医学影像识别。首先介绍细粒度识别所利用的关键技术,包括适用于影像预处理的图像处理方法,适用于影像特征提取的卷积神经网络,和适用于影像细粒度特征分析的策略。其次,针对大骨节病的手骨X光片病变结构微小和形态各异难以识别,提出一种基于深度学习的多尺度特征融合诊断的大骨节病识别方法,利用影像特性设计干骺端等关键区域提取方法,并利用卷积神经网络提取关键区域的局部特征,融合上整体图像的全局特征信息,识别诊断大骨节病。第三,针对白内障眼底影像多分级诊断病变结构难以量化,提出一种基于血管和视盘图像分割的白内障分级方法,利用基于像素块的U-Net网络设计血管分割方法和利用水平集的自动轮廓视盘定位方法,将两种关键结构提取并量化为特征,结合白内障影像的全局特征,实现精准多分级。实验结果表明,大骨节病识别准确率达到98.5%和白内障分级准确率达到94.1%,基本与专业医生的诊断结果一致,本文提出基于细粒度特征的大骨节病症状识别和白内障病识别模型是有效的。加入细粒度特征后,医学影像的识别准确率比单一特征识别有了显著提升。

关键词： 医学影像配准   卷积神经网络   深度学习   神经网络架构搜索  

摘要： 医学影像配准技术是医学影像分析的基础性任务,可以为医疗决策提供关键性信息。近年来,深度学习的快速发展带动了医学影像配准技术的进步。基于深度学习的医学影像配准方法相比传统方法具有更高的精确度与更快的推理速度。然而,人工设计出高性能高灵活性的医学影像配准网络模型的代价巨大。在本文中,我们将神经网络架构搜索技术引入到医学影像配准模型的设计之中,自动化地获取最适合当前数据的影像配准模型结构。除此以外,本文还总结了搜索出模型的共有特点,可以用来指导日后的医学影像配准网络结构设计工作。本文利用神经网络架构搜索技术对医学影像配准模型进行了结构单元级别的搜索。首先,本文设计了针对结构单元的搜索空间,之后利用基于梯度的双层优化算法对模型参数和结构参数进行交替优化,最后对搜索结果进行解码并构建出最优结构的医学影像配准网络。本文使用脑部核磁共振影像数据集对搜索出的网络结构进行了验证。结果表明,搜索出的网络结构在性能上优于人工设计的网络结构。除了上述的研究,本文对医学影像配准模型进行了网络级架构的搜索空间。不同于上述针对网络结构单元搜索的研究,本文定义了一个类似网格的网络搜索空间,在这个搜索空间中分别进行单路径和多路径配准模型的搜索。本文使用多个公开的肝部CT影像数据集对搜索出的网络结构进行了验证。结果表明,本文搜索得到的网络结构所取得的精准度均优于人工设计的网络结构,而多路径的配准模型的精确度优于单路径的模型。综上,本文将神经网络架构搜索引入了医学影像配准模型的设计之中,针对网络结构中的结构单元和网络路径进行了研究。本文提出基于神经网络架构搜索的医学影像配准模型相比人工设计的网络模型性能更高,灵活性更强,应用场景更广。

摘要： 山东第一医科大学附属省立医院(山东省立医院)始建于1897年,迄今已有124年历史。现已发展成为集医疗、教学、科研、预防保健、指导基层为一体的大型综合性三级甲等公立医院,拥有中心院区、东院区两个院区。医院拥有临床医技科室139个,国家级临床重点专科10个,省级临床重点专科28个,临床医学研究所14个,院士工作站4个。百年省医,精英辈出,拥有包括双聘院士、泰山学者攀登计划专家、泰山学者特聘专家、泰山学者青年计划专家等高层次人才100余人。

关键词： 影像组学   医学影像   智能医疗   临床应用  

摘要： 随着医学影像大数据的不断积累和人工智能技术的快速发展,出现了影像组学这一新的研究方向。影像组学将医学影像转化为可挖掘的数据,利用人工智能技术从影像数据中挖掘高通量的量化信息,可以提高影像辅助疾病诊疗的效果,已经成为医学影像研究领域的国际学术前沿热点。针对影像组学的临床应用,本文分别从辅助诊断、疗效评估和预后预测三个方面,详细描述影像组学在肿瘤等重大疾病中的应用案例。影像组学源于临床问题,利用临床数据,其结果又能回归指导临床应用,相信在精准医疗时代影像组学会有更广阔的应用前景。

关键词： 人工智能   医学影像   校企合作   应用型   人才培养模式  

摘要： 探讨人工智能背景下医学影像学专业校企合作应用型人才培养模式。对当前人工智能医学影像专业现状进行剖析,国内医学影像学专业校企合作模式主要包括专业建设、科研、就业、实习、课程等。人工智能技术在医学中的发展、应用创新了医学影像学的校企合作应用型人才培养模式。

关键词： 医学图像分析   肺气肿   大脑发育   肺气肿亚型分类   肺气肿语义分割   MRI图像纵向预测  

摘要： 作为现代医学研究和临床诊断中最重要的辅助工具之一，医学影像可以清晰地反映人体内部解剖结构与病理变化，为临床诊断、病情评估以及医学研究提供了客观的依据，使医生和研究学者能够对疾病进行更全面的观察和研究。近年来，随着计算机技术的不断发展，以深度学习为代表的新一代人工智能技术已经广泛地应用于医学影像分析。然而，由于医学影像分析自身的特殊性，计算机技术在医学影像分析的具体应用场景中面临着一些特有的挑战，如病变尺度变化较大、图像标注不完善、影像数据发生缺失。　　因此，本文基于两个医学人工智能应用场景，包括肺气肿亚型定性定量化分析和婴儿脑疾病研究，针对医学影像分析的特点与挑战，对大尺度变化的病变分类方法、基于部分标注的图像分割方法、以及纵向缺失图像预测方法等关键技术展开研究。本文的主要工作与贡献概括如下：　　（1）针对肺气肿病变尺度变化较大的特点，提出三个基于多尺度信息融合的病变模式分类方法，分别为多尺度早期融合残差网络、多尺度后期融合残差网络、以及基于注意力的多尺度深度融合残差网络。它们通过构建针对于不同尺度输入图像的多个分支网络来捕获丰富的多尺度图像信息。其中，前两者分别采用了早期融合和后期融合的方式对不同分支网络的多尺度图像信息进行融合，基于注意力的多尺度深度融合残差网络则在不同级别的网络层中利用了注意力融合模块对不同分支网络的特征进行融合。注意力融合模块可以针对性地加强有效特征，得到表征能力更强的融合特征。将不同分支网络中多个层级的特征进行融合则可以加强不同分支网络之间的联系并且促使模型提取到更加完备的特征。另外，模型的训练采用了多分支网络联合训练的方式，通过提升分支网络的特征提取能力来提升模型的整体分类性能。实验结果验证了多尺度信息对于肺气肿亚型分类任务的重要性以及提出方法的有效性。与现有的肺气肿亚型分类方法相比，本文提出的方法达到了更优异的分类效果。　　（2）针对肺气肿语义分割任务中的标注不完善问题，提出基于部分标注的端对端半监督语义分割方法。该方法在模型训练迭代的过程中根据肺组织高层语义特征之间的相似性来动态地生成无标注肺组织区域的伪标签，并将其加入模型的训练过程。为了保证所加入伪标签的正确性，本文一方面采用基于语义相似性的伪标签筛选策略来获取高质量的伪标签，另一方面提出Fisher损失函数来提高伪标签的自身质量。实验结果表明，提出的方法能够有效地利用无标注数据来提高模型性能，并且可以与不同端对端分割网络相结合，具有较好的可拓展性。与现有的肺气肿语义分割方法相比，本文提出的方法在测试时间以及分割效果上都表现出更加优异的性能。　　（3）针对婴儿脑相关研究中影像数据纵向缺失的问题，提出两个基于感知对抗网络的纵向缺失图像预测方法，分别为多级特征辅助的感知对抗网络和自适应多模态融合的感知对抗网络。多级特征辅助的感知对抗网络首先在对抗学习的过程中融入了基于特征级别的重建损失函数（即感知损失函数）以提高预测图像与真实图像的一致性;其次利用了预训练的特征提取器提取出的多级特征来辅助判别器学习，通过提高判别器的区分性能，间接地提高生成器的预测性能。在上述方法的基础上，自适应多模态融合的感知对抗网络考虑了生成器编码过程和解码过程的多模态信息融合，它通过利用多个模态图像的相互补充信息来缓解婴儿时期大脑MRI图像组织对比度降低所带来的影响，进一步提高了模型的预测性能。实验结果表明提出方法能够预测出外观真实且细节准确的图像，并且在定量与定性评估中表现出优异的预测性能。　　（4）基于实际应用场景，进行了相关探究性实验。首先，探究了不同亚型肺气肿与肺功能指标之间的相关性。实验结果表明，全小叶型肺气肿和小叶中心型肺气肿与FEV1、PEF、FEV1/VCmax、MVV等肺功能指标之间存在相关性，而间隔旁型肺气肿与以上肺功能指标之间均不存在相关性。其次，探究了预测的婴儿脑MRI图像在实际任务中的可用性。实验结果表明，在ADOS（AutismDiagnosticObservationSchedule）群体预测任务和胎龄回归任务中，利用提出方法预测的图像来扩大训练集不但没有降低模型的性能，反而带来了性能的提升，这说明预测图像的质量是实际应用中可以接受的水平，反映了预测图像应用于实际任务的潜力。

关键词： 图像分割   2D-3D配准   VTK   相似性度量   梯度  

摘要： 近年来,得益于计算机科学技术和电子成像技术不断的快速发展,为医学影像引导临床手术提供了便利条件和科学依据,也提供了诸多具有意义的技术挑战。医学影像引导临床手术技术中的分割和配准关键部分,也成为了计算机辅助医院外科手术领域的研究热点与难点。本文以医学影像引导临床手术的应用为背景,以膝关节医学图像为研究对象,着重对该技术过程中的分割与配准进行探索和研究。对存在粘连或重叠问题的膝关节图像分割,设计提出相关的分割改进算法,对膝关节2D图像和3D图像的配准,设计提出相关的配准算法。本文的主要研究工作如下:首先,为了实现膝关节图像感兴趣区域的分割,对现有的分割算法进行了研究,针对其中的重叠和粘连问题,提出了一种基于区域生长和水平集联合分割的半自动分割算法。先对DRLSE算法模型进行分析,并重新定义边缘停止函数,设定演化调节因子;再根据图像梯度信息调节该因子大小,使其在边缘重叠粘连位置具有更小的函数值,从而得到正确的演化结果;最后再结合区域生长将边缘粗大的外边界分割出来,得到完整的分割图像。通过实验对比,证明了本文算法的可行性,对膝关节图像中的粘连和重叠情况能够有效的分割,并且对噪声图像的边缘也能够正确识别,算法具有良好的鲁棒性。其次,对医学图像配准技术进行了研究,并进行了验证和改进,最终针对膝关节2D图像和3D图像的配准,在现有配准算法的基础上提出了一种算法组合:在配准中引入梯度夹角作为相似性度量函数,引入CMA-ES算法作为参数寻优方法。在算法实现上,利用支持CUDA架构的GPU进行加速,完成快速配准;通过实验对比证明本文配准算法组合在配准速度和准确度上比传统的方法具有更强的优势。最后,利用VS2017和VTK开源库为开发基础,设计实现了一套简易的医学图像处理系统,主要功能是实现医学图像切片的阅读,三维图像的重建与可视化显示。

关键词： 医学影像重建   图像配准   图像插值   图像拼接  

摘要： 医学成像通常是指在数字健康检查中,以诊断和治疗为目的,创建被试者体内解剖结构影像的技术和过程。常见的医学成像包括解剖成像和功能成像两种模式,其技术生成的图像可以提供被试者的组织、结构和功能信息。医学影像诊断是临床数据中较为重要的诊断依据之一,通常医生需要借助医学影像判断被试者是否存在病灶区域,并根据病灶的轻重程度对疾病状态进行评估和分级。在影像采集过程中,获取的原始医学影像由于样本自身重力、扫描成本以及操作不当等因素,出现器官或组织在成像的过程中引发物理性撕裂、分辨率降低或者拼接顺序错乱的现象,导致图像退化。医学影像重建针对不同的退化原因,借助算法思维和计算机算力的辅助,通过一系列的图像处理技术,将退化图像重建为理想情况下的完整图像。重建后的医学影像能够在分类、检测和分割等领域进行研究建模和量化分析,为临床提供数据标注和统计分析方面的参考,达到提高诊断准确率和效率的目的。因此,在医学影像处理和分析中,影像重建具有极其重要的作用。图像配准、插值和拼接是医学影像重建相关应用的重要方法,有利于多方面整合被试者的影像信息、提高图像分辨率以及复原完整图像,为疾病预测与分析、辅助诊断等提供了技术支持。在临床解决实际问题的过程中,由于医学影像在获取和应用中的特殊性,包括因操作过程、采集时长以及医生工作量等因素产生的复杂需求,通常需要联合配准、插值和拼接等多项任务交叉进行。图像插值是配准中不可或缺的关键步骤,配准有利于拼接精确度的提高,拼接结果也可以应用于插值和配准的过程中。为解决医学影像临床基础研究中的实际需求,针对图像重建任务中面临的难题,基于图像处理和分析领域的关键技术,本文主要研究内容包括以下几部分:(1)基于分段配准的有损伤性鼠脑光片荧光显微影像重建。在鼠脑光片荧光显微影像的采集过程中,因鼠脑自身重力或操作过程不慎等原因,容易引起器官或组织产生物理性撕裂。针对以上问题,本文借助核磁共振成像可用于颅腔内或活体扫描的优势,提出了基于核磁共振与光片荧光显微影像分段配准的影像重建方法。考虑两种模态影像在鼠脑解剖结构上的一致性,利用Waxholm空间图谱及其对应的标注图像,使用随机游走和形态学方法分别对鼠脑核磁共振和光片荧光显微影像进行无监督分割。将配准应用于分割后的光片荧光显微影像和核磁共振影像,获取全局范围内的形变场。结合基于核磁共振影像的模板和拉普拉斯方程对各部分的形变场进行图像融合,通过图像扭曲和重采样获取到修复后的光片荧光显微影像。该方法解决了分段配准过程中多模态影像无监督分割以及图像融合的问题,被初步应用在鼠脑同体配准和异体配准中,为鼠脑光片荧光显微影像的后续处理和分析提供了思路。(2)基于空间信息和插值的多模态人脑核磁共振影像重建。在人脑核磁共振T2-Flair加权影像的采集过程中,由于存在成像条件的限制,包括扫描时长、成像序列差异或采集成本等,通常仅能在某一轴向平面获取高分辨率的三维核磁共振影像数据。针对以上问题,本文利用T1加权影像扫描时间短的优势,提出了基于空间信息和插值的多模态图像重建方法。该方法结合高层厚值的T2-Flair加权影像和低层厚值的T1加权影像间的多模态信息,引入空间约束关系,结合条件生成对抗网络构造出图像高分辨率重建模型。在可视化和量化评估方面,该模型均被证实能够有效提高某一轴向平面的分辨率,为后续图像病灶区域分割或疾病分析等工作提供了高分辨率的数据。(3)基于图像拼接的组织病理影像重建。在与人体组织病理影像相关的多模态影像研究中,由于组织病理影像仅对局部组织制作切片,无法满足联合其它模态高分辨率影像在全局范围内分析影像间相关性的需求。针对以上问题,本文融合无重叠图像拼图的思路,提出了基于图像拼接的组织病理影像重建方法。该方法建立在病理切片为矩形的前提假设下,构造出一个未知方向和排列的碎片重建问题。结合马氏梯度度量和投影的幂方法的优势,基于二次规划模型,该方法将碎片间的组合优化难题转化为有约束的非凸优化问题,建立一种图像拼接模型。利用马氏梯度度量计算碎片相邻的关系,既考虑了边缘像素的灰度信息,又引入了边缘像素的梯度信息,提高了度量的准确性。基于投影的幂方法能够将碎片间的相邻关系在高维空间中表示,并结合随机的初始排序状态,利用迭代的幂方法和空间投影,进一步保证优化算法在高维空间中收敛到最优解的准确性,减少图像重建和复原的时间。在可视化和量化评估方面,该方法验证了无重叠未知方向和排序的图像拼接重建算法的有效性,为后续不规则碎片图像重建以及基于病理影像的多模态影像分析提供了潜在思路。综上所述,本文从医学影像诊断和基础研究面临的实际需求出发,根据数据集的特点和待解决的问题设计模型与算法,达到完成医学影像重建任务的目的。实际需求方面包括鼠脑光片荧光显微影像物理性损伤修复重建、人脑核磁共振T2-Flair加权影像高分

关键词： 多模态医学影像   磁共振成像   影像生成   病灶分割   生成对抗网络  

摘要： 多模态医学影像可以反映人体不同组织的不同视觉特征,已成为人工智能、生物医学、计算机科学等学科的主要研究对象。基于多模态医学影像的病灶分割可应用于疾病诊断、术前方案、智能医疗和医学大数据分析等研究领域。近年来,随着深度学习算法的快速发展,基于深度神经网络的多模态病灶分割已取得了较大进展。然而,受扫描时间、采集成本等因素的影响,临床上有效的多模态影像数据样本少,因此不利于以数据驱动的人工智能算法在该领域的应用。与此同时,因为病灶是复杂的生理现象,且病灶影像表征具有特异性、不稳定性、异质性等特征,所以病灶分割的准确性、普适性较低。本文针对临床多模态影像数据缺乏和多模态病灶分割准确率较低两个问题,从理论研究和算法应用角度出发,以脑肿瘤和脑卒中的多模态磁共振成像(Magnetic Resonance Imaging,MRI)为研究对象,以循环一致生成对抗网络(Cycle-consistent Generative Adversarial Networks,Cycle GAN)为基础网络,提出了三种多模态医学影像生成及病灶分割算法,并应用于现有的公开竞赛数据集,实现了多模态影像生成和高精度脑部病灶分割。本文的主要研究工作如下:(1)提出基于感知循环一致性的生成式多模态影像生成与分割网络(Perceptual Cycle-consistent Generative Cross-modality Segmentation,PerCycle GAN-CMS)。首先,提出基于感知循环一致生成对抗网络(Perceptual Cycleconsistent Generative Adversarial Networks,Per-Cycle GAN)的脑肿瘤多模态影像生成算法。Per-Cycle GAN以Cycle GAN为基础网络,增加感知一致性损失,构建新网络,生成高质量的新模态影像。感知一致性损失在多层语义级上约束生成影像与目标影像的映射关系。其次,将Per-Cycle GAN与级联各向异性卷积神经分割网络级联,构建Per-Cycle GAN-CMS,实现脑肿瘤病灶分割。将PerCycle GAN-CMS算法应用于Bra TS2015(Multimodal Brain Tumor Segmentation Challenge 2015,Bra TS2015)数据集。实验表明,(a)本文提出的Per-Cycle GAN的多模态生成性能优于Cycle GAN。Per-Cycle GAN在四种情况下生成影像的峰值信噪比(Peak Signal to Noise Ratio,PSNR)、结构相似性(Structural Similarity Index,SSIM)和均方误差(Root Mean Square Error,RMSE)三项客观指标均可满足临床应用需求,即:T1→Flair(23.859,0.867,17.315)、Flair→T1(24.546,0.896,16.421)、T1→T2(25.544,0.902,14.196)、T2→T1(24.206,0.908,17.328)。(b)本文提出的Per-Cycle GAN-CMS算法的分割效果高于单个输入模态时的分割指标。以真实T1+生成Flair为例,Per-Cycle GAN-CMS算法的Dice系数(0.679)、敏感性(0.678)、Hausdorff95距离(19.487)优于真实T1的Dice系数(0.633)、敏感性(0.612)、Hausdorff95距离(19.674)。由此可见,本文提出的Per-Cycle GANCMS可以强化病灶细节信息,提高生成模态质量,提升病灶分割客观精度。(2)提出基于双尺度感知循环一致性的生成式多模态影像生成与分割网络(Dual-scale Cross-modality Perceptual Cycle-consistent Generative Cross-modality Segmentation,Dual CMP-GAN-CMS)。首先提出基于双尺度感知循环一致生成对抗网络(Dual-scale Cross-modality Perceptual Cycle-consistent Generative Adversarial Networks,Dual CMP-GAN)的脑肿瘤多模态影像生成算法。Dual CMPGAN以Per-Cycle GAN为基础网络,在生成器中引入空洞残差模块,从而充分保留图像细节结构和上下文信息。其次,构建双尺度图像块判别器,通过判别不同大小的图像块优化生成器,使得网络能表征多尺寸病灶。最后,将Dual CMPGAN与级联各向异性卷积神经分割网络进行级联,构建Dual CMP-GAN-CMS,实现脑肿瘤病灶分割。将

关键词： 喉癌   喉前连合   医学影像学   组织病理学  

摘要： 目的:基于组织病理切片将喉部影像学与喉组织病理学相结合,探讨喉部CT及MRI在声门型喉癌喉部分切除术前肿瘤评估的价值。材料与方法:以声门型喉鳞状细胞癌行喉部分切除术患者为研究对象,收集2018年1月至2020年12月浙江大学医学院附属第二医院耳鼻咽喉科手术患者共32例。术前完善CT及MRI,对所有喉切除标本行常规肿瘤组织及前连合的病理学检查,与术前影像学资料进行对比观察和数据分析。其中4例喉标本完成了前连合的连续组织病理切片,HE染色,专业显微成像系统扫描获取切片图像。结果:1.32例声门型喉癌患者术后病理均证实为鳞状细胞癌,累及前连合21例。2.对于喉癌原发灶的诊断,CT、常规MRI及弥散加权成像(Diffusion weighted Imaging,DWI)的敏感性为77.4%、93.5%及100%。当喉癌累及前连合时,CT检查的敏感性和特异性分为60%和45.5%;常规MRI检查的敏感性和特异性为85%和36.4%;DWI检查的敏感性和特异性为100%和72.7%。3.当喉癌累及前连合时,阳性组增强C T值明显高于阴性组,最佳阈值为73.735 HU。DWI检查中,阳性组的表观弥散系数(Apparent Diffusion Coefficient,ADC)值低于阴性组,最佳阈值为1.33×10-3 mm2/s。4.喉前连合组织学组成有声带肌插入纤维、胶原纤维组织、弹力纤维(前黄斑)、上皮层及其下的腺体和脉管成分。喉前连合对早期肿瘤浸润有屏障结构。结论:***、常规MRI及DWI对喉癌原发灶的诊断敏感性均较高,对前连合区的诊断DWI有较高价值。2.增强CT值和ADC值可用于喉癌原发灶和前连合肿瘤浸润的诊断;最佳阈值的确定对恶性病变的判定有一定价值。3.前连合特有的组织解剖结构,影响了早期肿瘤浸润的方向和深度。