教学课程资源库 更多>>

关键词： 语义分割   注意力机制   三维重建  

摘要： 医学影像分割是指依据图像内部各区域的特性,蕴含的病理信息,检测并标注出病患组织,进而辅助医生诊断,进行病理分析。但由于医学影像在图像采集过程中容易出现噪声、灰度不均、图像分辨率较低等问题,损失了许多有价值的特征信息,这对于医学影像分割是重大的挑战。目前针对医学影像的深度学习分割方法对医学影像特性考虑不够充分,未能挖掘语义与形态等模态特征的内在联系,且难以泛用到不同组织器官场景以及网络鲁棒性设计上有所欠缺,这些问题很大程度上阻碍了医学影像分割的发展。更进一步地,对于医学影像的三维重建,目前适用性最广的普通平扫CT难以重建出完整的三维结构。因此,本文围绕医学影像分割场景,从网络模块设计角度出发,提出了改进的方法,并在其基础上针对平扫CT产生的序列化图像,运用深度学习技术,完成三维重建的工作,本文的主要工作如下:(1)针对视网膜血管分割场景,提出了基于语义与形状特征融合的分割算法。通过语义与形状感知提取子网络提取特征图中的语义与形状信息,通过语义与形状特征融合子网络,将深层卷积层中的语义信息与浅层卷积层中的形态特征融合,引入注意力机制,使得网络能够依据语义与形状特征对分割结果的贡献,自适应融合这两种特征。在DRIVE以及STARE视网膜标准数据集上的实验结果表明,本文算法优于目前的视网膜血管检测工作。并在敏感性指标上优于传统的U-Net网络8.2%。(2)针对不同模态、组织部位的医学影像分割场景,提出了一种更通用的注意力机制-局部注意力。本文设计的局部注意力子网络,利用阶段推理结果,将前景像素与边界距离转换为相应的注意力系数,使得网络对不同形态的分割目标均保持显著的注意力。本文在肝脏、视网膜、肺部以及细胞核,这四个不同形态医学影像数据集上的实验结果证明,局部注意力可以提升骨架网络的性能,此外通过对网络的分割结果和中间特征图可视化,发现局部注意力可以有效地引导网络关注前景目标。(3)针对普通平扫CT序列图像,提出了一种基于点云补全的肝脏三维重建算法。通过分割算法对肝脏CT序列图像进行预分割,将分割结果处理为相应的肝脏点云数据。采用点云数据降采样,模拟CT平扫层厚,导致层间信息丢失的问题。利用点云补全算法,实现对CT影像中缺失的肝脏层间数据的恢复。在基于Li TS肝脏数据集自建的点云数据集上的实验表明,此重建算法能够在采样数据极不均衡的情况下仍保持较好的重建效果。

关键词： 医学影像学   SPOC教学   雨课堂  

摘要： 2022年5月15日至21日是全民营养周，今年的主题是“会烹会选会看标签”，提倡大众更好地利用食物，在烹调中减油减盐，享受食物的天然美味。不合理的膳食结构会带来严重的疾病负担，《2018年全球营养报告》指出，全球近1/5的死亡与饮食相关，其中主要原因是高盐，全谷物、水果、坚果摄入量少，以及能量不平衡。如何规划饮食才最合理？怎样选择营养价值高的食材，烹调出既健康又美味的食物？营养专家给出以下建议。

关键词： 深度学习   卵巢癌检测   直肠癌分割   多尺度特征结构   注意力机制  

摘要： 医学影像的肿瘤检测与分割在医学影像处理任务中是重要的组成部分,传统的分析方法是依靠经验丰富的医生对肿瘤进行粗粒度或细粒度检测。随着深度学习的发展,以医学影像数据为驱动,通过搭建深度学习算法模型对医学影像的肿瘤进行检测和分割获得了快速的发展,特别是在辅助医生进行肿瘤的诊断和筛查等方面。本文构建卵巢癌和直肠癌数据集,搭建和改进相关深度学习模型,实现对卵巢癌CT(Computer Tomography)影像的肿瘤检测研究和直肠癌CT影像的肿瘤分割研究,并取得了良好的效果。首先,数据集构建。数据均取自临床病例,卵巢癌数据来源于青岛大学附属医院,直肠癌数据来源于第七届“泰迪杯”数据挖掘挑战赛。通过专业医生的指导,对卵巢癌数据进行了格式的选型、DICOM(Digital Imaging and Communications in Medicine)格式数据加窗处理、目标检测标签标注工作。然后对卵巢癌及直肠癌数据进行数据扩增。最后实现对卵巢癌和直肠癌数据集的划分。数据集的构建工作为后续模型训练准备了标准化的清洁样本。对于卵巢癌CT影像的肿瘤检测研究,首先进行卵巢癌数据集的通道数转换。然后搭建和改进Faster R-CNN(Faster Region-based Convolutional Neural Network)模型,在模型的主干特征提取网络结构上,设计搭建了Res Net50(Residual Network50)和多尺度特征结构融合的主干特征提取网络。模型纵向对比实验中,搭建未加多尺度特征结构的Faster R-CNN模型并进行评价指标对比,本论文提出的模型m AP(Mean Average Precision)达到89.24%,高出对比实验近4个百分点,因此更加适用于卵巢癌肿瘤的目标检测。而模型横向对比实验中,搭建YOLOv2(You Only Look Once version 2)和Center Net(Center Network)模型并进行评价指标对比,本论文提出的模型检测精度更高,m AP不仅高出YOLOv2近5个百分点,而且高出Center Net近2个百分点,但检测速度不如YOLOv2和Center Net。因此本论文提出的模型适用于处理卵巢癌CT影像的肿瘤检测任务,特别是多尺度特征结构针对卵巢癌病种的检测有很好的效果。而针对直肠癌CT影像的肿瘤分割研究,最大的难点在于肿瘤本身较小不易分割导致的肿瘤正负样本不均衡的问题,本文通过搭建和改进U-Net(U-Network)直肠癌肿瘤语义分割模型来解决此问题。根据肿瘤位于盆腔CT的相对位置较固定的特点,本文对直肠癌数据进行固定位置裁剪,缩小负样本区间,解决正负样本不均衡的问题。然后搭建U-Net语义分割网络,并设计加权交叉熵损失和Dice损失结合的损失函数,来解决训练中正负样本不均衡的问题,同时考虑了全局特征。对比实验结果表明,相较于交叉熵损失,本文提出的损失函数使得模型在测试集上平均Dice系数达到0.9042,高于对比实验的0.8847,正确率Acc(Accuracy)达到98.06%,高于对比实验的97.76%。最后本文设计了带有注意力机制的U-Net模型并搭配本文设计的损失函数,模型在测试集上的平均Dice系数达到0.9342,正确率Acc达到99.59%,既进一步解决了直肠癌肿瘤正负样本不均衡的问题且提升了模型对肿瘤边界分割能力,又提高了分割精度,具有临床实用参考价值。本文的研究对于医生在卵巢癌和直肠癌这两类病种上进行肿瘤的诊断和筛查具有一定的临床实用价值。下一步的研究计划是进一步提高模型对小样本卵巢癌肿瘤的检测能力,以及进一步提高模型对直肠癌肿瘤边界的分割能力。

关键词： 医学影像分割   神经架构搜索   多目标进化算法   权值共享   代理模型  

摘要： 医学影像分割任务是近年来计算机视觉的一个关注热点和研究难点。医学影像分割任务的数据集通常存在样本数较少,数据质量不高等问题,而对于分割精度的要求又比较高。目前在医学影像分割任务上的主流网络依然是U-Net及其变种卷积神经网络(Convolutional Neural Network,CNN)。然而基于朴素3×3卷积的U-Net有着其固有的局限性,比如感受野有限等。此外针对一个特定的数据集,通常需要定制化设计网络,这不仅耗时耗力还对研究人员的特定经验知识提出很高要求。神经架构搜索(Neural Architecture Search,NAS)方法被提出用以实现自动地网络设计,然而通常的神经架构搜索算法只致力于提高网络的性能,并且每次只能搜索得到一个网络架构。而面对目前网络部署在场景和设备上日益多样化的趋势,网络本身的复杂程度或者参数量也成为了一个重要的考量因素。针对上述问题,本文首先设计了一个混合CNN与Transformer的医学影像分割网络CTU-Net来改善U-Net的全局特征提取能力与感受野,并进一步设计了CTU-Net网络的多目标神经架构搜索算法CTU-NAS,以便搜索具有高精度和低参数量的子网架构。本文的主要研究内容如下:(1)结合卷积网络与Transformer的各自优势,设计了混合CNN与Transformer的医学影像分割网络CTU-Net。首先,本文设计了残差菱形空洞卷积模块去替换朴素3×3卷积模块,可以用更少的参数量,获得更大的感受野。其次,在编码器和跳跃连接中加入有全局自注意力机制的Transformer模块,不仅能够加强特征的提取,而且能够帮助在不同阶段引入全局的感受野。(2)利用进化算法的强大多目标处理能力,设计了CTU-Net网络的多目标进化神经架构搜索算法CTU-NAS。CTU-NAS通过同时优化网络的参数量和精度,可以运行一次搜索得到一组参数量不一但精度尽可能高的网络架构。在CTU-NAS中设计了CNN和Transformer混合的搜索空间,并且针对卷积模块设计了特定的通道排序和选择策略来降低搜索空间的维度。(3)充分利用已学到的权重知识和宝贵的历史评价数据,设计了双重加速方法加速架构的搜索。权值共享的加速方法使得子网架构能够从超网中继承相应部分的权重进行增量训练,而无需从头开始训练。离线和在线混合的代理预测加速方法能够对架构性能进行廉价的近似评估,从而减少昂贵的真实评估次数。在ISIC2018和MoNuSeg两个医学影像分割数据集上的实验结果表明,本文设计的方法能够自动搜索出性能超越或者接近人工精细化设计的网络,还能在很大程度上压缩网络的参数量。并且设计的双重加速方法,极大地降低了搜索算法的时间成本。

关键词： 四氧化三铁   多功能分子影像探针   磁共振成像   肿瘤治疗  

摘要： 目的:本研究采用水热法合成了一种水溶性较好的超顺磁性纳米分子影像探针（Fe3O4-PEG/PAM@HA）。该探针具有MRI成像和载药双功能,拥有较好磁共振成像效果的同时兼具治疗的效果。方法:以硫酸铁为铁源,聚丙烯酰胺和聚乙二醇为表面活性剂,于高压反应釜制备得到水溶性较好的Fe3O4-PEG/PAM纳米粒子。并通过物理包覆将透明质酸（HA）包裹于其表面,得到具有肿瘤靶向能力的超顺磁性纳米分子影像探针（Fe3O4-PEG/PAM@HA）。对各组材料进行了XRD、FTIR、SEM、TG、VSM、DLS等表征,并通过体内体外实验测试纳米探针材料的生物相容性、靶向性和MRI成像能力。最后将盐酸阿霉素负载于Fe3O4-PEG/PAM@HA上进行载药、释药和肿瘤治疗研究。结果:冻干后的Fe3O4-PEG/PAM@HA材料为棕色粉状物,室温下静置1 d后未见明显沉淀。XRD确认合成物为Fe3O4。FTIR结果表明聚丙烯酰胺、聚乙二醇和透明质酸成功包裹于Fe3O4纳米粒子表面。纳米粒度仪显示Fe3O4-PEG/PAM@HA纳米粒子的水合粒径为407 nm±191.4 nm,粒径分布较窄。SEM结果表明其形貌为球形,通常由多个纳米粒子聚集成大球,直径在300 nm左右。Fe3O4-PEG/PAM@HA的磁滞曲线表明其具有超顺磁性,饱和磁化强度约为48.83 emu/g。Zeta电位仪测得Fe3O4-PEG/PAM@HA的表面所带电荷为-42.6 m V±6.72 m V。体外溶血实验结果表明,各浓度Fe3O4-PEG/PAM@HA纳米粒子均未见明显溶血现象,各组材料溶血率均低于国家标准（GB/T 16886）,具有良好的血液相容性。将各浓度的Fe3O4-PEG/PAM@HA材料与293或Hep G2细胞共培养并进行CCK8细胞毒性测试,结果显示,各组材料均未见明显的细胞毒性。细胞体外摄取实验表明,Fe3O4-PEG/PAM@HA材料可被PC12细胞摄取,材料与细胞共培养1 d后细胞状态良好,光镜下未见形态异常或坏死/凋亡征象。荧光图片以及流式细胞仪结果均表明Fe3O4-PEG/PAM@HA@DOX相比Fe3O4-PEG/PAM@DOX具有更高的荧光信号,表明经透明质酸修饰后,材料的靶向能力得到提高。利用MRI成像序列测得该探针的r2弛豫效能为201.97 m M-1·s-1,采用T2WI序列行荷瘤裸鼠磁共振成像实验,结果表明,小鼠肾脏、肝脏及肿瘤组织的MR信号在0-1.5 h内出现显著降低。此外,材料具有良好的肿瘤靶向性能,肿瘤区MR信号在0.5-1.5 h出现显著降低,证实了该纳米粒子对肿瘤组织具有良好的靶向性能。研究表明该材料代谢途径为肾脏和肝脏,体内的半衰期约为1.5h。载药性能研究结果显示Fe3O4-PEG/PAM@HA的载药率和包封率分别为55.91%和6.21%。72小时内载药材料在酸性条件下药物释放率为18.66%,在中性环境下释放率为12.07%,说明其具有一定的药物缓释和p H响应性能。细胞实验结果显示Fe3O4-PEG/PAM@HA@DOX纳米粒子能显著抑制肿瘤细胞生长。动物体内抗肿瘤实验结果显示,相比于未治疗的裸鼠,经Fe3O4-PEG/PAM@HA@DOX治疗10 d后的裸鼠体重能维持稳定,肿瘤体积不再进一步发展,显示该载药材料具有良好的抑制肿瘤的效果。结论:本研究利用水热法制备出具有优异水溶性、靶向能力、磁响应性和载药性能的多功能超顺磁性纳米分子影像探针（Fe3O4-PEG/PAM@HA）。探针材料具有优异的生物相容性的同时还具有优秀的肿瘤靶向能力。此外该探针的r2弛豫效能高于目前大多数已报道的及商业化的磁共振造影剂,说明其具有优异的T2WI成像性能。动物体内MRI成像实验表明,该纳米粒子具有较长的血液半衰期和肿瘤靶向能力,是一种有良好临床应用潜力的肿瘤靶向T2WI磁共振造影剂。药物负载和异体移植瘤治疗实验结果显示,本材料具有较理想的载药率、包封率以及一定的药物缓释性能和p H响应能力,动物实验显示出良好的抑制肿瘤生长的效果。综上所述,本文成功制备同时具有载药和磁共振成像能力的多功能分子影像探针,为肿瘤诊断和靶向治疗提供了新的手段。

关键词： 肿瘤分割   图像融合   肿瘤分类   肿瘤生长预测   深度生成模型  

摘要： 肺癌是所有癌症中发病率和死亡率最高的癌种,严重地威胁了人类的健康安全。肺癌患者的五年生存率仅约为15%,但经规范化治疗的早期肺癌患者,其五年预期生存率接近90%。借助影像学技术对人体进行筛查,可以有效地发现早期肺癌症状,是降低肺癌患者死亡率的重要手段之一。低剂量螺旋计算机断层扫描(Computed Tomography,CT)是国际公认的提高早期肺癌检出率的影像学检查方法,利用CT影像可以有效地判断早期肺癌是否存在,对肺癌特征进行跨时期的纵向对比后揭示肿瘤的生长规律,对于制定相应治疗方案具有重要意义。然而,目前现有的肺部病灶计算机辅助智能诊断处理技术,大多是针对独立时期的影像片段,忽略了病灶随时间逐步演变的特征和发展趋势的研究。本论文从医学图像处理方法着手,主要针对肺癌的智能筛查和辅助诊断进行研究。在与合作医院深入交流后,通过以肺癌CT影像为主,结合正电子发射型计算机断层显像(Positron Emission Computed Tomography,PET)影像的多模态数据的分析以及机器学习相关技术理论进行研究,探索CT影像序列内病灶分割方法,构建肿瘤恶性分级和分期分类的诊断模型,进一步研究基于肺部序列CT影像的纵向预测,实现早期肺癌的预警。具体而言,主要研究工作和成果包括如下几点:(1)针对目前现存肺结节分割方法都是旨在分割某种单一类型的肺结节,缺少结节分割普适性的问题,本文提出了一种通用型结节分割方法——基于双注意力机制的分割对抗网络模型(Segmentation Adversarial Network with Dual Attention)。该方法主要包括分割网络模块和鉴别网络模块两部分,其中分割网络模块首先会对CT图像中的肺结节进行分割,鉴别网络模块则会根据分割后的肺结节与金标准之间的距离,测定出两者的差异作为分割网络性能的优劣指标,并反馈回分割网络,进而调整分割网络的参数,两者迭代对抗训练,最后实现肺结节的分割。在得到分割结节的结果后,本文使用视觉注意力与空间注意力改善分割结果,其中视觉注意力主要提取肺结节的语义特征,而空间注意力则是提取肺结节在CT序列中的空间特征。最后分割像素精度达到了90.14%,实验结果显示,本文方法能够有效地将肺结节从CT图像中分割出来,增加双注意力机制后的分割对抗网络可以提高肺结节的分割效果。(2)针对目前已有肺结节良恶性识别算法精度复杂性较高,且不可解释性较强等问题,本文设计了一种基于加权集成分类的肺结节恶性度分类算法。该方法不同于以往的肺结节诊断方法,不是直接对肺结节进行良恶性分类,而是对肺结节的恶性程度分级,使用降噪自编码器、残差网络、灰度共生矩阵、几何参数来表征肺结节的特征,使用不同分类器对提取到的特征进行分类,根据分类器的错误率动态调整分类器在集成模型中的权重,最终集成为肺结节自动诊断模型。为了验证方法的有效性,本文从收集到的数据集中提取到的肺结节图像以及对应的标签进行了验证。通过对比实验、方法内部的消融实验以及不同模型的选择等多方面的实验,其中准确度达到了93.10%、精确度达到了83.85%、敏感度达到了81.75%,综合验证了本文提出的集成方法切实有效。(3)针对PET和CT单一模态影像对于肿瘤特征的表达不同以及对于肺腺癌分期诊断不足等问题,本文设计了一种基于孪生金字塔网络(Siamese Pyramid Network)的PET-CT图像融合方法,并对肺腺癌进行了分期分类。该方法在传统的孪生卷积神经网络中加入了特征金字塔变换操作,用以提取图像的多尺度信息,并使用了互相关操作对提取到的特征进行融合。在设计目标函数时,本文考虑到了图像融合问题的性质,引入了图像结构相似性作为目标函数,并加入了L1正则化以提高图像的质量。融合后的定量指标和与其他方法的定性比较都表明了本文所提方法能够有效地融合两种模态的医学影像,且在细节上的呈现也有较好的性能。此外,本文还验证了PET-CT融合后的图像对于分期诊断能力相对于单模态图像确有提高作用。(4)针对单点时间的影像无法充分表征肺腺癌的发展过程,本文提出了一种基于图像序列编解码模型的肿瘤纵向预测方法。通过对早期肺部肿瘤提取到的良恶性特征以及肿瘤的分期特征,利用编码-解码结构,将高维复杂的肿瘤序列CT影像映射到浅层的特征空间内,利用浅层可表示的肿瘤特征代表原始的肿瘤进行预测,并将预测后的肿瘤有效地重构回原始图像。通过条件循环单元与基于流的模型分别实现肿瘤特征的前瞻性预测与回顾性预测,进而恢复出肿瘤各个时期的病灶,完成肿瘤跨时期的生长演变规律建模,探索肿瘤序列影像在时间维度上的演变过程。通过在合作医院收集到的随访数据进行实验,结果表明,所提方法能够有效地实现肿瘤的纵向预测。最后,本文归纳总结了所做的工作,同时展望了未来工作的方向,并进行了进一

摘要： 《实用医学影像杂志》是山西省卫生健康委员会主管,山西医药卫生传媒集团有限责任公司主办的专业学术期刊。本刊为双月刊,双月30日出刊,国内外公开发行,国际标准连续出版物号ISSN 1009-6817,国内统一连续出版物号CN 14-1281/R,邮发代号22-195,定价12元/册。本刊面向医学影像专业及临床各专业学科的广大医务人员,重点反映我国普通放射、CT、磁共振、介入放射、核医学、超声、放疗等方面的新技术、新进展、新成果以及各种影像机械检修、投照及机器应用,同时刊登临床各专业学科医生应用影像技术诊治的新经验、新手段和新技术。

关键词： 医学图像分割   编解码网络   可变形卷积   阶梯金字塔融合   超轻卷积   形状引导策略  

摘要： 图像分割已广泛应用于生物医学、遥感对地观测、智能交通以及工业检测等多个领域。尤其在医学图像分析领域,图像分割能够实现器官、组织及病灶的识别和重建,是医生进行病情诊断及手术导航规划的重要计算机辅助手段之一。然而由于不同医疗成像设备采集到的图像有明显差别,容易存在噪声、模糊等现象,同时不同器官边界之间灰度值差异较小,这使得从医学图像中提取有意义的特征比自然图像更加困难。近年来,随着深度学习技术飞速发展,医学图像分割将不再需要手工制作的特征,卷积神经网络(CNN)可以成功实现对图像特征的提取与表达,从而成为有效的医学图像分割手段。与此同时,医学检测手段和技术的大幅提升带动了医学大数据的发展,这也为深度学习在医学图像分割上的应用提供了数据前提。因此,本文研究基于编解码网络的医学图像分割技术,主要解决常规编解码网络对于医学图像分割精度低、模型参数量大的问题,研究内容主要包括:(1)针对常规编解码网络无法提取不规则的器官形状特征并且无法获取多尺度空间上下文信息,导致分割精度差的问题,本文设计了基于可变形编解码器的神经网络模型。该模型首先将可变形卷积应用到神经网络编码器阶段,这可以帮助网络学习具有自适应结构信息的卷积核来获取更丰富的几何信息,从而更好的适应不规则的器官形状,增强模型建模几何变换的能力,提高模型的分割精度;其次设计了一个阶梯特征金字塔(Ladder-ASPP)应用到编解码器之间的特征融合阶段,Ladder-ASPP模块采用不同膨胀率的卷积替代池化操作,一方面能避免池化操作带来的下采样信息丢失不可逆的问题,另一方面采用不同膨胀率的卷积组合可以提取到全局多尺度空间上下文信息,同时采用了密集连接,这有助于模型在融合阶段更好的进行信息提取和传递。实验证明该网络框架有更好的特征表达能力,可以得到更准确的肝脏和肝脏肿瘤的分割结果。(2)针对常规编解码网络模型参数量大、存储需求高,并且在分割结果中边界不准确导致分割精度低的问题,设计了一种基于形状引导的超轻神经网络架构。本文首先设计了一种超轻卷积应用到编码器中,可以大幅度降低模型参数量,超轻卷积是对深度可分离卷积的进一步分解,它将标准卷积分解为深度非对称卷积和点卷积,这不仅可以有效减少模型参数数量,而且深度非对称卷积可以进一步提高模型的鲁棒性,点卷积可以帮助模型更好的进行特征组合利用;其次设计了一种形状引导的对抗策略(SAAE)来指导网络分割,SAAE可以探索图像中器官位置和形状的先验信息在低维空间的表达方式,在不需要更改原有模型的前提下通过附加形状差异学习,可以有效的学习形状表示,并且SAAE的监督不会造成网络模型参数量的增加,可以保证在资源受限场景下实现高质量的医学图像分割结果。实验证明该框架可以在较低的模型参数情况下实现更高精度和更精细边缘的分割结果。

关键词： 影像报告生成   多标签分类   注意力机制   LSTM  

摘要： 随着影像成像技术的发展,越来越多的成像手段被应用于医疗领域,但越来越多的医学影像数据增加了医生撰写报告的压力。医学影像的分析和报告撰写需要丰富的专业知识和临床经验积累,但医生会因为经验缺乏或者疲惫而出现误诊,漏诊的问题。随着深度学习在医疗影像处理中展现出巨大的潜力,使用深度学习算法辅助医生完成报告撰写工作成为研究热点之一。本研究主要对基于深度学习的医学影像报告生成方法进行了探索,研究主要内容包括。(1)本研究提出将特征提取网络在医疗数据集上重新微调,并通过对比实验证明Che Xnet在视觉特征提取中的优势。针对现有研究基于自然影像的网络结构进行医学影像特征提取,首先在医学影像中重新微调Che Xnet网络,并根据多标签分类任务的特点,在模型中使用Sigmoid激活函数层,最终根据实验数据的多视图特点分别训练特征提取模型。(2)本研究提出基于自适应下采样的CBAMPoo L的注意力下采样模块,通过该模块与胸部影像病变识别网络Che Xnet的结合,建立CBAMPoo L-Che Xnet模型用于完成胸部病变识别任务。与固定权重下采样方法不同,该模块在CBAM注意力的基础上插入自适应下采样模块,使得模型的视觉特征提取能力有了较大的提升。实验结果表明,较参考方法,在210个标签的分类任务中,多分类精度提升两倍以上,查全率指标提高5%以上。(3)本研究提出MIAFM框架用于对医学影像的视觉特征进行解码生成,进一步提高了视觉的局部特征和全局特征的联系。该算法分为基于增强的双向LSTM视觉上下文关系提取模型和基于伪标签共同注意力的全局特征提取模型。前者使用Swin-T模块处理局部特征与双向LSTM模型对视觉特征的关系进行学习。后者用共同注意力机制融合了全局特征和局部特征的主题词,并提出使用伪标签方法增加LSTM的收敛速度。实验结果表明,MIAFM框架能生成具有明确医学语义的影像学报告,证明了算法的有效性。