教学课程资源库 更多>>

关键词： 胸片报告生成   胸片异常检测   多模态文本生成   多模态学习   对比学习   目标检测  

摘要： 医学影像在患者的诊断、治疗和监测中发挥着关键作用。然而,在临床医学影像科领域存在着一系列问题,其中包括专业经验丰富的医学影像专家数量的有限性、不同地区医学影像科医生水平的不一致性,以及传统的医学影像分析方式存在高人工成本和低效率的问题。为解决这些问题,本文致力于通过深度学习方法实现医学影像的智能分析,旨在显著减轻医学影像科医生的工作负担,提高问诊效率,以此让更多患者享受到高质量、高效率的诊疗服务。 胸片是一类医学影像,具有获取成本低、应用广泛的特点。通过对胸片的分析可以判断出多种疾病,其在病人身体情况的评估中发挥着显著的作用,因此本文选择特别针对胸片这一医学影像类型展开研究。与一般领域的图片数据相比,胸片和报告数量较为有限,而且大多数胸片和报告都属于非异常情况,其大体特征相似。这使得针对胸片的报告生成所面临的问题不仅包括一般多模态生成模型所面临的多模态之间难以对齐、生成文本不可信等问题,同时还包括数据不平衡、图像特征难提取的问题。针对上述问题,本文提出了跨模态记忆增强的胸片报告对比生成网络模型CCMN(Contrastive Cross-Modal Network,CCMN)并在该算法的基础上构建了一个医学智能分析与生成原型系统。本文的具体工作内容如下: 首先,为解决胸片特征提取困难的问题,本文提出将胸片异常部位检测作为胸片报告生成模型的预训练任务。具体做法是将经过胸片异常部位检测预训练的视觉特征提取模块作为CCMN的视觉提取模块。本文通过消融实验分析,证明经过胸片异常部位检测任务预训练的视觉特征提取模块显著提升了最终生成报告的质量。 其次,为解决数据不平衡的问题,本文引入对比学习的思想,将对比学习模块引入CCMN模型。由此,在数据有限的情况下,通过充分利用文本和图像之间的对应关系,使得CCMN学习到良好的视觉特征与文本特征。本文在两个公开数据集上进行了实证研究,发现对比学习模块在较大的数据集上有效提升了文本生成的质量,在较小的数据集上并未观察到显著影响。 最后,为解决文本模态和图像模态难以对齐的问题,本文在CCMN模型中引入记忆模块。在编码阶段和解码阶段共用记忆矩阵,以促使文本模态和图像模态在训练过程中自然对齐。这一方法使得在有限模型容量的情况下,CCMN模型取得了与当前最先进技术水平的模型相媲美的生成效果。 基于前述提出的CCMN模型,本文设计与实现了一个医学影像智能分析与生成的原型系统。该系统实现了胸片报告的生成、胸片异常部位检测,为医学影像领域的智能分析提供了强有力的支持。

关键词： 深度学习   医学影像报告生成   自回归方法   扩散模型  

摘要： 医学影像报告生成任务是根据输入的医学影像,生成具有医学价值的诊断报告。对于提升医疗诊断效率,降低医生工作负担有重要的应用价值。早期的医学影像报告生成方法通常基于模板检索,生成内容形式古板,无法应对临床实践的诊断要求。基于深度学习的医学影像报告生成方法能够从大量数据中学习潜在模式,生成更灵活的诊断报告。相比较于图像字幕生成任务,医学影像报告生成的内容更专业性、纹理更精细、文本长度更长,面临着众多挑战。本文以X光胸片诊断报告为对象做了以下两项研究: (1)医学影像报告文本存在数据偏置的问题,即对正常区域的描述远多于对异常区域的描述,基于自回归的方法会倾向于将区域描述为正常。针对这个问题,本文提出基于多粒度疾病检测的医学影像报告生成方法。使用疾病分类层面的检测器和医学概念层面的检测器,提取丰富的诊断信息,并设计双流自适应解码器,兼顾视觉特征和疾病特征生成流畅的医学报告。另外,本文使用强化学习策略针对评价指标进一步优化模型。本文在两个广泛使用的公开数据集上进行了广泛的实验,所提出的方法相较于其他方法获得了更高的自然语言生成指标以及医学效益指标,说明该方法生成的报告质量更高,能够更好的描述异常区域。该方法耦合了疾病检测任务,适合用于疾病发病率数据偏置较为严重的场景。 (2)基于的自回归医学影像报告生成方法,存在训练阶段和推理阶段条件不一致的问题,进而导致推理阶段的错误累积。另外自回归方法训练时需要张量堆叠,计算复杂度随着文本序列长度呈立方次增长,计算复杂度高。为了避免自回归方法的缺陷,本文提出了基于扩散模型的医学影像报告生成方法。该方法不使用张量堆叠,推理阶段可以一次性生成所有文本,避免错误累积,计算复杂度降低至平方次,计算效率显著提升。该方法在两个广泛使用的公开数据集上进行了验证,性能优于所有基于模板检索的方法,在部分指标上优于先进的自回归方法。该方法对长文本推理计算效率更高,适合用于需要生成较长报告的场景。

摘要： 经过中国科学引文数据库（Chinese Science Citation Database,CSCD）的评审，《中国临床医学影像杂志》再次成为中国科学引文数据库来源期刊（2023—2024年）。感谢编委、作者、读者等关心支持我刊发展的专家、学者和机构！我刊将继续不忘初心、砥砺前行，办精品期刊、促学科发展。经过中国科学引文数据库定量遴选、专家定性评估，2023—2024年度中国科学引文数据库来源期刊1339种，其中中国出版的英文期刊316种，中文期刊1023种。中国科学引文数据库来源期刊分为核心库和扩展库两部分，其中核心库995种（以备注栏中C为标记）；扩展库344种（以备注栏中E为标记）。

摘要： 《实用医学影像杂志》由山西省卫生健康委员会主管、山西医药卫生传媒集团有限责任公司主办,中国标准连续出版物号为ISSN 1009-6817,CN 14-1281/R。报告内容包括普通放射、CT、磁共振、超声、介入放射、核医学等学科。栏目设有专论、论著、短篇论著、综述、讲座、经验介绍和病例报告等。1来稿要求a)总体要求:论点明确,材料可靠,数据准确,结构严谨,文字精练,重点突出,具有鲜明的科学性、新颖性、实用性。b)文题:力求简明、醒目并能反映文章的主题。中文文题一般以20字以内为宜。c)作者:投稿时作者姓名须按序排列,排序应在投稿时确定,在编排过程中不应再作变更;作者单位名称、科室及邮政编码脚注于文题页,常用联系电话、Email等应列于文章之后。凡需注明通信作者的稿件,应提供其通信地址、邮政编码及Email等。d)摘要、关键词:论著需附中、英文摘要。摘要应包括“目的、方法、结果、结论”四要素。每一要素应不分段分别列出。英文摘要的格式与内容要与中文摘要相对应,中、英文摘要下需加3～5个关键词。

摘要： 经过中国科学引文数据库（Chinese Science Citation Database,CSCD）的评审，《中国临床医学影像杂志》再次成为中国科学引文数据库来源期刊（2023—2024年）。感谢编委、作者、读者等关心支持我刊发展的专家、学者和机构！我刊将继续不忘初心、砥砺前行，办精品期刊、促学科发展。

摘要： 《医学影像学杂志》由中华人民共和国科学技术部、中华人民共和国新闻出版总署批准，山东省医学影像学研究所、山东省医学影像学研究会共同主办的国内外公开发行的全国性学术期刊，国内统一连续出版物号：CN37-1426/R,国际标准连续出版物号：ISSN1006-9011，月刊。本刊设有以下栏目：专家述评、论著、实验研究、研究生园地、综述、短篇论著、短篇报告、QA、QC、临床教学、病例讨论、国内外学术动态等。1投稿要求1.1文稿：文章应具有先进性、科学性和实用性，选题新颖，文辞通顺，重点突出，论点明确，数据可靠，无剽窃及抄袭之处。论著、实验研究、研究生园地文章一般不超过5000字，短篇论著应在3500字以内，短篇报告1000字。

摘要： 《中国医学影像学杂志》是由中华人民共和国国家卫生健康委员会主管、中国医学影像技术研究会和北京医院主办的全国性专业学术期刊，是中国科学引文数据库(CSCD)核心库来源期刊、《中文核心期刊要目总览》收录期刊、中国科技核心期刊、中国科学技术协会《高质量科技期刊分级目录》收录期刊、《世界期刊影响力指数(WJCI)报告》收录期刊。

摘要： ~~