关键词：
混合现实
医学影像三维可视化
虚实融合
场景重建
动态光照估计
摘要：
混合现实技术是一种将真实物理世界与虚拟数字世界相融合的数字化显示技术,为用户提供虚实融合的沉浸式视觉体验。在信息技术快速发展和医疗数字化转型的推动下,混合现实显示技术能帮助用户在三维空间中沉浸式浏览并操纵医学影像模型。然而,现有医学影像三维可视化技术在提供较好的深度感知效果方面仍存在一些挑战。当用户面对具有复杂结构或相关先验知识较少的病情时,相应的医学三维影像显示结果与实际解剖结构差异更加明显。在这种情况下,医疗决策和诊断的可靠性及准确性难以保证,医学教育和培训的质量也因个体空间想象力的差异而受到限制。除此之外,由于用户可以通过混合现实设备同时观察到真实世界和虚拟世界内容,虚拟世界与真实世界不一致的光影分布会使得医学影像模型只是简单叠加而非融合到真实场景中,极大地加剧用户视觉疲劳和眩晕。因此,尽管混合现实技术被普遍认为在医疗领域拥有广泛的应用潜力,但上述问题已成为目前阻碍其在医疗行业中广泛应用的重要因素。为了解决上述问题,本研究采用基于环境光照的医学影像体照明(Volume illumination)技术,致力于通过自然场景中全方位且高动态范围(High dynamic range,HDR)的环境光照来提高用户对医学结构的空间信息感知,并通过提高虚实融合质量以保证用户在混合现实浏览时的视觉舒适度。为了构建一套系统性的解决方案,本文的具体研究内容包括:
(1)本研究提出不依赖全景相机硬件参数的全方位场景重建方法,用于快速虚拟构建用于医学影像可视化的应用场景。场景重建是获取场景全方位光照信息的首要任务。由于商用全景相机自带的拼接软件计算效率较低或无法提供传输全景图像数据流的接口,因此本研究首先需要解决实时场景重建问题。本文首次实现了实时基于全景拼接的单视场场景重建算法,通过网格变形策略将待拼接图像网格化并使用多个创新设计的能量函数约束项进行图像配准,在保证图像对齐精度和规整图像边界的前提下,防止局部场景内容出现拉伸变形、伪影和时序不稳定等问题。进一步地,本研究基于轻量化的全景深度估计模型预测单视场场景中的场景深度,以生成立体三维场景。实验结果表明,所提出的方法适应性强,能够满足解剖教学、病情诊断和手术导航任务中不同医学影像可视化应用场景。相比于现有场景重建方法,所提出的方法具有更高的场景重建精度和速度,能够在NVIDIA RTX 3080 Ti显卡上取得平均89 FPS的基于2048×1024全景图像分辨率的单视场场景重建和296 FPS的基于512×256全景图像分辨率的全景深度估计,确保为后续光照估计实时提供较高质量的场景纹理和深度信息。
(2)本研究提出自然场景下实时准确的HDR光照估计方法,使得医学影像模型产生利于用户空间深度感知的明暗过渡和阴影着色效果。自然场景中的光照强度具有高动态范围,然而受限于相机成像机制,基于全景相机拍摄的图像像素值只具有低动态范围(Low dynamic range,LDR)。若直接将LDR全景图像作为后续真实感渲染中的光照辐射图,那么医学三维模型表面会产生不利于深度感知的明暗过渡和阴影着色效果。为了解决上述问题,本文提出首个基于LDR全景图像快速准确地预测HDR环境光照方法,可预测多种光照参数,包括光源位置、光源类型和光照强度。首先,所提出的方法创新设计了一种模拟现实场景中曝光衰减的物理过程以提取光源特征。接着,所提出的方法设计了一种轻量级的语义分割模型来有效解析光源类型。最后,根据先前获得的光源参数和模拟相机成像过程中的相机响应函数,扩展LDR图像的值域范围并计算HDR光强。实验结果表明,所提出的方法计算效率高,能够在NVIDIA RTX 3080 Ti显卡上取得平均97 FPS的基于2048×1024全景图像分辨率的动态光照估计。相比于现有方法,本研究能够对不同医学影像可视化潜在应用场景进行更加准确且稳定的光照估计,有助于为用户提供更加立体和细节丰富的医学影像可视化效果。
(3)本研究搭建了一套实时同步环境光照的混合现实医学影像可视化系统,保证实时医学影像显示及交互效率,并提高医学影像模型与现实场景的虚实融合质量。目前,平衡混合现实头戴式显示(Head-mounted display,HMD)设备的显示质量和效率依然是难以解决的问题。为了实现本研究目标,不但需要实时重建全方位环境光照信息,而且需要医学三维影像能够实时响应环境光照变化。为此,本文提出一种支持交互式的医学三维影像的混合现实原型系统。该原型系统使用基于蒙特卡洛的体路径追踪算法对医学三维模型进行真实感体照明。为了提高真实感体照明效率,通过较少的光线采样对环境光照采样,这不可避免地造成混合现实图像会出现大量渲染噪声。为了解决该问题,所提出的方法创新设计了针对HMD的时空去噪器。基于重投影策略,本研究充分利用HMD的相邻屏幕之间
欢迎来到三峡大学图书馆！
