关键词:
图像插值
帧间插值
光流估计
视频插帧
多项式拟合
医学影像
摘要:
在高速发展的数字化时代,数字图像早已成为视觉信息的主要传输媒介,人们对其质量的要求也逐渐提高。因此,近年来数字图像处理技术,特别是图像增强技术得到迅速发展,在多个领域得到广泛应用。例如,为了使视频更加流畅,需要对视频进行补帧以提高帧率,从而满足人眼视觉暂留特性的需要;为了分析大气和地面状况,需要对遥感卫星图像进行放大去模糊处理;为了侦破案件,需要对监控影像进行高分辨处理;为了更准确地定位病灶,需要对医学影像进行分割、超分辨率重建操作等等。这些提高图像清晰度、分辨率的图像处理过程都需要用到图像插值技术。图像插值是指利用图像已知采样点估计未知采样点像素值的过程,旨在将低分辨率图像变成相应的高分辨率版本以改善图像的视觉效果。按照分辨率增强的方向不同,插值过程可以在图像序列的空间域和时间域中进行。经典的插值算法关注于空间分辨率的增强,将单幅低分辨率图像变成高分辨率版本。在时间域进行的分辨率增强技术又称为帧间插值,旨在将低帧数的图像序列变成高帧数版本以使图像序列变化更加自然流畅,在帧率转换、生物医学成像等领域中被广泛使用。在视频处理领域,为了充分利用有限的带宽,通常以低分辨率视频流进行传输,因此需要在接收端使用插值算法转换成对应的高分辨率视频流以带来更流畅的视频播放体验。在医学影像重建任务中,受制于成像设备固有的物理局限性和长时间扫描带来的潜在危害性,成像数据的层间分辨率明显低于层内分辨率,给后期分析处理及临床诊断带来了挑战。如何充分地利用已知数据采样点生成新的中间图像仍是一个亟待解决的问题。为此,本文对序列图像帧间插值技术进行了研究,针对视频插帧和医学图像层间分辨率提升应用领域,提出了下列两种改进算法:1.提出了基于光流估计的序列图像帧间插值方法。该方法利用相邻两帧的配准信息生成一个新的中间帧,并对插值得到的中间帧进行修复。首先,引入CLG-TV光流估计模型计算连续两幅图像间的像素运动,得到图像间像素级的对应关系。其次,参考目标图像的插值位置缩放速度矢量,通过计算速度场生成插值图像。最后利用序列图像的帧间非局部自相似性,修复光流估计造成的像素缺失现象。在视频和CT图像数据集上的定量和定性实验结果表明,与其他经典方法相比,该方法生成了高质量的中间帧图像,在一定程度上提高了视频帧率和医学图像的层间分辨率。2.提出了基于空间几何多项式拟合的图像间插值方法。鉴于医学图像处理系统对高可靠性和实时性的要求,为提高层间插值运算效率,本文提出了基于空间几何多项式拟合的图像层间插值方法。首先,利用采样公式对已知图像序列上的像素点反向采样,在以待采样点为中心的3×3×3的空间域范围局部地构造三元二次多项式空间几何体。然后,将构造的多项式空间几何体加权平均得到单位空间几何体,将所有的单位空间几何体拼合。最后,对其重采样生成新像素以插值中间图像。该方法避免了光流计算的复杂过程,提高了算法的运行效率,生成的插值结果获得了令人满意的定量和定性指标。此外,该方法可实现在两幅连续图像间插值生成任意数量的中间图像,从而有效提高了医学图像序列的轴向分辨率。