关键词:
压缩感知
深度学习
小波变换
采样网络
图像重建
小波残差采样
多域融合
摘要:
随着信息技术的迅速发展,海量的视觉数据需要实时处理。如何实现数据的快速上行传输和下行响应是当前急需解决的问题。压缩感知(Compressed Sensing,CS)作为一种基于信号稀疏条件的采样理论,可以远低于奈奎斯特(Nyquist-Shannon)采样定理的采样速率,快速并有效地实现信号的重建恢复。压缩感知同时进行采样和压缩的特性,将计算复杂度转移到解码端,使编码端更利于数据的快速压缩和实时传输,从而实现高效的数据分析和响应。此外,压缩感知的提出为资源受限环境下的车联网视觉数据处理提供了一种新的思路和方法,推动了车联网在城市安全、无人驾驶等领域的深入应用,加速了车联网车载终端的部署。
据此,本文针对海量视觉数据的快速压缩传输、实时响应、抗噪性及轻量化硬件部署等的现实需求,将压缩感知与深度学习相结合,提出速度更快、性能更好和结构更轻量化的图像/视频压缩感知算法模型。具体而言,主要包括以下四个方面的工作:
一、针对当下压缩感知算法存在未充分利用图像稀疏性及重建算法复杂度高的问题,提出了两种新颖的基于小波变换的图像压缩感知算法,记为WCS-Nets(WCS-Net和WCS-Net+)。其中WCS-Net算法在DR2-Net算法的基础上,将sym8小波变换与采样网络相结合,充分挖掘了图像低冗余度的特征,实现了高保真测量值的获取。WCS-Net+算法利用多尺度残差学习网络,更好地优化了图像的重建质量,构成WCS-Net算法的增强版本。实验结果表明,与当下先进的图像压缩感知算法相比,所提算法在图像重建质量、运行速度和抗噪声性能方面均表现出色。
二、针对上述算法存在小波变换级数选择及采样、重构网络设计对压缩感知算法优劣影响的问题,提出了一种基于多级小波的分层深度网络图像压缩感知算法(MWHCS-Net)。该算法由三个模块组成:基于多级小波变换的采样模块、分层初始重建模块和轻量级深度重建模块。基于多级小波变换的采样模块,主要包括图像多级小波稀疏处理和分层采样两部分,用于测量值的渐进获取,进一步优化采样效率和稳定性。分层初始重建模块被设计为基本初始重建网络和增强的初始重建网络,其分别对应于重建图像的主导结构分量和纹理细节分量。轻量级深度重建模块用于增强和优化初始重建图像的纹理细节,最终实现图像的高质量重建。实验结果表明,与现有的深度学习算法相比,所提MWHCS-Net算法在保持相当运行速度的同时,具有优越的重建质量。此外,在大多数情况下,MWHCS-Net算法在抗噪声性能方面优于当下基于深度学习的图像压缩感知算法。
三、针对轻量化测量矩阵的构建问题,提出了基于渐进分层子空间学习的可扩展采样网络图像压缩感知算法(SPHSL-CSNet)。该算法采用逐步分层子空间学习的方式,以端到端的模式联合训练。具体而言,采用三层小波对图像稀疏变换,通过掩膜感知频带的方式实现频带分离,并对特定频带(低频、低中频、低中次高频率和整个小波频带)进行独立地采样,有效减少了测量矩阵的参数数量。实验表明,所提算法以较少的网络参数量,获得优质的重建恢复,更利于在计算资源有限或小存储空间设备上的部署。同时,所提算法对多光谱图像压缩也具有良好的效果。此外,SPHSL-CSNet算法在去噪性能方面亦表现出色。
四、针对当下视频压缩感知算法未充分利用视频序列帧内、帧间相关性和稀疏性,且重建网络以牺牲存储空间追求高质重建的问题,提出了一种基于小波残差采样及多域融合的视频压缩感知算法(WRMD)。具体而言,小波残差采样基于非关键帧位置就近选择关键帧,构建其与非关键帧在小波域的残差,自适应地实现高效和高质量的测量采样。同时,为进一步提高非关键帧的重建质量,采取多域融合的方式,将像素域、双关键帧多级特征域及残差帧多级特征域的信息进行融合优化。大量实验证明,WRMD算法在主、客观评价中均超越了目前主流的视频压缩感知算法和基于深度学习的图像压缩感知算法,具有出色的算法性能。