关键词：
压缩后处理
常微分方程
超分辨率
插帧
深度学习
摘要：
考虑到互联网上视频数据越来越多,对传输和存储的压力也渐渐增大,压缩算法被广泛应用于减少存储大小和带宽。由于大部分情况下使用的是有损压缩,导致了压缩效应的产生,从而降低了视觉体验。另外,某些低质量的压缩视频可能还存在着其他的降质,例如,下采样降低了视频的空间分辨率;视频丢失部分帧,导致较差的主观视觉体验,即视频时间域存在降质。使用通常的压缩视频后处理方法并不能有效提升视频的质量。因此,如何通过不同的后处理方法来应对提高压缩视频的质量、分辨率等,是一个具有研究意义和实际应用价值的课题。
本文针对压缩视频,从增强压缩视频帧质量、提高压缩视频帧空间分辨率、提升压缩视频时域质量三个目的出发,进行深入研究,主要包括以下几个方面:
(1)针对以压缩为降质原因的情况,提出了一种基于可变形卷积的压缩视频后处理方法。该方法利用可变形卷积,通过可学习的偏移,自适应地根据当前图像内容更改采样位置,调整卷积核的大小,防止得到不准确可靠的偏移;在获取到较为准确的偏移场后进一步通过后续模块融合目标帧和参考帧的互补信息;为了减少压缩带来的人工痕迹,设计了组合常微分方程块,将方程中的求导操作使用神经网络的卷积代替;为了提高网络中常微分方程模块的稳定性和精度,将一阶前向欧拉算法改为二阶Velocity-Verlet算法,以更加有效的提炼特征信息,恢复高频细节,去除压缩效应。实验结果表明,在不同的量化参数下,提出的方法能够有效地改善压缩带来的痕迹,提高重要细节丰富度,显著地增强了压缩视频的质量。
(2)针对压缩和下采样同时存在的降质情况,提出了一种端到端的基于深度特征融合网络的压缩视频超分辨率重建算法。考虑到压缩带来的噪声与视频帧本身的内容有很强的相关性,重建采用先去压缩后提升分辨率的方式。为了防止重要信息丢失,获得准确性高的重建结果,设计了深度特征提取和融合模块,该模块利用两层分支结构,通过跳连接和卷积块将获取到的不同深度的特征信息多次融合,有效获取时空信息;然后使用常微分方程ODE块,减少目标视频帧的压缩伪影,恢复高频细节;再使用像素和通道双注意力块增强网络在像素域和通道域上捕获重要特征信息的能力,提升超分辨率性能。大量的实验结果表明,该方法对低分辨率压缩视频帧具有良好的重建效果,同时能有效改善压缩带来的人工痕迹,在主观和客观上看都比其他重建算法有着更大的优势。
(3)针对时间域和空间域同时存在降质的情况,提出了一种基于无参数注意力的时空压缩视频后处理方法。现实世界里,人们总是会追求极致的感官体验,而视频的清晰度和帧率便是其中的关键。然而目前大多数压缩视频后处理方法通常只考虑到了清晰度方面的提高,而并没有考虑到时间域方面的提升。该时空压缩视频后处理方法,充分考虑到两方面的视觉提升,将输入的连续压缩视频帧先使用改进的U-net网络提取特征信息,通过自适应协作模块,自适应的估计出不同目标像素的核权重和偏移向量,然后通过计算合成出真实自然的中间帧;为了有效消除压缩噪声,将第二章提出的组合常微分方程块作为当前的质量增强模块,并在组合常微分方程块中添加了若干无参数注意力块,以进一步提高网络获取特征信息的能力,强调重要信息,提升目标帧质量。大量的实验结果证明,经所提方法生成的视频中间帧更加真实自然,且所有视频帧压缩效应都得到了一定的改善,主客观质量良好。
欢迎来到三峡大学图书馆！
