关键词：
墓葬壁画
高光谱图像
超像素分割
颜色恢复
图像虚拟修复
摘要：
墓葬壁画是人类文化遗产的重要组成部分,由于受自然环境侵蚀、人为破坏等因素的影响,现存墓葬壁画大多都存在表面颜料剥落、褪色、污染、裂纹等病害,甚至还存在永久性损毁的风险。而本体修复方法需直接接触壁画,其过程可能对文物造成二次伤害,而虚拟修复方法在避免上述问题的同时,还可对本体修复方案的选择和评价具备重要指导意义。因此,虚拟修复将成为墓葬壁画保护与修复的重要手段,亟需通过科学方法与技术手段加以解决。
墓葬壁画的高光谱图像是通过采集壁画在不同波长下的光谱信息,具有识别颜料成分、揭示隐藏图案、量化损坏程度等众多特点,应用于墓葬壁画的虚拟修复工作中,可为虚拟修复提供更丰富的信息和更高精度的数据支持,也为墓葬壁画的科学保护开辟了新的途径。
本论文重点探讨了高光谱图像在绘画颜料识别、缺损区域检测中的潜在优势,并针对墓葬壁画虚拟修复过程中涉及的修复区域检测、壁画内容分类、颜色恢复还原和缺损区域修复处理等多项关键技术开展研究,然后通过实际采集的壁画数据对相关具体算法进行验证,最终形成一个集成多种处理算法、面向墓葬壁画虚拟修复的综合性解决方案。
本论文主要研究内容与创新点如下:
(1)基于超像素分割的壁画高光谱图像降维分类一体化算法。针对壁画图像中缺损区域的正确检测和高精度定位需求,利用高光谱图像中丰富的光谱信息,提出一种基于超像素分割的高光谱图像降维与分类算法,实现了对高光谱壁画图像中颜料区域、缺损区域以及墙面背景区域的精确分类。考虑到基于线性迭代聚类的超像素分割方法中的距离测度不满足壁画图像的降维要求,提出了一种基于孪生神经网络的光谱距离测度新方法,解决了传统光谱距离测度方法难以区分颜色相近的颜料和不能充分利用光谱上下文信息的问题。针对超像素分类问题,通过数学推导方法推测出光谱角匹配算法在超像素分类任务上的适配性,然后通过建立颜料光谱数据库并分析光谱混合模型,对上述推测进行了验证,从而确定了光谱角匹配算法可适用于壁画虚拟修复的超像素分类任务。本章提出的降维分类一体化算法相较于传统的空谱距离与自编码器分类的结合算法,分类精度提升了3.46%,为后续的图像修复处理提供重要信息支撑。
(2)基于空谱信息融合的内容分析及分类算法。针对壁画图像内容丰富、描绘信息种类多导致修复处理算法复杂的问题,基于实际采集的冯晖墓壁画、白杨寨唐墓壁画、唐昭陵壁画等大量壁画数据,提出将壁画描绘内容分为人物、服饰、花卉、纹样、器物和动物六个类别主体要素,为建立针对性的图像修复模型,以及对模型开展高效训练提供依据。同时,针对壁画内容六个类别主体要素的分类需求,设计提出了一种基于空谱特征信息融合的分类算法。该算法利用非下采样剪切波变换与脉冲耦合神经网络对高光谱图像中的空谱特征进行提取与融合,形成空谱特征图,然后利用基于全维注意力机制的残差卷积神经网络模型进行分类,并通过实验确定了模型的最优超参数,提升了壁画时代与内容的自动分类效果,使模型对六个类别壁画内容主体要素的分类识别准确率达到92.8%,在对于时代的分类中准确率达到了97.6%,相较于当前最优的Hybrid 3D-2D-CNN算法提升了3.8%,满足后续图像修复处理的技术要求。
(3)基于1D-RetinexNet解混网络的壁画颜色恢复算法。针对壁画虚拟修复中的颜色恢复问题,提出了一种基于颜料光谱分量与墙体光谱分量差异化处理的颜色恢复算法。通过建立颜料光谱数据库,评估验证了不同光谱混合模型在准确表征壁画图像光谱特征方面的适用性,以及Hapke模型相较于线性模型的优越性。面对Hapke模型下光谱解混较为困难的问题,提出了一种用于非线性光谱解混的1D-RetinexNet模型并设计了适用的损失函数,将壁画高光谱图像分解为颜料分量和墙体分量,然后针对颜料分量和墙体分量分别设计了优化处理方法,重建了颜色恢复后的高光谱壁画图像。在此基础上,通过CIE色度系统将高光谱壁画图像转换为可见光图像,既在一定程度上还原了壁画的本来样貌,同时也提升了壁画图像的视觉效果。实验结果表明,基于该算法的颜色恢复对于三个评估样例,评价指标MUSIQ达到了40.19,38.53,41.1,相较于当下最优的算法提升了2.94,2.47,2.1。
(4)基于卷积神经网络与迭代匹配块的图像修复处理算法。针对单一图像修复处理算法难以高质量解决多种类型病害的修复问题,提出了一种基于高光谱图像、以超像素为最小修复单元的修复处理算法。该算法的基本框架为在超像素分割和主体要素类别分类的基础上,通过确定各处待修复区域的尺寸,以此为依据制定不同的修复策略。对于小孔径的待修复区域,通过迁移学习策略训练了多个基于部分卷积的卷积神经网络图像修复模型,对属于不同类别主体要素的小孔径缺损区域进行针对性地修复;对于大孔径的待修复区域,提出了一种改进的基于匹配块的修复算法
欢迎来到三峡大学图书馆！
详细信息
