关键词：
壁画修复
壁画缺损分割
结构约束
注意力机制
摘要：
在文化遗产保护和艺术修复领域,古代壁画作为重要的一环,其修复与保护工作尤为关键。然而,由于古代壁画的独特性和复杂性,其修复工作面临着极大的挑战。传统的壁画修复方法主要依赖专家的手工修复,不仅耗时耗力,而且难以保证修复质量的一致性。现有的计算机辅助壁画图像修复方法虽然在一定程度上提高了修复效率,但仍然存在部分结构出现错误,无法按照专家指导信息生成对应的结构信息,同时生成的纹理与已知纹理有明显视觉偏差等问题。针对这些挑战,本研究以中国传统古代壁画为研究对象,提出了基于结构信息引导与注意力机制的古代壁画图像修复方法。研究工作如下:
(1)为了高效精确分割壁画的缺损区域,本研究提出了基于一次点击的古代壁画缺损区域交互式分割方法。该方法基于前沿的交互式分割大模型Segment Anything Model,通过融入Lo RA模块到编码器和解码器的多头注意力结构中,在训练时仅对Lo RA模块进行参数学习,实现对SAM模型的微调,使其更适应壁画缺损分割任务。此外,加入点增强策略,通过生成额外的点坐标信息,辅助模型更完整地分割损坏区域。在壁画数据集上的实验结果表明,本文方法仅需用户一次点击就能实现高效且准确的损坏区域检测,分割像素精度达到97%以上,为修复工作奠定了坚实的基础。
(2)在壁画图像修复的结构信息与纹理信息恢复方面,本研究提出了一种基于边缘约束注意传播机制的两阶段壁画修复网络。在粗修复阶段,本网络额外加入草图作为输入,通过设计的局部边缘损失函数约束网络学习生成图像与草图之间的结构信息关系,保证修复图像在结构上的准确性。在细修复阶段,通过优化算法改善缺失区域与已知区域之间的匹配方式,提高了修复结果与周围已知区域纹理的一致性。此外,本研究还创新性地提出了基于结构信息约束的注意力传播块,该块能够使注意力得分融合周围信息,进行更新,生成在语义上更加合理的纹理信息。经实验验证,本研究方法在PSNR、SSIM等多个评价指标上均优于现有的主流修复方法,平均提升1-3d B。特别是在用户指导信息的帮助下,本方法能够生成与原始壁画纹理视觉上高度一致的结构信息,有效避免了结构缺失和纹理错误的问题。
在真实破损图像上,本文方法可以快速精确的实现缺损区域分割和修复。这一成果不仅为壁画图像的修复提供了新的技术手段,而且对于广泛的文化遗产数字化保护与恢复工作具有重要的参考价值。
欢迎来到三峡大学图书馆！
