关键词:
壁画修复
结构引导
傅里叶卷积
交互式
摘要:
热贡壁画是人类非物质文化遗产热贡艺术的重要表现形式之一,具有色彩浓郁艳丽、线条繁复细密等特点.然而,长久以来受环境等因素影响,壁画常出现剥落、龟裂及霉变等问题,而现有的图像自动修复算法难以重建壁画复杂的结构并生成合理的纹理.针对热贡壁画结构纹理复杂、破损区域不规则及图像数据集较小等挑战,提出了一种结构引导的热贡壁画图像大面积缺损修复方法.首先设计交互式线稿修复模块,通过引入专家经验对大面积破损的复杂线稿进行修复,为后续提供较为准确的结构先验;接着将线稿通过结构引导修复模块避免低层指导信息被削弱的同时,能够更有效地和纹理信息融合.该模块将编码的结构信息逐层注入多尺度修复网络中,同时设计边缘生成判别器进行约束以优化修复结构,使其更接近真实壁画;此外,多尺度特征修复网络引入傅里叶卷积聚合和门控卷积模块以获得更大的感受野来恢复大面积且不规则的缺损区域,并加入颜色一致性损失以有效降低图像修复过程中颜色等方面的误差.与AOTGAN, CTSDG, LaMa, ZITS等七种图像修复方法进行定量、定性和主观实验对比分析.实验表明,所提方法在缺损比例为30%~50%的大面积缺损图像修复上表现最优,SSIM和PSNR分别提升了37.91%和15.3%, FID和LPIPS则分别了下降94.67%和85.96%.