关键词:
电子稳像
特征点匹配
实时性
ZYNQ
摘要:
电子稳像技术实现了对抖动视频的去抖,在军用和民用领域应用广泛,为成像、瞄准和定位系统提供了更准确稳定的图像。电子稳像算法主要运用于图像存在平移、旋转和尺度缩放变化的场景,在具有旋转抖动的复杂场景中大多以软件方式实现,其具有算法复杂、耗时长和对处理器速度要求高的特点。特别是车载电子稳像系统,在要求去除平移和旋转抖动的基础上,同时对器件小型化和算法实时性具有较高的需求。系统级芯片软硬协同的工作方式能够弥补单一软件实现算法的不足,以提高系统性能和实时性。因此,构建基于系统级芯片的电子稳像系统具有重要的工程应用价值。
本文针对传统电子稳像系统在平移和旋转模型下实时性低、算法复杂度高的不足,设计了“FPGA+ARM”架构的车载电子稳像系统方案,引入自适应阈值和灰度相似性描述子,构建了基于特征点匹配的ZYNQ实时电子稳像平台,实现了去除视频序列中平移和旋转抖动的核心功能。本文的主要研究工作如下:
(1)规划车载电子稳像系统总体方案并设计子单元的功能任务和原理图。综合分析了车载场景电子稳像系统的功能和指标,对系统总体方案进行布局,工作流程进行定义。设计图像采集单元和稳像单元的接口类型和功能任务,并进行了核心器件的选型。对采集和稳像单元的电路原理图和PCB进行设计,确保最终搭建的硬件平台能够为电子稳像系统的设计与实现提供可靠性硬件基础。
(2)设计了基于特征点匹配的电子稳像算法方案。以特征点匹配算法为运动估计的基础,针对传统固定阈值运算耗时较长且只能适用于单一场景的问题,引入自适应阈值,使视频序列中特征点数量分布平滑提高了算法的实时性。在原本描述子的基础上增加灰度相似性比较信息,降低了特征点对的误匹配率并提高了描述子的抗干扰能力。
(3)完成各功能模块的逻辑设计与系统测试。根据ZYNQ软硬协同的特点划分电子稳像系统的算法逻辑。在可编程逻辑端实现了数据采集、卡尔曼滤波和图像平移,基于流水线和滑块实现了特征点检测并设计了阈值更新的简化流程;在处理系统端实现了特征点匹配和图像旋转;通过可变分辨率实现了综合显示功能。经过稳像测试,在具有平移和旋转抖动的场景中实现了小型化、低功耗和高实时性的电子稳像系统,并展现了较高鲁棒性,有望运用于车载平台并达到良好的稳像效果。
通过对静止和运动状态下的抖动视频序列进行稳像实验,本文研究设计的基于特征点检测的电子稳像系统基本实现,能够在具有平移和旋转抖动的场景下实现对720P@30Hz视频的防抖,且具有高集成度、高稳定性、低功耗和高实时性等优点,有望运用于车载平台,具有较好的运用和参考价值。