关键词： 任意波形发生器   数据处理模块   采样率转换技术   幅频校正技术  

摘要： 任意波形发生器（AWG）可以生成多种标准波形和用户自定义任意波形,其核心技术主要是直接数字频率合成（DDFS）和直接数字波形合成（DDWS）。DDWS中采样时钟频率往往以微小步进变化达到高频率分辨率要求,但也会造成输出镜像频率位置不固定,难以用截止频率固定的低通滤波器将其滤除;此外,DDFS和DDWS中DAC零阶保持特性以及模拟通道非线性也会对输出信号幅度平坦度造成影响。因此,本文以800MSPS任意波形发生器为研究对象,针对DDWS引入的镜像频率位置不固定问题,研究基于采样率转换的DDWS技术,针对DDFS和DDWS引入的幅度不平坦问题,研究基于幅频校正的DDFS/DDWS技术,完成800MSPS采样率下数据处理模块的设计与实现。主要工作如下:1、数据产生和数模转换接口模块设计与实现。为使标准波达到同类波形的频率捷变,采用基于DDFS的4并行存储器方式在800MSPS采样率下产生标准波数据;为使任意波达到256M点的深存储要求,采用DDWS,通过AXI DMA IP核控制DDR3 SDRAM的读取生成任意波数据。将上述生成的波形数据经过数据映射处理后,通过JESD204B IP核送给DAC进行数模转换得到模拟波形信号。2、采样率转换模块设计与实现。针对DDWS引入的镜像频率位置不固定问题,研究基于Farrow结构滤波器的采样率转换技术。为实现5SPS～800MSPS到800MSPS采样率的转换,采用4并行Farrow结构并分析其时间参数求解方式。通过对指标和误差的分析,选择合适的滤波器系数。最后利用移位寄存、多相滤波、时间参数处理、滤波结果处理和多项式计算五个模块对其进行逻辑实现。3、幅频校正模块设计与实现。针对DDFS和DDWS引入的幅度不平坦问题,研究基于FIR滤波器的幅频校正技术。为在资源消耗尽可能少的情况下达到800MSPS采样率,采用基于改进的快速FIR算法（FFA）的4并行FIR结构。通过对指标和误差的分析,选择合适的滤波器阶数。最后利用数据缩放、数据预处理、滤波、数据后处理和数据还原五个模块对其进行逻辑实现。测试结果表明,设计的AWG能够输出最高频率80MHz的标准/任意波;不仅能将采样率由5SPS～800MSPS转换到800MSPS,还能校正由DAC和模拟通道引起的幅频失真。输出频率小于1MHz时无杂散动态范围大于72d Bc,校正后在DC～80MHz内幅度平坦度小于0.4d B,与NI公司PXIe-5433相关技术指标相当。

关键词： GNSS   流存储   Pravega   异常检测   孤立森林  

摘要： 随着中国自主建设的北斗三号全球卫星导航系统成功实现全球组网部署,我国成为了世界上第三个建成全球卫星导航系统的国家,而且北斗系统在导航精度、授时精度等各方面指标均达到世界一流水平。得益于北斗系统的高性能,北斗系统在各个行业都得到广泛的应用。因此对卫星导航授时的数据管理问题进行研究分析具备着重要的意义。本论文来源于某研究所某项目,在园区运营过程中,需要对转发式卫星导航试验系统的数据进行汇总管理,并对其分析处理,最终由数据管理系统将其展示出来,同时需要为其他系统提供数据服务以及完成对其他系统工作数据进行监测的任务,实现实时告警功能。但传统的数据管理方式在当前新型环境下,来自项目复杂度的压力愈发凸显,尤其是不断增长的数据源以及急速增加的业务需求。因此在卫星授时领域的数据管理中,如何解决所面临的数据处理时延长、响应缓慢以及海量数据存储压力的问题已成为一大挑战。为了解决上述所面临的困难,本文设计并实现了一种支持多并发的数据管理架构,该架构中使用Netty框架保证数据采集的可靠性与高性能,使用Flink计算引擎来应对流数据处理的实时性问题,采用分布式存储组件Pravega来解决海量数据的存储压力问题。根据当前的项目背景以及技术架构的特点,本文主要完成以下内容:(1)对GNSS流数据处理系统开展了系统需求分析,阐述用户与系统之间的交互流程、系统和外部系统间的数据传输过程、系统的可视化前端设计以及系统在实际工作场景下所需的非功能性需求,并依据分布式思想对系统的应用软件结构和技术方案进行工程设计,完成了系统部分服务间基于Web Socket的系统通信数据交互方案的设计工作。(2)针对数据采集所面临的延时等问题,基于Netty框架开发系统服务端与解码链,实现多端口自定义协议的数据接收与解析工作,并通过优化相关参数来降低系统资源使用率。针对数据处理阶段的实时性问题,通过对多种异常检测方式的性能比对,设计基于孤立森林IForest算法的异常检测方案并Flink计算引擎对数据处理的异常检测部分进行并行化处理,从而压缩处理时延。针对大量数据的存储压力问题,采用Pravega实现系统的存储层结构,对多种二进制序列化协议的性能测试,采用Proto Buf协议对数据进行二进制序列化压缩处理,降低大量数据的存储占用。(3)对系统的各个模块进行实现,并对系统进行环境部署,同时针对系统中的各个功能编写测试用例,并进行性能检测,验证系统的功能性与非功能性需求,其中测试结果表明系统的各项功能和性能指标均达到预期目标需求。

关键词： 注意力机制   非线性时间序列   长短期记忆门   预训练   数据处理  

摘要： 时间序列是指将事物按照其发生的时间顺序进行排列的数列。它通常是以某一固定采样率对一段时间内的潜在过程进行观测的结果。时间序列数据本质上可以反映出一个或一组随机变量的变化运动趋势。通过对时间序列反s映出的趋势的挖掘、分析和研究我们就可以把握对应事物的发展规律,可以对事物有更深入的了解,也可以更好的预测事物未来的发展进而做到因势利导,趋利避害。时间序列预测的应用范围十分广阔,在传染病防治、交通运输、经济、金融等领域都有广泛的应用。常用的时间序列预测方法有传统统计学方法,机器学习方法和深度学习方法三类。三种方法各有其适用的应用场景,也各有其性能瓶颈。对于以金融时间序列为代表的一些高维度、高噪声、非平稳时间序列,在计算速度和特征提取能力上深度学习方法更占优势,而且使用深度学习模型进行金融时间序列预测对研究人员的金融学知识储备要求较低,不需要进行复杂的特征工程。但是深度学习模型随着模型层数的加深,对时间序列整体结构与内部规律从宏观层面的提取能力加强的同时在局部特征规律层面的提取能力会变弱。往往深度学习模型不能兼顾整体与局部特征的提取。因此本文针对高特征维度高噪声的时间序列的降维降噪问题和深度学习模型无法兼顾整体与局部特征的问题提出了一种时空整合的数据处理方法,以及一种基于注意力机制的预训练长短期记忆门模型用以实现对高特征维度高噪声数据的降维和降噪,加强模型对整体局部特征提取的兼顾能力,提高时间序列预测模型的预测精度。本文的主要工作可以概述为: 1、设计了一种时空整合的数据处理方式,分别在时间维度和空间维度整合时间序列数据的特征。时间维度上根据年、季、月、周的时间阶段整合时间序列特征的变化趋势,并保持趋势之间的连接性和连续性。在空间维度用总体趋势校准不同局部趋势的分布方差差异,实现对时间序列特征的有效降维和降噪。本文实验数据集选用高特征维度高噪声的金融数据,收集了2016到2022年的180个股票指数数据,其中大盘指数12个,一级行业指数34个,二级行业指数134个。通过对金融数据集进行对比实验,发现该数据处理方式可以将预测精度提高25%左右,使用该数据处理方式的三组实验最终预测准确率都在80%以上。 2、设计了一个基于注意力机制和预训练机制的长短期记忆门神经网络,以预训练的方式保证对局部趋势特征提取和整合的可信度,提高了模型对整体和局部特征的兼顾能力。同时通过注意力机制提高模型对于各个局部特征之间相关性的挖掘与分析。通过对金融数据集进行消融实验,发现预训练机制可以将预测精度提高近2个百分点,注意力机制可以将精度提高近3个百分点。

关键词： 探地雷达   数据处理   深度学习   目标识别   特征提取  

摘要： 随着我国基础设施建设的高速发展,作为重要的交通设施,隧道在长时间的使用过程中,不可避免地会出现结构性损伤,如何科学实现对隧道衬砌内部结构高效地识别和分类成为了施工质量检测与运维亟待解决的问题。探地雷达根据电磁波在不同介电常数的介质交界面中的折射和反射原理,在回波数据中反映地下目标场景,被广泛应用于隧道衬砌结构的检测中,然而,由于受到地下复杂多样的地质结构、迥异的物理特性参数以及探地雷达系统的噪声等多种因素的影响,使得解析探地雷达数据非常困难,对衬砌图像中的目标分类和识别也造成了困扰。针对以上问题,本文对探地雷达数据处理技术和目标类型自动识别方法展开了研究,主要研究工作如下:(1)针对不同目标在探地雷达图像中特征曲线的差异,完成探地雷达正演模拟的研究。本文采用基于时域有限差分方法的GprMax仿真软件来构建不同地质情况下的隧道衬砌目标的仿真数据,结合探地雷达的工作原理,来分析信号模型中的各个特征曲线所代表的信号类型,同时,对实测数据中提取出的噪声源特征进行分析,更好地对实际测量得到的回波信号进行解释。(2)针对探地雷达数据中有效信号分量的提取,研究数据处理技术,将直达波分量进行去除和利用模态分解的方法压制噪声分量。首先对模拟的信号使用非线性自适应方法进行处理,信号被分解成一系列本征模态分量和的形式,分析信号分解方法的特点,然后进行信号重构,验证方法的可行性后,分别对仿真的数据和实测的数据使用该方法进行抑制噪声处理,通过将原始的探地雷达数据图像和重构后的图像进行对比,验证了该算法对探地雷达数据中噪声压制的有效性。同时研究互补集合经验模态分解(Complementary Ensemble Empirical Mode Decomposition,CEEMD)和排列熵结合的去噪方法,通过计算探地雷达数据分解后各分量的排列熵,得到具体的分离阈值将目标信号和噪声信号区分开,再将符合阈值的信号叠加,最终获得衬砌目标的探地雷达图像。(3)基于深度学习的隧道衬砌目标识别方法。针对隧道衬砌图像病害识别效率较低并且存在精确度不足的问题,研究了基于Faster R-CNN的衬砌目标自动检测方法,并且在原来的基础上提出一种改进的特征提取网络结构,将特征提取网络中的深度特征和浅度特征结合形成新的特征以提高目标识别的准确率。并且通过对正演模拟生成和实测的图像目标识别的实验结果对比,验证了改进的网络模型具有更佳的检测效果,目标的检测精度有了明显的提高。

关键词： 入侵检测   数据不平衡   特征选择   Ridge回归  

摘要： 互联网的快速发展给人们带来便利的同时也带来了网络安全挑战。网络安全事件的频频发生,急需高效的网络入侵检测技术来解决。但由于网络攻击层出不穷,其不仅种类繁多而且数量巨大,这就使得网络流量数据存在一系列问题,尤其是数据不统一、数据不平衡、特征冗余问题。为了解决数据集中存在的问题,本文完成了如下工作。首先,本文介绍了入侵检测和机器学习的一些相关知识,详细分析了网络入侵检测技术。对数据集进行详细分析,从数据处理和特征选择着手进行研究。其次,针对数据特征属性不一致、特征值范围差异大的问题进行了数值化处理和标准化处理。针对网络入侵数据集严重不平衡的问题,本文使用SE-LGBM进行数据处理,先对数据进行SMOTEENN处理,之后使用Light GBM算法对所得的数据进行数据标注。在新数据集的基础上,提出了基于SE-LGBM数据处理的网络入侵检测方法。再次,经研究发现,经过数据处理过后的入侵检测数据集中还存在很多无关和冗余的特征,数据的特征维度相对较高。为了避免高维特征中的冗余特征对网络入侵检测方法效果的影响,提出了以Ridge回归为底层基础模型的递归特征消除的特征选择方法。该方法解决了所使用数据集的特征维度高、冗余的问题,通过迭代的方式获得了最佳特征子集。在最佳子集的基础上,进一步提出了基于Ridge-RFE特征选择网络入侵检测方法。最后,在NSL-KDD和UNSW-NB15两个网络流量数据集上进行了网络入侵检测实验,将检测结果与其它方法检测模型进行了对比分析。实验证明本文提出的算法在网络入侵检测方面拥有较好的表现,提高了入侵检测系统的性能。

标准号: GB/T 14914.6-2021

摘要： 本文件规定了海洋观测数据处理和质量控制的一般要求、流程、内容和方法。本文件适用于海洋站（点）、浮标潜标、岸基雷达和卫星遥感等海洋观测数据的处理和质量控制。

关键词： 电机振动监测   振动数据处理   频谱压缩  

摘要： 无线振动传感器使用三轴MEMS加速度计ADXL357作为传感模块检测振动加速度,ADXL357由于其内部工作原理,需进行标定,通过标定来降低各项误差以提高其检测精度.本文采用六位标定法对传感器进行标定,根据ADXL357自身内部物理量的转换关系,对振动数据进行处理,再将得到的加速度数据进行分解,最终得到较为精确的加速度序列.