关键词： 数据处理   非负矩阵分解   聚类   特征提取   稀疏表示  

摘要： 非负矩阵分解算法是一种常用的机器学习算法,它将原始数据分解为局部特征的纯加性组合,符合人类对于信息的认知方式。算法中的非负约束可以给分解后的矩阵带来稀疏的性质,使数据基于部分的表达更加明显。随着国内外学者对于非负矩阵分解算法研究的不断深入,算法的许多改进版本也相继被提出。但目前的非负矩阵分解算法还存在一些不足,例如:单一的非负约束无法控制分解后矩阵的稀疏性;l1和l2,1范数有时无法准确的进行稀疏性约束;传统的非负矩阵分解算法未考虑数据处于流形上的情形,对于非线性分布的数据无法很好地进行挖掘;在数据含大量噪声时,算法性能下降等。针对上述问题,本文主要进行了如下工作:(1)本文提出基于llog范数约束的稀疏非负矩阵分解算法,使用llog范数同时对基矩阵和系数矩阵进行约束,生成了更稀疏的解,揭示了更好的基于部分的表示。同时,本文在算法中加入图拉普拉斯约束项,处理数据线性不可分的问题,保持数据的局部间关系。(2)本文提出一种l2,log范数,并提出基于l2,log范数约束的鲁棒性非负矩阵分解算法。此算法为上述算法的扩展版本,旨在减少数据中的噪声对于算法性能的不利影响,它在模型中增加了噪声约束项,使用l2,log范数来限制噪声矩阵的列稀疏性。本文给出了l2,log范数相关阈值优化问题的解,即l2,log范数收缩算子。此收缩算子可以保证因子矩阵在每次迭代时是非负的,因而保证了算法分解的非负性。(3)为了实现算法的最优化求解,本文设计了上述两种算法的乘法更新规则,并提供了完整的理论证明,从而证明了更新规则的非负性和收敛性。(4)本文在10种公开数据集上进行了聚类实验。为了验证模型在含大量噪声的数据中的聚类性能,本文在原始数据集上分别以随机损坏像素点、产生伽马噪声和产生高斯噪声的方式加入噪声,并进行同样的聚类实验。实验结果从实际应用的角度证实了本文方法在聚类和数据表示方面是有效的。关于收敛性分析的实验从迭代次数和迭代时间两方面验证了算法的收敛性,证明了本文算法的可行性。同时,基矩阵稀疏度的比较和对于llog范数的消融实验都验证了本文所提的llog范数约束可以获得相比l1范数约束下更为稀疏的解。

关键词： 高频引力波探测   数据处理   卷积神经网络   模板匹配   互相关  

摘要： LIGO-Virgo在2016年宣布探测到了低中频引力波,这意味着人类进入了天文探测的新纪元,同时也激励了众多科学家去探测高频引力波(high frequency gravitational wave,HFGW)。随着引力波探测器灵敏度的不断提高,探测的数据量也会越来越大,因此需要开发出一套有效的方法来快速、准确地处理引力波探测数据。LIGO-Virgo使用匹配滤波的方法来提取探测数据中的引力波信号,虽然取得了极好的效果,但是也花费了巨大的计算成本,因此需要寻找一种能够代替匹配滤波的方法来处理HFGW探测数据,降低数据处理的计算成本最近几年,深度学习在引力波的数据处理方面的应用越来越广泛。相比于传统的匹配滤波技术,深度学习不仅能准确的提取引力波信号,也极大的降低了数据处理所需的计算成本,因此把深度学习应用在引力波数据处理是非常值得期待的。本文基于卷积神经网络(convolutional neural network,CNN)和模板匹配等算法,实现了HFGW模拟探测数据的有效处理。首先,借鉴文献[***.D 97,044039(2018)]中可以准确分类中频引力波探测数据的CNN模型,建立了面向未来HFGW空间域电磁响应模拟探测数据的CNN分类模型,并且通过增加随机失活(dropout)层和L2正则化等优化措施,有效缓解了模型的过拟合现象。利用优化后的CNN模型对模拟生成的HFGW时间域探测数据集进行了训练和测试。在测试集上受试者工作特征曲线(receiver operating characteristic curve,ROC)下的面积为0.986,表明模型的性能良好;利用模板匹配技术对时间域模拟探测数据进行了HFGW频率和振幅的参数估计,在95%置信度下有较窄的置信区间,说明误差很小;通过多组模拟探测数据的处理,验证了模板匹配技术和CNN模型的可靠性和鲁棒性。最后,针对未来随机HFGW探测所需要面对的随机信号处理问题,提出了将两组异地同步的模拟探测数据做互相关和偏度估计的随机HFGW探测信号识别方法,并且利用随机生成的模拟探测数据进行测试,实现了模拟随机HFGW信号的准确识别。

关键词： 柴油车尾气   CO   CO2   NOx   光学检测方法   光谱数据处理  

摘要： 随着道路车辆尾气排放监管标准的日趋严格,尾气排放检测相关技术得到了研究人员的广泛关注。以柴油车为主的重型车辆,由于其排放的污染物排放贡献率远超轻型车辆,因此准确检测柴油车尾气中CO、CO2和NOx的排放对于生态环境和可持续发展具有很强的现实指导意义。本论文是以光学气体检测技术为主要研究内容,探究了光电信号检测与光谱数据处理方法,设计了相应的检测系统装置并将其应用于柴油车尾气排放现场检测中。阐述了 CO、CO2气体检测的红外吸收光谱法和NOx气体检测的紫外吸收光谱法的基本原理。依据上述理论基础,提出了非分散红外CO和CO2气体检测方案和紫外双光路NOx气体检测方案。选择1-20μm宽带红外光源和带有4.26μm、4.64μm滤光片的热释电探测器作为CO和CO2的探测方式;选择宽带脉冲氙灯和390nm LED作为光源,利用光谱仪和光电探测器以时分复用的方式来探测NO和NO2。最后,提出探测器输出信噪比、光源辐射谱的固定结构以及环境因素等关键研究问题。研究了基于随机共振(SR)的光电信号处理方法。针对调制光电信号,基于随机共振中的欠阻尼模型,讨论了不同系统参数对于随机共振输出的影响,设计了该模型的检测流程,实验结果表明测量过程中光电调制信号的信噪比由2.517dB增加到4.263dB,信噪比增益为1.673,证明了欠阻尼SR具有良好的信号增强效果,且更适合于在强噪声环境中的信号检测。同时,基于随机共振的特性,采用单稳态系统对低浓度NO信号进行处理,设计了参数调节单稳态算法并进行数值模拟和实际信号测试,在低浓度条件下,最大相对偏差为3.32%,检测极限为1.456ppm,表明在低浓度条件下有着更好的峰值检测性能和光谱信噪比。研究了柴油车NOx气体排放吸收光谱数据处理方法。采用数值仿真的方式,模拟了光源辐射谱存在精细结构条件下的紫外NOx吸收光谱曲线,从而提出基于主成分分析(PCA)的光谱特征处理方法,用于消除辐射谱的精细结构所引起的测量误差。利用实际测量的NOx光谱数据与传统多项式拟合基线的方法进行了对比实验,实验结果证明所提出方法标定拟合曲线相关性为0.99923,平均测量误差小于3%。对便携式柴油车尾气检测系统的设计进行分析,并在实验室条件下测试了整个系统的检测性能。测试结果表明在柴油车尾气宽量程的要求下(NO:2500ppm,NO2:2500ppm,CO:5%,CO2:20%),系统平均相对误差小于2%,相对标准差小于3.2%,整个系统尺寸为350x270x150mm,重量为14Kg。同时,将所设计的检测系统分别应用于台架监测、车载监测和监测站点监测。通过与同类国际先进仪器SEMTECH对比测试,相关性最高达到了 94%。三种现场应用得到了柴油车在不同工况、不同行驶环境、不同驾驶习惯等条件下的CO、CO2和NOx的排放特性,分析了实际驾驶过程中尾气高排放的影响因素,并且验证了自研便携式系统现场运行的稳定性和实用性,可以为后续柴油车尾气气态污染物的快速监管提供有效的数据支持。

关键词： 时空大数据处理   灾害演化预测   综合评估   多灾种耦合   算法微服务  

摘要： 智慧城市建设浪潮下,地下基础设施的运行监测被视为智慧城市建设中的重要一环。目前城市地下基础设施的实时监测,存在着数据类型多、数据量大、实时性强等众多问题,同时地下基础设施的灾害监控存在着致灾因素多、灾害易扩大、难以防控的问题。解决以上问题,获得这些大数据背后的价值,对构建智慧化城市有着重要意义。 本文首先对地下基础设施运行监控系统获取的时空大数据进行了研究,挖掘数据的时空属性和隐藏属性,将时空关联规则挖掘与贝叶斯网络结合起来,发现地下基础设施内部灾害演化规律,并在此基础上构造灾害演化贝叶斯网络,因果推理实现灾害预测,诊断推理实现灾害溯源。 接着对地下基础设施内部的多灾种耦合进行了研究,将时空关联应用于多灾种耦合中,建立多灾种耦合分析模型,形成灾害共现概率矩阵并对其多特征降维合成,借助多灾种耦合模型计算多灾种耦合度。选取深圳市车公庙地下综合体为应用对象,求出综合体内多种灾害间的耦合度。 然后对地下基础设施的综合评估方法进行了研究,将灰色系统相关理论引入层次分析法中,提出了针对地下设施评估的白化权函数-层次分析法,并将其应用于深圳车公庙地铁轨道致灾风险性评估。同时将白化权函数-层次分析法应用于单一灾害风险性评估,并在此基础上提出了多灾种耦合风险性评价方法。 最后面向地下基础设施运行监测大数据处理平台,基于Docker框架设计实现了一套完整的大数据算法微服务系统。采用算法微服务部署的方式,选用Ngnix、Gunicorn和Flask开发框架,完成对算法的RESTful API设计,供大数据处理平台请求调用算法服务,实现算法处理与平台系统的解耦。增加了系统管理组件如容器管理、服务注册和可视化,每个服务沙盒化处理,保障服务独立性,并通过数据测试验证了对调取数据的速度提升。另外还为部分算法设计了对应的数据库和表,实现了微服务系统调用样本数据库。

关键词： 光纤振动传感   目标识别   特征提取   变分模态分解   神经网络  

摘要： 光纤振动传感系统因为具有轻巧、耐高温、抗腐蚀、抗强电磁干扰等优良特性,在安全监测领域具有很高的应用价值。其中相位敏感光时域反射计(Phase-sensitive Optical Time Domain Reflectometer,Φ-OTDR)具有灵敏度高、结构简单、可多点同时测量而广泛应用于长距离分布式振动监测。室外环境下入侵行为的振动传感信号十分复杂,对入侵行为实现精准的目标识别,具有重要的研究价值。本文主要针对光纤振动传感系统目标识别算法进行了深入研究,对采集的振动传感信号进行了数据处理与分析,建立了识别分类模型并编写了程序。主要研究内容如下:(1)基于瑞利散射、Φ-OTDR和机器学习的原理和技术,研究了分布式光纤振动传感系统的目标识别算法;(2)通过实验采集了无干扰、摇晃围栏、刀割光缆、铁锤敲击和雨水冲刷等五类不同振动传感信号。对传感信号进行了小波阈值去噪和片段切分预处理,完成了时频域特征与时域特征提取,并进行了特征选择和融合,得到了五类振动传感信号的特征数据集;(3)采用反向传播(Back Propagation,BP)神经网络对得到的特征数据集进行了识别分类模型的训练,对采用其他特征提取方法得到的平均识别准确率进行了分析比较,得出了平均识别准确率提高了至少0.90%。通过对BP神经网络进行优化,对最终的识别分类模型进行了测试并得到了其性能评价指标。设计的振动传感信号识别分类模型与其他传统机器学习算法比较,平均识别准确率提高了至少1.60%。最后设计并编写了振动传感信号目标识别程序。实验结果表明,本文提出的振动传感信号特征提取方法,通过优化后的BP神经网络识别分类模型对五类振动传感信号的平均识别准确率可以达到98.40%,优化后的BP神经网络识别分类模型的性能评价指标均十分优异,实现了精准识别要求。

关键词： 探地雷达   数据处理   去噪算法   目标成像算法   目标识别分类  

摘要： 近年来,随着探地雷达的应用场景越来越广泛,对地下目标探测与识别技术的要求越来越高,但是由于地下媒质结构复杂,多数探测环境噪声干扰严重,导致回波散射信号解译困难,无法得到目标的准确信息。因此,找寻有效的信号处理算法对地下目标进行探测和识别至关重要,对探地雷达技术的发展也具有理论和实际意义。本文以超宽带脉冲体制探地雷达检测浅地层常见物质为研究对象,围绕回波信号数据的前期处理、目标成像探测以及目标特征提取和分类识别等关键问题展开研究。具体工作如下:1.为了能够更准确的确定目标的位置和类别,要求回波信号中要尽可能地只包含目标信号,不包含无关的信号和噪声。因此针对脉冲探地雷达回波信号特征,详细介绍了常用的预处理算法理论以及计算方法。为了更好地去除回波中的噪声,论文提出小波变换和LMS联合去噪算法,并通过仿真和实测实验对其有效性进行了验证。2.为更好地定位地下目标,基于传统的时域反向投影(BP)成像算法和互相关BP算法,提出了一种基于子孔径的改进互相关BP成像算法,通过将整个回波分成几个子孔径,对每一个子孔径部分进行互相关BP算法,最终将子孔径的结果进行乘法运算得到最终成像。仿真实验和实测实验结果表明该算法对成像结果中的杂波有较好的抑制效果,并且能够提高地下目标的定位准确度。3.在探测的回波数据中,由于地下目标的介电特性不同,不同材质的目标信号相位谱有较大差异。因此,本文提出了基于平均相位差特征,结合径向基(RBF)神经网络的方法来对不同材质的目标进行识别分类,并通过实验数据验证了该算法的可行性。

关键词： 共享单车   轨迹数据   数据处理   路网匹配   逆行行为识别  

摘要： 在当前绿色交通发展的背景下,自行车交通已成为综合交通体系的重要组成部分。随着共享单车的兴起,市民绿色出行、健康出行的热情进一步提升,骑行再一次成为市民主要的出行方式。但同时骑行行为不规范的问题也逐渐凸显,共享单车逆行行为普遍,严重影响了骑行者的出行体验和骑行安全。因此有必要对共享单车逆行行为进行查找,对逆行特征及其成因进行分析,并有针对性的提出解决措施,减少逆行行为,保障骑行者出行安全。共享单车轨迹数据为逆行行为查找带来了新的途径。与常规人工调查方式相比,共享单车轨迹数据覆盖面广、时效性强、分析效率高,能够实现对共享单车逆行行为的全面识别与评估。本文基于共享单车轨迹数据,对数据的处理清洗方法、路网匹配方法、逆行识别方法进行了研究,并利用实际发生的轨迹数据,对典型区域逆行特征与成因进行了深入分析,提出了对策建议。主要研究内容如下:(1)对共享单车发展历程、用户特征、存在问题等基本情况进行了梳理;分析了共享单车骑行行为特征与影响骑行的主要因素;结合共享单车轨迹数据结构特征与应用情况,确定了数据可用性,并提出了数据处理与逆行行为分析的研究思路。(2)针对共享单车轨迹数据质量参差不齐的问题,从需求角度出发,提出了数据处理要求与处理流程;并基于箱线图法与空间关系,对异常点、突变点进行了处理,基于滑动窗口法,对停驻点进行了识别与清洗。(3)构建了基于贝叶斯网络的共享单车轨迹与路网匹配模型,在考虑相邻多个轨迹点与路段之间关联性的前提下,计算该段轨迹属于各条路段的概率,将可能性最大的路段作为估计结果,实现轨迹与路网的匹配;对异常轨迹进行剔除后,根据道路向量与轨迹向量的关系,对共享单车逆行行为进行识别。(4)以北京市核心区为例,应用本文研究方法,对典型共享单车轨迹数据进行了处理、清洗、路网匹配工作,对各条道路的逆行比例及特征进行了测算,与实地踏勘结果对比,验证了方法的有效性,并对逆行成因进行分析,有针对性地提出改造建议。本文共计图62幅,表17个,参考文献103篇。

关键词： 边角异构网   数据处理   平差程序  

摘要： 对于高速铁路长大隧道,由于受到隧道洞内通视性等外部条件限制,常常难以布设传统的导线控制网以满足最短边长300m的规范要求。提出了根据洞内环境,将自由测站边角后方交会网、交叉导线网及边角网有机结合,形成边角异构平面控制网,同时满足高速铁路工程测量规范对隧道洞内控制的精度的要求。基于高速铁路长大隧道洞内的工程实测数据,以边角异构平面控制网的粗差探测与剔除方法、精度指标以及自由网、约束网平差方法为主要的研究内容,分析了边角异构平面控制网的精度。主要的研究内容包括:(1)研究提出了边角异构平面控制网的后方交会闭合环、往返距离闭合环、角度闭合环和三角形余弦闭合环;基于多余观测数理论,提出了增量法确定这四类独立闭合环的数目,并实现了独立闭合环的自动搜索;通过计算独立闭合环的闭合差及其限差来进行观测数据的粗差探测与剔除。(2)通过搜索公共点,实现了各测站局部坐标转换到统一坐标系下的坐标转换算法。基于间接平差原理,实现了自由网平差和约束网平差,并对工程实例进行了精度分析,验证了边角异构平面控制网模型可以满足高速铁路隧道控制的精度要求。(3)结合VC++和数据库Access语言进行边角异构网平差程序设计编制,基于工程实例数据,进行自由网平差与约束网平差的成果比对,且与现有平差软件进行精度对比,验证了边角异构网平差程序开发的正确性。图52幅,表22个,参考文献59篇

关键词： 电磁超声检测   回波模型   经验模式分解   奇异谱分析   特征提取  

摘要： 为了防止石油化工行业输送产品的管道发生灾难性故障,对其进行无损检测至关重要,而对这些管道故障的检测主要集中在量化由管道腐蚀引起的壁厚减薄。超声波管道内检测技术拥有对缺陷敏感、检测直接准确等优点,成为管道无损检测的常用技术。目前,压电超声换能器和电磁超声换能器是两种常用的超声激励方法。其中,压电超声检测需要涂抹耦合剂,会影响检测效率。与压电相比,电磁超声可以简单地产生各类超声波,无需直接接触或耦合剂,但其存在转换效率低和易受噪声影响的问题。因此,对信号进行降噪及特征提取是提高电磁超声管道内检测系统有效性和可靠性的关键步骤。针对电磁超声管道内检测系统缺陷检测的问题,本文研究了电磁超声的基本检测机理,缺陷检测的基本方法,并对回波信号特性、不同缺陷波形特征进行分析。引入算法处理性能评价标准,并采用高斯回波模型对回波信号进行数学建模。针对电磁超声系统回波信号信噪比较差的问题,选用经验模式分解对回波信号预处理,根据信号分解后IMF的特征分布情况,提出了基于欧式距离的IMF筛选原则,并与传统能量法进行对比。针对预处理后信号仍有噪声的问题,通过奇异谱分析对信号进行去噪,提出基于频谱分析的窗口大小选取方法及基于赫斯特指数的重构阶次选取方法对算法进行改进,通过仿真验证了所提算法在降噪和特征保留等处理性能上的有效性。针对缺陷特征提取的问题,研究了几种信号包络法,在考虑检测精度及计算量的情况下,选取峰值包络法中的希尔伯特-黄变换完成信号包络及特征提取。通过计算管道厚度值大小和其它特征参数,推断和确定管道缺陷的类型和尺寸,进而实现缺陷识别。之后使用MATLAB平台设计数据处理系统软件,通过界面操作完成数据的读取、处理及厚度值显示,使算法便于工程应用。为验证本文提出的数据处理技术的处理效果,在实验室制作含有大面积腐蚀及小面积腐蚀的标准试块,分析所提算法对实际检测信号降噪和特征提取的效果,最后对含缺陷的实验管道进行了检测。各实验结果表明,提出的算法具有较高的检测效率,能够实现较为准确的缺陷识别。

ISBN: (纸本)9787115587756