关键词： 毫米波雷达   目标检测   CFAR恒虚警检测算法   密度聚类算法   数据处理  

摘要： 根据十四五规划,交通运输部积极推动自动驾驶技术。其中,城市级“车路云一体化”成为研究热点,旨在解决自动驾驶在安全性和应急处理上的技术挑战。目标检测是自动驾驶中环境感知的关键技术。在环境感知的传感器中,毫米波雷达具备体积小、抗干扰强、成本低等优势,尤其在极端天气如大雾以及强光照下仍能稳定工作。与其他传感器相比,毫米波雷达表现突出。 毫米波雷达目标检测是将接收到的回波信号混频取得差频信号得到距离、速度和角度信息,利用恒虚警检测算法筛除背景杂波,得到点云信息,通过聚类算法对点云数据的处理,以实现目标检测的任务。因此,本文深入研究了恒虚警检测算法与密度聚类算法两个方面对毫米波雷达的目标检测。 针对经典的均值类恒虚警检测算法与有序类恒虚警检测算法在均匀背景与杂波背景下出现虚警和漏检问题,提出一种选择多单元最大值求取均值的恒虚警检测算法,该算法是在传统均值类恒虚警检测算法与有序类恒虚警检测算法的基础上进行改进。为防止出现背景振荡过大,改进的恒虚警检测算法将待测单元左右的参考单元进行每三个单元分为一组(不满三个的情况也视为一组)。同时,在门限值选取过大目标检测率降低的情况下,改进的恒虚警检测算法引入衰减因子来降低门限值,与传统恒虚警检测算法对比能够检测到信噪比更低的目标。仿真结果表明,采用改进的恒虚警检测算法能够有效的避免传统恒虚警算法中虚警与漏检问题,提高了目标检测概率。 在数据集本身密度不均匀的情况下,参数选取不当会导致两种情况,一是同一种簇内的数据被标记为不同的簇使一个目标被检测为多个不同的目标,另一种是不同的簇内数据集标记为同一个簇使得多个目标合并被检测为一个目标。针对这一问题,本文提出了一种基于多密度划分自适应参数确定的密度聚类算法。该算法在DBSCAN算法的基础上,引入了簇内密度的概念,用噪声阈值进行决定是否需要二次聚类,并根据簇内密度划分数据集,实现了最优参数的选取。通过对数据集仿真分析,改进的密度聚类算法减少了密度分布不均对聚类结果带来的影响,提高了数据本身密度差距过大时的聚类效果。通过求得F值对聚类算法的对比评价,改进的密度聚类算法能够准确的检测出目标的所在位置,证明了该算法的有效性。

关键词： 数据安全监控   流数据处理   多场景规则配置解析   异常检测  

摘要： 随着数字经济的快速发展,数据已成为推动社会进步和经济增长的关键要素。但是,在数据快速流通的同时,数据安全问题也日益凸显。现有的隐私计算、区块链等安全技术存在局限性,它们难以有效解决需要直接使用或依赖原始数据场景中的安全问题,以及凭证失窃和内部人员恶意泄露等数据流通阶段的安全问题。 为此,本文提出了一种以数据行为为核心、以监控为手段的数据安全监控系统。该系统通过对旁路网络流量进行实时分析,全面监控数据流通过程中的关键要素,并根据预设的安全策略实时感知被监控系统可能存在的数据安全风险,及时发出预警并启动相应的处置措施,从而有效保障数据安全。本文主要贡献包括: (1)针对数据安全监控系统中的海量流量数据处理和分析问题,本文基于Kappa架构设计了面向数据安全监控系统的流处理框架,并基于Flink的窗口机制实现流量数据特征的聚合统计,从架构和算法的层面保证了系统的实时性。 (2)针对灵活可配置的多场景数据安全监控需求,本文基于AST(抽象语法树)实现了多场景规则的配置和解析。该方法能够更清晰地刻画复杂的安全策略,同时更快速地完成规则判断,提高了系统的可扩展性和可维护性。 (3)针对数据安全分析智能化的问题,本文实现了基于URL特征的API聚类以及基于Flink的增量LOF异常行为检测。与传统人工配置方式相比,API聚类方法可以自动发现系统中的API,减轻了管理员的工作量;基于Flink的增量LOF异常行为检测方法能够弥补基于规则和阈值检测方法的不足,提高系统的风险识别能力。 (4)设计并实现了包含API识别、用户识别、数据识别和风险监测告警四个核心功能模块的完整数据安全监控系统。通过这四个模块的协同工作,该系统可以全面监控数据流通过程,及时发现潜在的数据安全隐患,为数据安全提供了全方位的保障。

关键词： 边缘计算   边缘云存储   云原生   数据处理  

摘要： 随着互联网技术的迅猛发展及物联网(Io T)、大数据和5G技术的广泛应用,边缘计算作为一种新兴的计算模式,因其在处理大量分散数据时展现的低延迟、高效率和强隐私保护等优势而受到广泛关注。边缘云存储系统,作为边缘计算架构的核心,直接关系到整个计算架构的性能和可靠性。 本文针对边缘计算环境下云存储系统面临的新挑战和需求,提出了一种创新的智能边缘云存储系统(IEPCS)解决方案,旨在提高数据处理速度和安全性,同时优化资源管理,以适应边缘计算环境下的特殊性能和安全要求。本文通过分层设计方法,精心设计了IEPCS的边缘代理层、数据处理层、数据存储层、网络通信层和应用服务层,每一层都针对边缘计算的特性进行了专门的优化设计。这不仅确保了数据处理的高效性和数据存储的一致性,还实现了IEPCS内部和外部的高效数据流管理。IEPCS引入了微服务架构和容器化技术,实现了IEPCS的高度模块化和弹性伸缩,提高了IEPCS的部署灵活性和运行效率。 在边缘代理层,本文为边缘代理组件设计了动态数据预处理模块,通过智能识别数据特征和实时调整处理策略,提升了数据处理的速度和质量。同时,为边缘代理组件引入本地缓存机制,通过优化设计智能数据预缓存和动态缓存两种策略,有效地提升了数据访问速度和系统响应能力。数据处理层的设计融合了微服务架构和流处理技术的优势,提出了一种灵活的数据流处理模型,支持复杂的数据处理逻辑和高并发数据流的实时处理。在数据存储层,本文采用了开源的Rook作为IEPCS的分布式文件系统,对Ceph存储解决方案进行高效管理,实现了数据存储的高可靠性和高性能。在网络通信层,通过引入高效的消息队列服务和优化设计边缘网关组件,优化了数据流的管理和传输效率,显著减少了数据传输的延迟,提高了系统的整体响应速度。在应用服务层,为用户提供了易于使用的接口,简化了用户和外部系统与IEPCS的交互过程,提高了系统的可用性和用户体验。 本文还对IEPCS进行了详细的实现和测试。系统实现部分采用了容器化技术和微服务架构,确保了系统的灵活部署和高效运行。系统测试部分通过对比分析,验证了IEPCS在数据处理速度、系统响应时间等方面相较于传统云存储系统的优势。测试结果表明,IEPCS能够有效地满足边缘计算环境下的数据存储和处理需求,具有较高的实用价值和较广的应用前景。

关键词： Diff算法   性能优化   间断化学分析仪   数据传输   数据处理  

摘要： 随着科技的进步和对化学分析仪器自动化、高效、精确等方面的需求不断上升,全自动间断化学分析仪的研究受到了广泛关注。这类分析仪器集化学反应、光谱技术和自动控制系统于一体,能够对化学物质进行高效且精确的分析,极大提高了实验效率和分析结果的准确性。在环保、药品研发、食品安全等多个领域,全自动间断化学分析仪已成为关键工具,加上其自动完成实验分析的能力,显著减轻了实验员的工作强度。而全自动间断化学分析仪上位机通过与下位机的硬件设备相连,可以完成精确的化学物质分析、动态的数据可视化展示,以及安全的数据存储任务。因此,本文从实际需求出发,使用React作为前端框架,***作为后端框架,My SQL作为数据库设计并实现了一个基于Web的全自动间断化学分析仪上位机系统。本文的主要研究内容如下: (1)完成了全自动间断化学分析仪上位机系统的需求分析和系统架构设计。在了解化学分析仪原理的基础上,根据客户要求完成系统需求分析和系统架构设计。将整个系统架构分为设备层、数据层、数据访问层、业务逻辑层、后台API接口层、网络请求层以及前端界面层。并对系统涉及到的开发技术做了相关介绍。 (2)改进了多节点Diff算法,对前端性能进行了优化设计。通过介绍全自动间断化学分析仪上位机存在的性能缺陷,提出改进Diff算法从而优化系统性能,提高实验效率。通过分析频繁操作DOM的弊端,研究利用React中的Diff算法对其进行优化。在详细分析React框架中单节点Diff算法和多节点Diff算法整体流程的基础上,进一步分析每个阶段耗费的时间复杂度和空间复杂度,发现算法在交换节点位置的场景下存在的缺陷,最后分析其缺陷原理并给出相应的优化方案。再通过实验进行验证,确保方案的可行性。 (3)完成了数据传输、处理和存储的工作。在分析系统数据传输需求的基础上设计自定义通信协议和软硬件通信接口,使用Socket技术实现Node后端与下位机实时通信,使用Web Socket技术实现前端与后端通信,将实验进度实时展示到前端界面。使用循环冗余校验算法确保数据传输的完整性。设计并实现实验步骤生成算法,根据用户设定的实验参数自动生成实验数据。通过最小二乘法获得实验结果的曲线方程,根据朗伯-比尔定律得到计算化学物质的浓度。 (4)完成了系统功能模块开发及测试。以React作为前端框架,***作为后端框架,Axios作为请求工具,设计并实现本系统的相关功能模块。并以My SQL作为数据库,将实验得到的浓度、吸光度、相关系数以及曲线方程存储进数据库中。然后对系统所有功能进行测试,并在Diff算法改进后的React框架中完成系统界面开发,测试系统性能。对数据传输的可靠性进行相关测试。最终验证系统的可行性。

关键词： 桥梁健康监测   时间序列   ECharts   数据处理  

摘要： 随着城市交通运输的不断发展，桥梁作为城市重要的交通枢纽，其安全与稳定性显得尤为重要。然而，由于桥梁长期承受车流、自然环境等多种因素的影响，其结构健康状况容易受到损害。桥梁健康监测技术是一种重要的技术手段，对于确保桥梁的安全、可靠和耐久性具有重要意义。为了有效监测和管理桥梁的健康状况，首先本文针对桥梁监测的数据进行了预处理，并使用时间序列预测模型对监测数据进行了预测，实现了桥梁健康状况的预测研究。然后本文在此基础上设计并实现了一款基于***的桥梁健康监测管理系统，采用B/S三层体系结构，结合***模式和***实体框架，并利用Ajax异步动态刷新，实现了桥梁健康监测管理系统的构建。主要研究内容如下：　　第一，本文为了降低噪声干扰对桥梁预测引起的误差，在进行桥梁预测前需对数据进行降噪处理，采用S-G滤波，对数据集进行预处理，以保证数据预测结果的准确性。然后，分别提出基于BP、LSTM、PSO-LSTM和QPSO-LSTM的桥梁监测数据预测分析方法，并通过实验验证LSTM方法比BP方法具有更高的预测精度，接着针对LSTM模型的桥梁应变预测存在精度低，预测效果能力弱等问题，利用粒子群算法对LSTM模型的参数进行优化，提出PSO优化LSTM神经网络的桥梁应变预测模型，然后针对传统粒子群优化算法，由于粒子位置的变化缺少随机性，有可能会陷入局部最优，QPSO算法通过引入量子计算的概念，改善了粒子群优化算法的搜索策略，这有助于QPSO-LSTM在参数空间中更高效地搜索全局最优解，相较于PSO-LSTM，可能具有更快的收敛速度和更好的全局搜索能力。实验结果表明，QPSO-LSTM模型的MSE、MAE、RMSE和R平方的值更优，提升了预测的精准性和适用性，进而验证了本文模型在桥梁数据预测的可行性和有效性。　　第二，将BP、LSTM、PSO-LSTM和QPSO-LSTM时间序列预测方法与***技术相融合，并且采用ECharts可视化技术分别将BP、LSTM、PSO-LSTM和QPSO-LSTM时间序列预测值与真实值显示在网页界面上，提供了丰富的时间序列预测模型选择，增强了预测的准确性;***提供稳定后端支持，确保数据处理高效;ECharts可视化直观展现预测与真实值对比，便于用户理解和分析;同时，这种融合方案提升了系统的互动性和用户体验，使用户能实时获取预测结果，为决策制定提供有力支持。　　第三，通过系统需求分析和设计，最终完成了一个功能完善、易用高效的桥梁健康监测管理系统。本系统的主要功能包括用户登录注册模块、首页模块、ECharts大屏展示模块、项目概述模块、监控信息模块、采集系统模块和数据预测模块等。用户可以通过系统查看桥梁的健康状况，进行数据分析并生成相关报表，及时发现并处理异常情况，保障桥梁结构的安全与稳定。　　第四，针对系统功能，主要完成了系统功能测试和非功能测试。系统功能测试主要采用黑盒测试对各个模块功能进行测试，并且给出了测试结果，并且实际结果与预期结果一致。系统非功能测试主要实现了兼容性测试和性能测试，其中兼容性测试使用Chrome浏览器和IE浏览器进行各个功能模块测试，并且各个模块均能正常运行;性能测试采用浏览器开发者工具中的性能监测工具，分别对各个模块进行了加载时间、执行脚本时间、渲染时间、绘制时间、系统时间、空闲时间和总计时间等方面进行监测，并且测试结果通过。

关键词： 视频测量   CPU/GPU   NUMA架构   并行架构   多重自相关  

摘要： 视频测量(Videogrammetric Measurement,VM)是指用数字相机非接触测量被测物上特征点位置坐标、运动参数的技术,具有精度高、硬件成本低、无损且便携的优点。但随着高速高分辨率相机的推广应用,大量VM测量图像的实时采集存储和特征点识别定位技术,已成为视频测量的实时化的研究热点;另一方面,VM测得的风洞试验模型振动数据中,高阶频率(如二阶及以上的固有频率)幅值较低阶频率(一阶固有频率)小得多,辨识精度亟待提高。为此,本文研究视频测量的CPU/GPU并行架构与数据处理技术,主要研究工作如下: (1)研究了实时位姿视频测量系统数据流的软硬件平衡模型,依据相机采图速度,基于CPU/GPU架构,完成实时位姿视频测量系统的软硬件数据吞吐率设计,建立实时位姿视频测量全速流水线的软硬件平衡模型和流水线转发路径图。 (2)提出最小延迟的流水线软硬件部署优化算法,使流水线上顺序软件模块部署的CPU节点间NUMA(Non Uniform Memory Access)距离最近,通过最小化节点间数据访问次数与时间、降低对总线与内存带宽的要求,实现软硬件的最优化耦合。 (3)开展VM实时测量软硬件耦合优化实验研究,结果表明:满分辨率满帧率输出JPG压缩图像速率时,在两台服务器中进行对比实验,两台服务器采集速率分别为windows部署方案的1.96倍、1.32倍。从相机采集到获得压缩文件的延时(ms),而本文方法较windows部署与方案1到方案4分别缩短了32.36%、21.40%、14.62%、10.04%、12.90%。最后通过微秒级频闪灯实验,对其进行时序分析,可证明本系统可在相机满帧时不丢帧的实时压缩存储数据,表明本文方法具有广阔的工程应用前景。 (4)提出了振动频率的多重循环自相关辨识方法,对VM测得的风洞试验模型振动数据进行频域分解,再对各个分段频率信号进行多重自相关操作,提升周期信号的信噪比,以确保风洞试验模型高阶振动频率的辨识精度。仿真实验表明本文方法三次重复性实验中平均信噪比提升了33.02d B,证实了本文方法可有效提升微弱信号的信噪比,同时,其3d B带宽为线性自相关法的1.86%,其频率分量更集中。在地面测振实验中,此方法结果与比利时LMS公司软件结果的相对误差为1.90%,同时在频率辨识精准度的风洞试验中,四次实验瑞芬AK390-10-A三轴加速度计结果与标称频率的相对误差分别为1%、1%、1%、2.4%,而本文方法与标称频率的相对误差均为0.01%,辨识准确性好。

关键词： 塔机   数据处理   数据库   缺失值处理   改进麻雀搜索算法  

摘要： 塔式起重机在运行过程中面临着操作失误、设备故障、机构缺陷等多种风险,会导致严重事故和损失。为了预防潜在的事故风险,实时监测起重机的运行状态变得至关重要。随着物联网技术的发展,塔机安全监测系统得到了显著改进,可以实时监测各项指标,并将数据传回记录仪进行存储,便于事故原因的追溯。然而,监测系统涉及的监测因素繁多,采样频率高,导致记录的数据量庞大,处理变得更加复杂。面对不同型号的塔机产生的大规模数据,传统的数据处理分析方式已经不足以有效应对。 因此,本文研究针对塔式起重机安全监测系统缺乏数据分析处理机制的问题,充分运用大数据技术对数据进行高效处理,同时引入神经网络解决数据缺失问题,并深入分析塔机数据。采用此种方式处理多源塔机信息,进一步提升了数据的可利用率,为塔机的结构分析和可靠性评估提供可靠的数据支撑。论文主要工作如下: (1)根据塔机相关信息设计E-R图并建立了相应的数据库。在对数据进行格式统一、重复值处理、异常值处理和缺失值处理后,进行塔机相关参数的计算和分析,同时完成工作循环的划分,得到了位移、速度、加速度、起吊次数、载荷谱系数、分布类型等相关信息。 (2)本文针对塔机运行数据中的缺失值问题,提出了利用长短时记忆神经网络(LSTM)进行处理。以提升模型的准确性和鲁棒性为目标,引入自适应权重因子、粒子群算法中速度策略、鹈鹕算法中水面搜寻捕食策略对麻雀搜索算法(SSA)进行改进,最终得到改进麻雀搜索算法(ISSA)。以隐藏层的单元数、初始学习率以及正则化参数为优化对象,构建了ISSA-LSTM短期预测组合模型。通过采用型号QTZ80的塔机运行数据进行模型训练,并通过结果验证对比,证明ISSA-LSTM模型的预测精度显著高于SSA-LSTM模型。该模型有效解决了塔机运行信息中数据缺失的问题,保障了数据在时序上的连续性,并显著提高了数据的可利用率。 (3)基于对塔机数据信息的深入分析,构建了系统的整体框架,设计了数据管理、数据分析以及辅助功能模块的功能框图,并制定了系统开发的流程图。最终完成了塔机信息管理系统的开发,实现了包括数据管理、数据分析、辅助功能、用户管理、图形报表等多项功能。 本次研究为塔机信息分析处理机制开辟了新的思路,为大数据技术在塔机行业的应用奠定了一定基础,促进了塔机与物联网技术以及大数据技术的融合发展。

关键词： 附录C   结冰   气象探测   数据处理  

摘要： 结冰会破坏飞机的气动外形，导致升力下降阻力增加，飞机的操纵性和稳定性下降，严重影响飞行安全。考虑到FAR附录C的使用有一定的地区和季节的局限性，同时更多更复杂的结冰环境的发现需要对附录C进行不断地修订，因此总结和探索气象探测的数据处理方法能够对编制和改进我国的结冰适航审定规章提供指导。本文介绍了附录C的编制背景，总结了传统结冰气象探测仪器的测量原理以及数据处理方法，重点解释了如何将测量到的气象数据转化为可供查询的包线图；随后列举了基于电子/光学原理和雷达的现代气象探测手段，并简单论述了结冰气象探测的发展趋势和挑战。

关键词： 边缘计算   云计算   数据处理  

摘要： 现如今,物联网和5G技术发展非常迅速,电子化信息技术的有效发展也使得各种数据量飞速地增长,而这些数据对于计算能力和计算速度也提出了更加严格的要求。云计算技术的有效应用能够利用数据中心当中的各种有效服务器,基本上可以达到无限的计算能力,这也是大数据对数据进行分析时非常有效的方案。然而,云计算在进行应用时也存在着网络延时较大、成本较高等特点,无法真正地适应所有的大数据分析处理要求。