关键词： 边缘计算   边缘云存储   云原生   数据处理  

摘要： 随着互联网技术的迅猛发展及物联网(Io T)、大数据和5G技术的广泛应用,边缘计算作为一种新兴的计算模式,因其在处理大量分散数据时展现的低延迟、高效率和强隐私保护等优势而受到广泛关注。边缘云存储系统,作为边缘计算架构的核心,直接关系到整个计算架构的性能和可靠性。 本文针对边缘计算环境下云存储系统面临的新挑战和需求,提出了一种创新的智能边缘云存储系统(IEPCS)解决方案,旨在提高数据处理速度和安全性,同时优化资源管理,以适应边缘计算环境下的特殊性能和安全要求。本文通过分层设计方法,精心设计了IEPCS的边缘代理层、数据处理层、数据存储层、网络通信层和应用服务层,每一层都针对边缘计算的特性进行了专门的优化设计。这不仅确保了数据处理的高效性和数据存储的一致性,还实现了IEPCS内部和外部的高效数据流管理。IEPCS引入了微服务架构和容器化技术,实现了IEPCS的高度模块化和弹性伸缩,提高了IEPCS的部署灵活性和运行效率。 在边缘代理层,本文为边缘代理组件设计了动态数据预处理模块,通过智能识别数据特征和实时调整处理策略,提升了数据处理的速度和质量。同时,为边缘代理组件引入本地缓存机制,通过优化设计智能数据预缓存和动态缓存两种策略,有效地提升了数据访问速度和系统响应能力。数据处理层的设计融合了微服务架构和流处理技术的优势,提出了一种灵活的数据流处理模型,支持复杂的数据处理逻辑和高并发数据流的实时处理。在数据存储层,本文采用了开源的Rook作为IEPCS的分布式文件系统,对Ceph存储解决方案进行高效管理,实现了数据存储的高可靠性和高性能。在网络通信层,通过引入高效的消息队列服务和优化设计边缘网关组件,优化了数据流的管理和传输效率,显著减少了数据传输的延迟,提高了系统的整体响应速度。在应用服务层,为用户提供了易于使用的接口,简化了用户和外部系统与IEPCS的交互过程,提高了系统的可用性和用户体验。 本文还对IEPCS进行了详细的实现和测试。系统实现部分采用了容器化技术和微服务架构,确保了系统的灵活部署和高效运行。系统测试部分通过对比分析,验证了IEPCS在数据处理速度、系统响应时间等方面相较于传统云存储系统的优势。测试结果表明,IEPCS能够有效地满足边缘计算环境下的数据存储和处理需求,具有较高的实用价值和较广的应用前景。

关键词： 桥梁健康监测   时间序列   ECharts   数据处理  

摘要： 随着城市交通运输的不断发展，桥梁作为城市重要的交通枢纽，其安全与稳定性显得尤为重要。然而，由于桥梁长期承受车流、自然环境等多种因素的影响，其结构健康状况容易受到损害。桥梁健康监测技术是一种重要的技术手段，对于确保桥梁的安全、可靠和耐久性具有重要意义。为了有效监测和管理桥梁的健康状况，首先本文针对桥梁监测的数据进行了预处理，并使用时间序列预测模型对监测数据进行了预测，实现了桥梁健康状况的预测研究。然后本文在此基础上设计并实现了一款基于***的桥梁健康监测管理系统，采用B/S三层体系结构，结合***模式和***实体框架，并利用Ajax异步动态刷新，实现了桥梁健康监测管理系统的构建。主要研究内容如下：　　第一，本文为了降低噪声干扰对桥梁预测引起的误差，在进行桥梁预测前需对数据进行降噪处理，采用S-G滤波，对数据集进行预处理，以保证数据预测结果的准确性。然后，分别提出基于BP、LSTM、PSO-LSTM和QPSO-LSTM的桥梁监测数据预测分析方法，并通过实验验证LSTM方法比BP方法具有更高的预测精度，接着针对LSTM模型的桥梁应变预测存在精度低，预测效果能力弱等问题，利用粒子群算法对LSTM模型的参数进行优化，提出PSO优化LSTM神经网络的桥梁应变预测模型，然后针对传统粒子群优化算法，由于粒子位置的变化缺少随机性，有可能会陷入局部最优，QPSO算法通过引入量子计算的概念，改善了粒子群优化算法的搜索策略，这有助于QPSO-LSTM在参数空间中更高效地搜索全局最优解，相较于PSO-LSTM，可能具有更快的收敛速度和更好的全局搜索能力。实验结果表明，QPSO-LSTM模型的MSE、MAE、RMSE和R平方的值更优，提升了预测的精准性和适用性，进而验证了本文模型在桥梁数据预测的可行性和有效性。　　第二，将BP、LSTM、PSO-LSTM和QPSO-LSTM时间序列预测方法与***技术相融合，并且采用ECharts可视化技术分别将BP、LSTM、PSO-LSTM和QPSO-LSTM时间序列预测值与真实值显示在网页界面上，提供了丰富的时间序列预测模型选择，增强了预测的准确性;***提供稳定后端支持，确保数据处理高效;ECharts可视化直观展现预测与真实值对比，便于用户理解和分析;同时，这种融合方案提升了系统的互动性和用户体验，使用户能实时获取预测结果，为决策制定提供有力支持。　　第三，通过系统需求分析和设计，最终完成了一个功能完善、易用高效的桥梁健康监测管理系统。本系统的主要功能包括用户登录注册模块、首页模块、ECharts大屏展示模块、项目概述模块、监控信息模块、采集系统模块和数据预测模块等。用户可以通过系统查看桥梁的健康状况，进行数据分析并生成相关报表，及时发现并处理异常情况，保障桥梁结构的安全与稳定。　　第四，针对系统功能，主要完成了系统功能测试和非功能测试。系统功能测试主要采用黑盒测试对各个模块功能进行测试，并且给出了测试结果，并且实际结果与预期结果一致。系统非功能测试主要实现了兼容性测试和性能测试，其中兼容性测试使用Chrome浏览器和IE浏览器进行各个功能模块测试，并且各个模块均能正常运行;性能测试采用浏览器开发者工具中的性能监测工具，分别对各个模块进行了加载时间、执行脚本时间、渲染时间、绘制时间、系统时间、空闲时间和总计时间等方面进行监测，并且测试结果通过。

关键词： Diff算法   性能优化   间断化学分析仪   数据传输   数据处理  

摘要： 随着科技的进步和对化学分析仪器自动化、高效、精确等方面的需求不断上升,全自动间断化学分析仪的研究受到了广泛关注。这类分析仪器集化学反应、光谱技术和自动控制系统于一体,能够对化学物质进行高效且精确的分析,极大提高了实验效率和分析结果的准确性。在环保、药品研发、食品安全等多个领域,全自动间断化学分析仪已成为关键工具,加上其自动完成实验分析的能力,显著减轻了实验员的工作强度。而全自动间断化学分析仪上位机通过与下位机的硬件设备相连,可以完成精确的化学物质分析、动态的数据可视化展示,以及安全的数据存储任务。因此,本文从实际需求出发,使用React作为前端框架,***作为后端框架,My SQL作为数据库设计并实现了一个基于Web的全自动间断化学分析仪上位机系统。本文的主要研究内容如下: (1)完成了全自动间断化学分析仪上位机系统的需求分析和系统架构设计。在了解化学分析仪原理的基础上,根据客户要求完成系统需求分析和系统架构设计。将整个系统架构分为设备层、数据层、数据访问层、业务逻辑层、后台API接口层、网络请求层以及前端界面层。并对系统涉及到的开发技术做了相关介绍。 (2)改进了多节点Diff算法,对前端性能进行了优化设计。通过介绍全自动间断化学分析仪上位机存在的性能缺陷,提出改进Diff算法从而优化系统性能,提高实验效率。通过分析频繁操作DOM的弊端,研究利用React中的Diff算法对其进行优化。在详细分析React框架中单节点Diff算法和多节点Diff算法整体流程的基础上,进一步分析每个阶段耗费的时间复杂度和空间复杂度,发现算法在交换节点位置的场景下存在的缺陷,最后分析其缺陷原理并给出相应的优化方案。再通过实验进行验证,确保方案的可行性。 (3)完成了数据传输、处理和存储的工作。在分析系统数据传输需求的基础上设计自定义通信协议和软硬件通信接口,使用Socket技术实现Node后端与下位机实时通信,使用Web Socket技术实现前端与后端通信,将实验进度实时展示到前端界面。使用循环冗余校验算法确保数据传输的完整性。设计并实现实验步骤生成算法,根据用户设定的实验参数自动生成实验数据。通过最小二乘法获得实验结果的曲线方程,根据朗伯-比尔定律得到计算化学物质的浓度。 (4)完成了系统功能模块开发及测试。以React作为前端框架,***作为后端框架,Axios作为请求工具,设计并实现本系统的相关功能模块。并以My SQL作为数据库,将实验得到的浓度、吸光度、相关系数以及曲线方程存储进数据库中。然后对系统所有功能进行测试,并在Diff算法改进后的React框架中完成系统界面开发,测试系统性能。对数据传输的可靠性进行相关测试。最终验证系统的可行性。

关键词： 视频测量   CPU/GPU   NUMA架构   并行架构   多重自相关  

摘要： 视频测量(Videogrammetric Measurement,VM)是指用数字相机非接触测量被测物上特征点位置坐标、运动参数的技术,具有精度高、硬件成本低、无损且便携的优点。但随着高速高分辨率相机的推广应用,大量VM测量图像的实时采集存储和特征点识别定位技术,已成为视频测量的实时化的研究热点;另一方面,VM测得的风洞试验模型振动数据中,高阶频率(如二阶及以上的固有频率)幅值较低阶频率(一阶固有频率)小得多,辨识精度亟待提高。为此,本文研究视频测量的CPU/GPU并行架构与数据处理技术,主要研究工作如下: (1)研究了实时位姿视频测量系统数据流的软硬件平衡模型,依据相机采图速度,基于CPU/GPU架构,完成实时位姿视频测量系统的软硬件数据吞吐率设计,建立实时位姿视频测量全速流水线的软硬件平衡模型和流水线转发路径图。 (2)提出最小延迟的流水线软硬件部署优化算法,使流水线上顺序软件模块部署的CPU节点间NUMA(Non Uniform Memory Access)距离最近,通过最小化节点间数据访问次数与时间、降低对总线与内存带宽的要求,实现软硬件的最优化耦合。 (3)开展VM实时测量软硬件耦合优化实验研究,结果表明:满分辨率满帧率输出JPG压缩图像速率时,在两台服务器中进行对比实验,两台服务器采集速率分别为windows部署方案的1.96倍、1.32倍。从相机采集到获得压缩文件的延时(ms),而本文方法较windows部署与方案1到方案4分别缩短了32.36%、21.40%、14.62%、10.04%、12.90%。最后通过微秒级频闪灯实验,对其进行时序分析,可证明本系统可在相机满帧时不丢帧的实时压缩存储数据,表明本文方法具有广阔的工程应用前景。 (4)提出了振动频率的多重循环自相关辨识方法,对VM测得的风洞试验模型振动数据进行频域分解,再对各个分段频率信号进行多重自相关操作,提升周期信号的信噪比,以确保风洞试验模型高阶振动频率的辨识精度。仿真实验表明本文方法三次重复性实验中平均信噪比提升了33.02d B,证实了本文方法可有效提升微弱信号的信噪比,同时,其3d B带宽为线性自相关法的1.86%,其频率分量更集中。在地面测振实验中,此方法结果与比利时LMS公司软件结果的相对误差为1.90%,同时在频率辨识精准度的风洞试验中,四次实验瑞芬AK390-10-A三轴加速度计结果与标称频率的相对误差分别为1%、1%、1%、2.4%,而本文方法与标称频率的相对误差均为0.01%,辨识准确性好。

关键词： 塔机   数据处理   数据库   缺失值处理   改进麻雀搜索算法  

摘要： 塔式起重机在运行过程中面临着操作失误、设备故障、机构缺陷等多种风险,会导致严重事故和损失。为了预防潜在的事故风险,实时监测起重机的运行状态变得至关重要。随着物联网技术的发展,塔机安全监测系统得到了显著改进,可以实时监测各项指标,并将数据传回记录仪进行存储,便于事故原因的追溯。然而,监测系统涉及的监测因素繁多,采样频率高,导致记录的数据量庞大,处理变得更加复杂。面对不同型号的塔机产生的大规模数据,传统的数据处理分析方式已经不足以有效应对。 因此,本文研究针对塔式起重机安全监测系统缺乏数据分析处理机制的问题,充分运用大数据技术对数据进行高效处理,同时引入神经网络解决数据缺失问题,并深入分析塔机数据。采用此种方式处理多源塔机信息,进一步提升了数据的可利用率,为塔机的结构分析和可靠性评估提供可靠的数据支撑。论文主要工作如下: (1)根据塔机相关信息设计E-R图并建立了相应的数据库。在对数据进行格式统一、重复值处理、异常值处理和缺失值处理后,进行塔机相关参数的计算和分析,同时完成工作循环的划分,得到了位移、速度、加速度、起吊次数、载荷谱系数、分布类型等相关信息。 (2)本文针对塔机运行数据中的缺失值问题,提出了利用长短时记忆神经网络(LSTM)进行处理。以提升模型的准确性和鲁棒性为目标,引入自适应权重因子、粒子群算法中速度策略、鹈鹕算法中水面搜寻捕食策略对麻雀搜索算法(SSA)进行改进,最终得到改进麻雀搜索算法(ISSA)。以隐藏层的单元数、初始学习率以及正则化参数为优化对象,构建了ISSA-LSTM短期预测组合模型。通过采用型号QTZ80的塔机运行数据进行模型训练,并通过结果验证对比,证明ISSA-LSTM模型的预测精度显著高于SSA-LSTM模型。该模型有效解决了塔机运行信息中数据缺失的问题,保障了数据在时序上的连续性,并显著提高了数据的可利用率。 (3)基于对塔机数据信息的深入分析,构建了系统的整体框架,设计了数据管理、数据分析以及辅助功能模块的功能框图,并制定了系统开发的流程图。最终完成了塔机信息管理系统的开发,实现了包括数据管理、数据分析、辅助功能、用户管理、图形报表等多项功能。 本次研究为塔机信息分析处理机制开辟了新的思路,为大数据技术在塔机行业的应用奠定了一定基础,促进了塔机与物联网技术以及大数据技术的融合发展。

关键词： 附录C   结冰   气象探测   数据处理  

摘要： 结冰会破坏飞机的气动外形，导致升力下降阻力增加，飞机的操纵性和稳定性下降，严重影响飞行安全。考虑到FAR附录C的使用有一定的地区和季节的局限性，同时更多更复杂的结冰环境的发现需要对附录C进行不断地修订，因此总结和探索气象探测的数据处理方法能够对编制和改进我国的结冰适航审定规章提供指导。本文介绍了附录C的编制背景，总结了传统结冰气象探测仪器的测量原理以及数据处理方法，重点解释了如何将测量到的气象数据转化为可供查询的包线图；随后列举了基于电子/光学原理和雷达的现代气象探测手段，并简单论述了结冰气象探测的发展趋势和挑战。

关键词： 边缘计算   云计算   数据处理  

摘要： 现如今,物联网和5G技术发展非常迅速,电子化信息技术的有效发展也使得各种数据量飞速地增长,而这些数据对于计算能力和计算速度也提出了更加严格的要求。云计算技术的有效应用能够利用数据中心当中的各种有效服务器,基本上可以达到无限的计算能力,这也是大数据对数据进行分析时非常有效的方案。然而,云计算在进行应用时也存在着网络延时较大、成本较高等特点,无法真正地适应所有的大数据分析处理要求。

关键词： 自动控制   水浸聚焦   无损检测   数据处理  

摘要： 采用超声水浸聚焦法,通过PLC自动控制机构夹持探头,使用MATLAB软件对处理后的数据进行缺陷三维重构,并采用线性插值法和局部加权线性回归法进行优化。结果表明,PLC能够精准稳定地控制探头移动;使用聚焦探头杂波更少,有利于缺陷检测;使用MATLAB对该数据进行三维重构并优化,缺陷图像和实际人工缺陷相吻合。本文所述方法能够很好地实现对单层板材的缺陷重构,在超声无损检测领域有重要意义。

关键词： 风电机组   风功率   数据处理   异常数据识别   组合算法  

摘要： 新能源风电机组在日常运行过程中,数据采集与监视控制系统存在大量的异常数据,这些异常如不加以处理,将直接影响风功率曲线建模、风力机运行状态监测以及运行数据中有用信息的提取。因此,采用数据处理技术辨别风功率异常数据是十分必要的。通过比较分析DBSCAN法与四分位法在风功率异常数据识别与清洗方面的优势与不足,为克服单一算法局限性,提出将两种算法优势结合形成组合算法,并以某风场实测运行数据为例,验证该方法的可行性与准确性。实例证明通过算法组合与改进可提高算法泛化能力与适用性,对风功率数据清洗效果优于单一算法。

关键词： GeoEast   辅助软件   数据处理   数据可视化   Python  

摘要： 为更好地服务于GeoEast用户,解决用户痛点问题,我们结合需求调研结果,开发了一款GeoEast工具箱软件,扩充GeoEast边缘功能,辅助用户提升工作效率。经过实际生产测试发现:(1)软件功能丰富全面,对于GeoEast辅助应用具有重要意义;(2)软件由Python3编写,便于快速实现需求,使用Qt6设计,界面简洁直观;(3)软件达到了辅助应用、降本增效、提升用户体验、提高灵活性、提升推广应用效果的目的;(4)在软件功能的逐步扩充下,未来会面向所有油气勘探开发领域的工作人员,将更好地为找油找气做贡献。