关键词： NB-IoT   低功耗   高并发   远程抄表系统   Netty  

摘要： 天燃气具有安全清洁、价格实惠等优点,现在更多的家庭开始使用天然气进行发电,通常使用燃气表对天燃气的数据进行采集。随着物联网科技的迅速发展,传统的人工抄表已经不满足社会的需求,NB-IoT作为一种新兴的物联网技术已经被广泛的应用到无线远程抄表方式中。随着我国燃气表行业的不断发展,燃气表的使用数量呈指数增加,数据通讯频繁,普通的服务器系统无法满足高并发燃气表数据的上下通信,服务器的性能就成为了抄表系统的瓶颈。针对于上述的现状,本文设计了一套NB-IoT燃气表的高并发数据处理平台,以降低燃气表的功耗和成本,提高后台服务器的数据处理能力。本系统通过NB-IoT通信模块将燃气表的数据上传给服务器,服务器对数据进行解析之后,在浏览器端进行展示。本文的主要研究内容如下:(1)本系统的硬件部分是在已有的燃气表的基础上增加一个NB-IoT通信模块。该模块采用STM32L071KBTx作为主控芯片,HT7333作为电源模块,WH-NB73作为NB模块。通过UART与燃气表通行,NB模块将燃气表的数据上传到服务器端。(2)在服务器I/O模型选型上,首先分析了Linux系统中传统I/O技术特点以及Java NIO的工作原理,通过对不同I/O技术和Netty网络框架进行效率仿真比较,选取了采用Reactor模型的Netty网络通信框架,作为服务端的通信模块,保证服务端的高并发性能。(3)使用Spting Boot+Mybatis Plus框架完成了抄表系统的开发,使用Mysql数据库用来存储燃气表的数据,抄表系统中服务端使用Java语言进行实现,前端页面使用Javs Script进行实现。整个系统功能包括用户登录注册、数据查询、抄表失败用户展示、用户管理等。服务端需要将NB-IoT模块上传的燃气表数据成功接收并且正确解析出来,保存在数据库中,在前端页面进行展示。(4)对整个系统进行测试,包括硬件部分NB-IoT通信模块测试、抄表系统中功能测试,最后使用Jmeter压测工具对服务器性能进行压测,从平均相应时间和TPS两个性能指标对系统性能进行分析,测试结果表明基于Netty设计的服务器在TPS最高可以达到2500,同时平均响应时间稳定在300 ms,异常率保持为0,符合预期目标。

关键词： 日光温室   数据处理   模拟预测   管理决策  

摘要： 随着物联网技术的发展,农业开始迈向信息化和数字化方向。设施农业领域积累了大量的温室环境和生产信息数据,数据生产力正在颠覆温室产业结构发生变革,蔬菜栽培管理发生了重大变化。温室数据信息驱动知识更新迭代,把产生的偏差信息运用于管理决策。通过对日光温室中多维数据隐含信息的分析和挖掘,形成更加科学的温室调控措施,提高农业生产效率和经济效益。 （1）通过计算温室内外光温环境参数之间的权重系数,环境特征变化规律联系紧密。采用偏最小二乘方法拟合了墙体放热量与室外光温参数的多元方程表达式,模拟值与实际观测值决定系数达到0.95,具有较优的拟合度。模型综合了室外光热环境特征信息规律,通过气象预报,用于模拟预测墙体放热量情况,从而科学调控日光温室加温量。 （2）选用BP神经网络和LSTM神经网络建立室内温度预测模型,并通过PSO算法优化两种神经网络结构参数,对比了BP、PSO优化BP、LSTM、PSO优化LSTM共4种神经网络模型的预测准确度。以环境历史数据和设备控制数据为模型输入量,PSO优化LSTM神经网络模型决定系数达到0.97。并基于此网络建立多步长温度预测,时间步长尺度到达6步时,决定系数降到0.81,温度产生较大的预测偏差。在4步预测范围内,模型达到了较高准确度。 （3）针对温室生产拥有高产量但未获得高效益情况,系统分析了蔬菜收获产量和销售价格的关系。运用建立的ARIMA模型对2020年黄瓜价格进行验证,其中预测评估结果RMSE为1.87元/kg,MAPE为10.77%,R2为0.95,达到了较高预测准确度。利用建立的蔬菜价格预测模型,结合温度预测模型,指导农户科学调控室内温热环境,如期实现黄瓜结果上市。 综上所述,通过各种农业要素数据化,历史记录数据关联复杂度,价值规律的深度探索和挖掘,建立数据模型形成科学管理决策方案。设施农业生产由经验跨越到数据科学种植,改变粗放的生产模式,提升数据价值链。每个种植周期中收集大量的多维数据,全生长发育过程流程追踪,从中学习实现下一个生长周期的最优效益。

关键词： 车辆轨迹数据处理   轨迹信息可视化   Web组件  

摘要： 车辆轨迹数据代表着车主的行为,也可以反映出城市的发展变化、交通状况等信息,近年来正不断被应用于相关研究中。然而,轨迹数据需要进行琐碎的数据处理工作,同时包含了大量的可视化分析需求,这拖慢了相关研究开发人员的工作效率,分散了研究开发资源。本文总结了车辆轨迹数据处理过程中的方法和经验,分析了现有可视化组件的实现原理,设计并实现了一个提供线上车辆轨迹数据处理及可视化分析功能的平台。本文的具体研究内容和成果主要包括以下三个方面:1、车辆轨迹数据处理。本文根据实际数据,实现了基于Dask的数据清洗、停留点提取、路网匹配三个步骤的车辆轨迹数据处理方法,提升数据处理效率,使车辆的行驶轨迹更贴近现实。2、车辆轨迹信息可视化组件。现有的一些可视化组件在数据量提升且操作频繁的情况下无法保证效率和可视化效果,因此本文设计并实现了一种基于***的可视化组件,通过元素一次性渲染、批量更新的方式减少因地图事件带来的重绘操作,提高可视化体验。3、车辆轨迹数据处理及可视化平台的设计与实现。本文结合上述工作,设计并实现了能够进行线上数据处理和自定义可视化的Web应用,相关研究开发人员可以批量处理轨迹数据,以文件输入的形式直观地获得所需的可视化内容,满足研究开发人员简化处理过程和直观观察轨迹的需求。最后,本文根据山东某市的车辆轨迹数据实现了一个交通流量可视化系统,通过本平台进行线上轨迹数据处理,采用本文的车辆轨迹信息可视化组件实现前端页面。车辆轨迹数据处理时间大大缩短,可视化页面功能丰富、样式多样,开发过程高效,系统可维护性强。

关键词： 排水管道   滤波去噪   蚁群优化算法   三维重建   管养平台  

摘要： 地下排水管网系统的运营安全,关系到城市的环境质量以及民生安全。随着社会的快速发展,绝大多数排水管道处于高水位甚至满水运行状态,检测工作相对困难。一旦出现淤堵或者破裂等状况,将会影响城市道路交通安全,造成严重危害。传统的检测技术需要大量人工投入,存在效率低、工作量大、成本高等问题。因此,利用先进的检测技术收集管道的原始数据,通过数据处理技术和三维模型重塑技术使管道数据形成可视化三维模型,对于实现地下管网的安全运维具有重要意义。本文首先分析城市地下排水管道的发展现状,研究声呐检测技术原理以及点云数据处理方法。其次,以武汉市某区域的排水管道为例,采用水下声呐检测设备获取管道原始数据,利用改进的滤波算法对点云数据进行去噪处理,结合聚类算法以及自适应蚁群优化算法提取管道的外形轮廓,拟合管道中心轴线以及淤积曲线函数。通过曲线插值放样算法建立管道三维模型以及淤积物模型,分析管道模型的精度,并计算管道内部淤积量。最后,根据功能需求搭建系统的总体架构,设计出城市排水管网综合管养平台,实现对地下排水管网系统的综合管理。研究结果表明,利用本文改进的点云数据处理技术和三维模型重塑技术,对声呐数据进行有效去噪,建立出排水管道的三维模型。通过精度分析,计算出模型的体积值为15.27 m,与实际管道体积误差为0.0367%。此外,建立出管道内部的淤积物模型,计算出淤积量为2.57 m,约占管道体积16.83%。最后,将排水管道三维模型应用到城市排水管网综合管养平台中,对管道的模型信息进行有效管理,实现管道的智能诊断以及科学治理功能,为城市地下排水管网的科学管理提供决策支持。

关键词： 光频域反射技术   压缩感知   瑞利散射   振动   应变测量  

摘要： 分布式光纤传感技术在过去几十年里由于其独特的性能及应用价值在世界范围内引起了广泛的关注。分布式光纤传感器以光纤作为媒介进行传输和传感,可以实现对光纤沿线温度、振动、应变等环境量的时间和空间测量。与传统的电传感器相比,分布式光纤传感器具有抗电磁干扰、抗腐蚀、电绝缘、灵敏度高以及成本低等优良特性。其中,基于瑞利散射的分布式光频域反射技术(Optical frequency domain reflectometry,OFDR)由于其灵敏度高和空间分辨率高等特性,在航天航空、健康医疗、高精密仪器检测等领域具有着广阔的应用前景并受到了国内外研究学者的大量关注和研究。但目前基于OFDR的分布式光纤传感技术仍然存在着许多问题和挑战,限制了其应用领域范围。如可调谐激光器的调谐速度和振动频率响应范围之间的矛盾,光纤传感距离与空间分辨率之间的矛盾以及大应变拉伸导致参考信号和测量信号空间失配而难以实现高空间分辨率大应变测量等问题。本文针对上述问题,对OFDR分布式光纤传感系统开展了一系列的研究及实验验证工作,本文的主要研究内容如下:(1)梳理了国内外基于瑞利散射的OFDR分布式光纤传感技术在传感距离、空间分辨率、应变测量范围、振动传感、非线性误差补偿等方面的研究进展,分析了OFDR分布式光纤传感理论模型,建立了基于OFDR分布式光纤传感测量实验平台,为后续的实验研究提供理论支撑。(2)针对可调谐激光器的调谐速度和振动频率响应之间的矛盾,以时间分辨技术为基础,提出了基于压缩感知技术的高频稀疏振动信号测量的OFDR分布式光纤振动传感系统,采用时分多频采样的方式对振动信号进行亚奈奎斯特采样并结合压缩感知理论对振动信号进行重构,在40nm/s的调谐速度下实现了200Hz的振动信号测量。(3)为了防止实际振动测量应用中参考信号受环境影响而降低测量结果的准确性,提出了基于保偏光纤的单次振动测量方法,不再需要对参考信号进行采集,只需要采集测量信号并通过自相关分析自相关结果产生的边锋位移情况即可获取光纤沿线的振动信号信息。同时,提出了基于滑动时间选通的振动信号测量技术,通过降低采样点之间的采样时间而提升采样系统的有效采样率,从而达到提升最大频率响应范围的目的,相比于传统的时间分辨技术,采用滑动时间选通技术可将单次测量的最大频率响应范围提升4倍。(4)针对光纤传感距离与空间分辨率之间的矛盾问题,提出了基于图像处理技术的OFDR分布式光纤传感技术,将互相关处理得到的信息以传感距离和频谱偏移信息为轴构造二维图像或二维矩阵信息,并对构造的图像信息采用二维图像处理技术进行处理。之后获得的光纤沿线应变梯度信息。通过采用二维图像处理技术,可以将由随机噪声等因素产生的异常信息消除,提升OFDR传感系统测量的准确度。实验研究表面,与传统的处理方法相比,采用图像处理技术可以在52m的传感光纤上实现1.3mm空间分辨率的分布式应变测量。(5)针对大应变拉伸导致参考信号和测量信号空间失配而难以实现高空间分辨率大应变测量问题,本论文首先采用二维图像处理技术平滑由空间失配导致的互相关结果产生的异常点,可以有效的实现对大应变梯度信息的识别和分析,采用图像处理技术,可以实现4mm空间分辨率7000με的分布式应变测量。为了进一步提升系统的空间分辨率和应变测量范围,本论文再次提出了距离域补偿的方法,将互相关结果产生的谱偏移信息转换到距离域长度,并对参考信号进行补偿,从而提升参考信号和测量信号的相似度。与传统的处理方法相比,采用距离域补偿方法可以实现2mm空间分辨率10000με的分布式应变测量,极大的提升了 OFDR系统的性能参数,拓宽了 OFDR系统的应用范围。综上所述,本文主要研究基于瑞利散射的OFDR分布式光纤传感系统性能的提升,通过分析关键参数的主要限制因素,找寻可提升系统性能的方法,为高性能的OFDR分布式光纤传感系统研究提供了新思路。

关键词： 多波束声呐系统   海底底质分类   数据处理   特征提取   分类模型  

摘要： 随着人类在海洋空间探索活动的日益增多,海洋工程建设、海洋资源勘探以及海上军事活动等诸多领域都对海底底质信息的获取提出了新的要求。如今以载人深潜、海洋油气勘测、多金属结核资源探测为代表的新型海底作业任务迫切要求准确、系统地掌握特定海域的底质类型及其分布情况,传统的机械式单点采样分析方法因成本高、效率低已经难以满足海底环境信息保障的需求,因此进一步提升海底底质分类技术的准确性、可靠性和高效性成为未来深远海探测技术发展的必然要求。多波束声呐系统(Multibeam echosounder systems,MBES)具有高效、高精度、高分辨率、全海深适用的优点,是海洋测绘领域广泛使用的调查设备。在工作过程中,多波束声呐系统能够同时获取海底的测深信息和反向散射强度信息,而且可以实现全覆盖连续性测量,在海底底质分类领域具有广阔的应用前景,逐渐成为声学海底底质分类技术发展的前沿方向。多波束声呐在测量过程中受到复杂动态环境因素的影响,其测量数据需要经过特殊处理才能用于海底底质分类。本论文主要围绕多波束海底底质分类中的几个关键问题开展相关研究,论文的主要工作包括:针对海底底质分类的基本理论问题,首先对海底底质的探测方式及其特点进行了分析与总结。然后基于声学特征与海底底质属性的相关关系,阐述了三种声学海底底质分类的物理学模型,给出了不同模型的主要特点和代表性方法,通过对比确定了海底回波空间分布关系模型更适合大规模连续的区域性分析。最后详细论述了海底底质类型的划分标准,对海上试验获取的底质样本进行了粒度分析和测试,确定了试验区域的底质类型分布情况,为多波束数据标定提供了真值数据。针对复杂环境下多波束反向散射强度数据受动态环境因素影响的问题,提出了基于多波束声传播模型的反向散射强度改正方法。首先介绍了多波束声呐勘测的基本原理,结合多波束声呐的传播方程分析了影响海底回波强度的主要因素及其作用机理。其次制定了多波束原始数据解析方法,从原始数据中获取了动态测量环境下的采样数据、导航参数、姿态信息以及声呐工作参数。然后针对影响海底底质分类的动态环境因素,利用载体姿态信息、声速剖面信息和地形信息对波束海底入射角进行改正。最后针对Lambert法则等物理模型法在海底底质分类任务中改正掠射角效应的局限性,提出利用局部平均法对反向散射强度的掠射角效应进行估计和补偿,避免了对海底属性先验信息的依赖,提升了反向散射数据的可靠性和精确性。针对基于ping数据的掠射角效应补偿不完全的问题,提出了一种基于图像重建的条带效应改正方法。首先根据多波束反向散射强度采样点与波束中心的位置关系,给出了反向散射强度的位置归算方法。然后利用区域网格化技术实现了反向散射强度的镶嵌,针对条带重叠区和非重叠区设计了不同的镶嵌法则。最后提出了基于图像重建的条带效应改正方法,利用斜入射区的图像纹理和结构信息对中央波束区图像进行重建,有效提升了反向散射镶嵌图的可读性。针对传统特征提取方法在多波束反向散射图像小尺度分析中的局限性,提出了基于Weyl变换的海底底质特征提取方法,增强了对小尺度样本的区分能力。首先分析了传统的海底底质特征,给出了传统特征的计算方法和表征内容。其次针对多波束声呐图像的纹理结构和灰度分布特点,提出了基于Weyl变换的海底底质特征提取方法,推导了 Weyl系数对于多尺度变换的不变性。最后通过特征空间聚类一致性分析、多尺度分析和特征聚合性分析对该方法的性能进行了评估,利用真实的多波束反向散射图像验证了所提方法的有效性。针对海底底质分类模型性能容易受到海洋环境要素和声呐工作参数影响的问题,提出了基于随机森林的区域性海底底质分类模型构建方法。首先对海底底质分类模型的构建问题进行了描述,制定了分类模型的构建流程。其次针对海底底质属性和海洋环境要素的区域性特点,提出了基于环境条件评估和数据分布条件评估的分类模型区域性评价方法,对分类模型的生成条件和适用条件进行界定。然后提出了基于特征相关性分析和重要性分析的海底特征空间优化方法,提升了随机森林模型对海底区域性特征的辨识能力。最后结合空间自相关性消除策略优化训练样本和测试样本的取样过程,通过实测的多波束反向散射数据对提出的分类模型构建方法进行测试,实验结果验证了所提方法的有效性和优越性。

关键词： Web语义表格   错误发现   异常修复   语义表示   知识图谱  

摘要： 随着万维网的快速发展,HTML表格等结构化、半结构化数据快速增加,方便了人们的知识获取,也成为大量机器学习和训练任务的重要数据来源。在海量Web数据中,由包含语义信息内容组成的表格称为Web语义表格。在维基百科、百度百科等网站中,Web语义表格面向用户开放,人人可参与编辑,导致其包含了大量异常数据甚至是恶意篡改信息。因此,有效的识别和修复Web语义表格中的异常成为该领域发展需要解决的重要问题之一,也具有重要的现实意义。Web语义表格异常处理主要分为错误发现和异常修复,前者可以看做面向Web语义表格的事实核查,后者需要利用外部知识对错误单元格内容进行推测和修复。现有的工作在这方面有了很多研究,但仍然存在不足:传统的表格异常处理技术局限于有严格模式定义的表格,难以应对语义信息模糊甚至错误的Web语义表格;事实核查算法集中于将表格作为可信源对文本句子等进行检查,缺少针对Web语义表格异常处理的研究;在引入外部知识库时,现有的方法局限于知识图谱实体关系与表格列间关系匹配,但以Web语义表格中单元格间复杂的实体关系难以直接匹配。针对这些问题,本论文提出了面向Web语义表格的错误发现和异常修复机制,具体包括三个部分:(1)针对传统算法难以应对Web语义表格语义信息模糊甚至错误的问题,本文提出了基于映射关系的表格错误发现方案,该方案提出了语义表示、列类型推断和错误发现等子模块,分别用于表征文本的含义、推断列模式信息,实现了错误发现的功能。(2)针对现有研究难以应对Web语义表格中表格格式实体关系复杂的问题,本文提出了基于知识图谱的表格异常修复方案,该方案通过引入外部知识图谱作为可信源,利用表格行列实体之间的关系,设计了知识图谱实体多跳查询和面向表格格式的知识图谱融合异常修复模型,将表格中发现的错误单元格数据进行修复,推断得到正确的结果。(3)基于上述理论成果,设计并开发了面向Web语义表格的异常处理系统,该系统采用前后端分离的方式,将上述错误发现与修复部分进行整合,并实现了面向用户的可视化界面,提供实体关系的展示,方便用户操作和使用。综上,本文针对Web语义表格中广泛存在错误和异常的问题,设计了面向Web语义表格的错误发现和异常修复算法,实现了一个面向Web语义表格的异常处理原型系统。本文通过相关的实验证明,本论文提出的方案可以有效应对上文所提出的问题。本论文提出的算法机制和模型系统为进一步处理Web语义表格做出了贡献,可进一步应用于表格数据处理相关领域。

关键词： 运营期高铁线路   高铁精测网复测   数据处理   运营维护   正向复测   逆向复测   精度  

摘要： 随着我国大力推进高速铁路轨道交通网络的建设,我国投入运营的铁路里程与日俱增,运营期高铁线路的维护成为了必须解决的问题。由于高速铁路的勘测设计、工程施工以及运营维护需要较长的时间,受外界环境变化和线路附近涉铁工程的建设等因素的影响,各级精测网控制点的位置可能存在不同程度的位移,或控制点被破坏等现象,这对高铁线路的运营养护和维修工作带来了极大的困难。因此,为保证运营期高铁精测网能够持续提供高精度的平面坐标和高程基准,就需要定期对其进行复测,以便及时发现和检查各级精测网控制点的绝对位置和相对位置变化,并及时更新有位置变化的各级精测网控制点的平面坐标和高程,以满足运营期轨道平顺性维护和调整的需要。然而现行运营期的高铁精测网复测与数据处理方法存在工作效率低、用工成本高以及其复测成果并不完全能满足轨道运营维护的需要等问题。因此,针对上述问题,本文对运营期高铁精测网复测及其数据处理分析方法进行了深入研究,研究内容主要包括:首先,详细介绍了当前高铁精测网复测与其数据处理方法,然后结合国内多条高铁精测网复测项目存在的各种问题,分析并指出了当前高铁精测网复测及其数据处理方法的不足之处,为后文进行运营期高铁精测网复测技术的研究和分析奠定基础。其次,结合国内多条高铁精测网复测时存在的各种问题及相关规范要求,本文提出了运营期高铁精测网复测及其数据处理分析新方法,然后分别介绍了所提出的正向与逆向复测及其数据处理新方法的应用背景和技术特点,最后剖析了新方法相比传统方法的技术优势。最后,以国内某些高速铁路精测网复测项目为例,开展了运营期高铁精测网正向和逆向复测及其数据处理分析工作,并对两种不同方法得到的各级精测网复测成果与其原测成果进行了对比,用以分析两种不同复测技术的适用性和差异情况,同时也验证了新方法在实际工作中推广应用的可行性。

摘要： 静安区闸北第一中心小学利用信息技术参与课后服务管理,既满足家长自由选择参加课后服务的意向,又同时降低管理难度和成本、提升管理效率。2021年开始,"全面开展公办小学学生课后服务"被列入上海市为民办实事项目,小学生校内课后服务工作也被列为民心工程。中共中央、国务院也印发了《关于进一步减轻义务教育阶段学生作业负担和校外培训负担的意见》,对课后服务的要求进行了进一步的明确,学校课后服务要基本满足学生需要,学生学习要更好回归校园,人民群众对教育的满意度要明显提升。因此,如何开展好这项工作,成为本市所有小学教师议论的话题,也成为社会关注的一大热点,牵动了无数家长和孩子的心。

关键词： 医药行业   数据采集   数据清洗   精准营销  

摘要： 近年来,我国医药行业越来越多地暴露出药企营销模式单一、药品流通低效、监管滞后等问题。药企为了持续稳定发展,亟需数字化转型。因此,本文面向药企分析并设计了能够全面协同大数据分析与医药行业数据融合的智慧医药平台。本平台分为三个子系统:分布式流向数据管理子系统、医药行业数据管理子系统、医药终端智能分析子系统,分别用于数据采集、预处理、存储;数据清洗、主数据管理;数据计算及可视化。在数据采集方面,为了获取更全面的药品流向,在常规的客户端采集程序的基础上,开发了多种数据采集方式,如FTP、SFTP等,降低了药品经销商上传数据的门槛。在数据存储方面,结合传统数据库技术与内存存储、对象存储、实时数仓等技术,设计了更适合业务数据使用的方案。在数据清洗方面,针对清洗医药终端脏数据要耗费大量时间及人力的问题,在使用历史匹配经验的基础上,本文首先设计了模式匹配算法实时学习人工处理规则,然后采用自然语言处理的Word2vec等技术进行语义分析,最终降低了人工作业量,保证准确率的同时提升了数据清洗效率。在主数据管理方面,整合了流向数据与地理、工商等信息,定义多维度的医药终端及产品主数据;通过数据去重、质检等形成了更准确、更规范的行业主数据。在数据计算及可视化方面,构建了面向医药领域特定的终端画像,设计了终端结构、药品流通渠道等评估体系。经过测评和线上使用,本平台实现了预期功能,服务持续稳定运行;为中国医药商业协会提供了管理标准行业数据的解决方案;与多家药企深入合作,调整营销模式,实现了药企的医药终端覆盖率快速提升和主导产品市场占有率的显著提高,解决了药品流通渠道混乱的运营痛点。