关键词： 毫米波雷达   交通监测   多目标跟踪   数据处理  

摘要： 交通监测毫米波雷达作为智能交通系统的重要组成部分,能够准确地提供道路车辆的位置、速度等信息,雷达数据经多目标跟踪处理后可实时获取车辆运动轨迹,用以实现路段流量统计等功能。但因交通场景的复杂性与车辆目标分布的密集性,传统多目标跟踪算法运用在交通监测场景时会出现跟踪稳定性差、多目标航迹合并等问题,严重影响车流量统计精度。因此,开展交通监测毫米波雷达多目标跟踪算法研究具有十分重要的意义。 针对交通监测场景中车辆目标较多且位置分布密集,导致跟踪过程中存在漏跟踪与误跟踪的问题,提出一种改进的交通监测毫米波雷达多目标跟踪算法。通过分析交通场景下雷达量测点迹分布特征,利用多帧数据积累的方法提高车辆目标点迹密度并孤立噪声产生的虚假点迹;基于欧式距离度量点间距离,并结合雷达多维参数测量精度差别,对高精度特征参数进行加权处理以提高密集间隔目标的类间距离;利用多项式函数对点间距离分布进行拟合,并依据函数凹凸性求拟合函数极值点,实现DBSCA N算法参数的自适应求解,进而利用聚类算法实现多目标点迹的凝聚处理;基于极大后验估计原理,在滤波算法中引入Sage-Husa噪声估计器对量测噪声进行时序更新,降低量测噪声对目标跟踪精度的影响;依据点迹凝聚处理得到的多帧点迹类别信息与航迹质量建立关联准则,同批次数据关联时将同类点迹与相应航迹进行关联,各批次数据间关联时构建雷达量测数据与目标航迹外推点间统计距离矩阵,优先关联高质量航迹,实现车辆目标的稳定跟踪。 基于改进的多目标跟踪算法与毫米波雷达硬件平台,对实际道路交通内车辆目标进行跟踪系统测试,并依据车辆跟踪轨迹数据计算路段车流量信息,平均流量统计精度可达95%。测试结果表明,改进算法在实际道路交通场景下对车辆目标具有较稳定的跟踪效果,对交通信息智能化采集领域应用具有一定的参考价值。

关键词： 机器学习   电子鼻系统   领域自适应   子空间学习   嗅觉   脉冲神经网络  

摘要： 嗅觉系统是哺乳动物最重要和最基本的感知系统之一,主要由嗅觉受体、嗅球和梨状皮层组成。研究人员基于此结构搭建了由气体传感器阵列模块、信号处理模块和模式识别模块组成的电子鼻系统。电子鼻系统通过气体传感器阵列获取气体信息并转为电信号,经过信号处理模块后,由模式识别模块实现对气体的定性或定量分析。然而,电子鼻在实际的使用过程中气体传感器的输出会随着使用环境、自身老化、中毒等因素发生改变,即出现传感器漂移现象,破坏电子鼻的稳定性,降低电子鼻的使用寿命。另外,电子鼻系统的信号处理模块主要负责的是从传感器的响应中提取出适合于模式识别的判别特征,但是这个过程十分的繁琐且没有一个公认的规则来指导这个过程。因此围绕电子鼻系统的这两个问题,本论文展开了两方面的研究工作。针对电子鼻系统的漂移问题,本文提出了两种基于领域自适应的漂移补偿算法。第一种方法是基于样本加权跨域子空间学习算法,该算法利用样本分布加权最大均值差异来度量源域和目标域之间的分布差异,首先将源域数据和目标域数据投影到基于极限学习机的特征空间,然后通过学习一个子空间来减少两个域之间的样本分布加权距离,并在学习子空间的过程中融入一些约束来增强源域数据的可分性和保护目标域数据的判别信息。第二种方法是基于校准子空间极限学习机的电子鼻漂移补偿算法,该方法从数据流形结构、统计分布、标签与特征依赖性等多个方面对电子鼻漂移数据进行校准,构建统一的基于极限学习机的特征表征空间,从而实现域对齐。大量的实验表明,两种算法都能够有效的对电子鼻系统中的传感器漂移进行补偿,并相比于目前主流的漂移补偿算法更具竞争力。针对电子鼻系统的信号处理问题,本文提出了一种基于脉冲神经网络的仿生嗅觉信号处理网络。该算法首先将传感器响应编码为脉冲信号,然后利用脉冲神经元搭建仿生嗅球网络来进行信号的处理并输出判别特征,最后利用人工神经网络对仿生嗅觉网络输出的判别特征进行学习和分析。实验结果表明,提出的方法可以提高电子鼻系统的生物合理性,简化了电子鼻信号处理的步骤,同样具有较高的识别率。

关键词： NB-IoT   云平台   振动检测   数据处理  

摘要： 窄带物联网(NB-IoT)是近年来物联网领域一项发展迅猛的通信技术,它依托于蜂窝移动数据网络。设计之初,它主要面向的是长期待机、对网络质量有要求的低速终端设备。经过近几年的大力发展,主要应用场景有智慧安防、智慧农业、智能家居等,面向的是运行状态较为稳定的监控对象,但NB-IoT在旋转机械设备振动检测领域内的应用较少。工业领域里的旋转机械设备主要是指利用旋转或往复运动完成指定功能的设备,常见有循环泵、齿轮箱、水轮机等,它们用途广泛,覆盖了工业中的方方面面。由于这些设备通常体积较大且常用于驱动其它设备,故在生产中的地位举足轻重,对旋转机械进行在线检测与故障诊断也显得尤为重要。本文主要研究内容如下:1、实现了无线终端的硬件设计。主要包括选择合适的元器件,完成了各个模块的原理分析和电路设计,包括了数据采集模块、NB-IoT无线通信模组、微控制器最小系统模块、稳压电源模块。2、基于NB-IoT网络实现了无线终端同中国电信云平台之间的连接,完成了数据的稳定采集及上传功能,并基于电信云平台实行了无线终端软件程序的OTA升级及断点续传功能。3、将采集到的加速度数值进行了时域分析及频域分析,完成数据清洗、函数加窗和序列插值的处理,并根据快速傅里叶变换实现了加速度信号的频域积分,构造FIR滤波器及IFFT反变换分析出了可靠的振动烈度用于故障检测。本文基于NB-IoT和振动检测技术,开发并测试了一款可远程OTA升级的无线智能终端。根据测试结果及现场反馈,运行效果达到既定要求,符合用户需求。

关键词： 数据挖掘   增强   增强数据   过采样   欠采样   分类  

摘要： 在数据挖掘中,数据不平衡是世界上普遍存在的问题。然而,对不平衡数据进行分类的问题在不同部门中不时增加。为了克服一些标准的不平衡数据技术无法准确平衡多数类和少数类的挑战,用于不平衡数据分类的基于增强的合成采样(ABS)被提出了。ABS方法连接特征并增加现有样本的样本数量以生成合成数据。本文的主要研究贡献为: (1)本论文通过建模将输入数据与训练好的特征串联起来,确定输入数据中特征之间的关系,得到训练样本特征作为权重。为了将输入数据与训练好的特征进行拼接,并找出特征之间的关系,本文提出了一种基于增强的合成采样方法,通过拼接各种特征,使特征表征每个数据样本。首先,本文将输入数据集作为标签和特征插入,对模型进行训练,得到训练样本特征作为输出。其次,本文将训练特征和输入数据集连接起来。最后,本文得到训练样本特征作为输出结果。主要目标是创建与各种特征的关系并增强特征以提高算法的性能。 (2)本论文使用样本替换方法,从训练样本特征中随机选择样本特征值,放大合成数据的多样性,生成临时合成数据。首先,本文取样本值,随机样本一个是第一个特征的值。其次,这项工作实现了采样过程,以获取临时合成数据值的下一个样本特征值,直到样本特征值。最后,本文生成临时合成数据。本论文使用具有替换方法的样本生成临时样本数据。目的是增加数据的多样性。 (3)本论文通过建模将临时采样数据与少数数据连接起来,创建模拟实际观察特征之间关系的合成数据,以预测最终合成数据的特征。本论文使用模型将少数数据与临时数据连接起来,以预测合成数据。当特征分类器和临时人工数据集可用时,最后阶段涉及使用连接的少数数据和连接的临时合成样本数据作为输入数据来估计最终合成数据集的特征。目标是使合成数据再现具有真实观察的特征关系。 (4)此外,ABSBoost是所提出的方法和提升技术的混合体。在不平衡问题方面,混合对比了两种最先进的基于集成的方法的性能。通过集成训练方法解决类不平衡问题很普遍,本文将提出的ABS与boosting方法相结合,创建了一种称为ABSBoost的方法。执行ABS是为了在分类器训练的每次迭代中增加少数样本,因此每个弱学习器都在一个合理平衡的子集上进行训练。本论文将ABSBoost与最先进的基于集成的方法进行比较,包括RUSBoost和Under Bagging。 与之前的研究相比,这项研究显示了所提出的方法和AUC的平均值(曲线下面积)在实验时能生成良好数据样本的能力。根据实验结果,所提出的方法优于现有方法。因此,实验结果表明,所提出的ABS方法和ABSBoost在给定数据集上是有效的。

关键词： 激光雷达   点云处理   PCL   包围盒   可视化设计   点云分割  

摘要： 激光雷达技术目前已经在商业中得到了广泛的运用,目前通过激光雷达技术对点云数据处理系统的研究也有了长足的发展。由于激光雷达数据扫描数据所获取的是大量的离散化三维数据信息,这些以坐标来记录的数据称为点云数据。点云是表示实际物体三维信息的统计无序数集,包含了物体的三维坐标值,颜色值和灰度值。使用激光雷达的信息采集处理系统采集数据时,由于会受到外界的干扰因素(如光线反射、阴影环境)、扫描精度、物品机械振动的负面影响,这些影响会使采集到的点云数据存在着很大的噪声和孔洞。由于这些点云空间密度相差较大,使得分析结果不能直接描绘实际物体的模型。对于上述存在的漏洞,本文设计了一种基于激光雷达的点云数据的处理算法。包括对点云数据处理的简化、过滤、检索、法向量估计、曲面重建、点云数据分割以及可视化研究。本文不但对雷达扫描的点云数据进行一系列处理,而且根据聚类融合的思想,设计一种自适应的欧式聚类算法进行数据分割;通过RANSAC一致性的原理,设计一种平面分割算法对地面点云数据进行分割。对此论文研究的激光点云数据的处理技术,主要内容包括:在点云数据简化方面,分别使用包围盒体素块简化和曲面变分来实现点云数据的简化。曲面变分以边界曲率划分准则为基础,边界曲率使用非均衡网格模型,对边界点和近邻点进行简化处理,且识别效果显著。体素块简化实质产生了一立方体网格,而简化点云的办法就是在体素方块中只产生一点,因此方块内每边的直径都越大,点云的分辨率也就越低。对于简化后的点云数据,引用包围盒思想,将识别处理后的物体通过立方体盒包裹。在点云数据检索方面,使用了PCL＿kd-tree模块用于在近邻地区搜索点云信息,并通过把大量分散的(具有噪声的点云数据)点云数据组织起来。建立与数据点的拓扑关联。使用kd-tree搜索邻域关系可以对点云数据实现快速搜索。在点云数据曲面重建方面,先对数据进行近邻检索,其次进行法向量估计,拟合出表面切平面的法线,切平面用最小二乘法平面拟合得出的。曲面重建使用PCL＿surface模型,完成了点与曲面数据间构建平面的拟合。利用贪婪投影三角化算法进行对点云数据的曲面重建。对于点云数据分割,使用RANSAC平面分割和欧式聚类切割,平面切割借助RANSAC算法,通过随机取样去除掉局外点,保留内敛点。经过一次次的迭代,最终达到最佳的分割效果。欧式聚合法是指把距离紧密度最高的点云集合起来,尽可能地将点云数据囊括在聚类内。使得分割出的物体特征明显,更加明确。以kd-tree数据结构为检索基础,能够满足时间复杂度为o(log(n)),且检索效率快。本文在Windows平台下,结合了PCL点云库实现了可视化的三维重建系统。经过对软件的运行结果和实验分析,证明了对点云数据处理的可行性。

关键词： 森林生态   数据存储   数据索引   数据管理   分布式  

摘要： 为更好地针对中国森林生态系统的服务功能做出评价,国家已在全国各地建立了180多个国家森林定位观测站(以下简称生态站),并针对典型的生态系统种类开展了较长时间的定位观测。生态站能通过各种观测设备包括水份、土壤、气候、生物多样性等传统生态要素指标进行长期、不间断地观测,近年来,生态站还进一步加强对物候、生物多样性的定量观测,这就使得生态站观测数据结构类型,除了传统的观测指标结构化数据类型外,还包括文档、图像、视频、声音等半结构化数据类型,经过长期观测和累积,逐步形成了越来越复杂的海量异构生态大数据;同时,生态站管理人员、科技人员对这些数据进行进一步分析挖掘的需求也越来越迫切,包括海量异构生态数据的实时检索、周期性分析各类生态数据、基于站点和权限的不同类型站点数据融合等。 本文基于生态站建设相应国家标准,研究海量生态大数据处理过程中的关键技术以及平台构建,主要有以下几个方面: 针对海量异构数据源的存储问题,本文设计一种生态数据存储和索引模型,并根据生态数据的特点对原有模型进行优化,用HBase存储海量物候数据,在服务侧通过封装异构数据进行统一查询。面对海量数据源的高效检索问题,用Elastic Search来构建二级索引,解决访问非主键索引时需要进行全表扫描的问题,以此提高生态数据检索效率。 面对生态数据需要实时处理的场景,采用基于Flink的计算模型,通过旁路缓存和异步加载方式优化数据处理速度,通过Check Point、幂等性和两阶段提交等手段实现数据精准一次消费,针对可能存在集群服务器故障的问题,采用双链路切换的方式,保证生态数据不丢不重。 基于原始生态数据结构不清晰,难以统一数据口径的问题,通过Hive构建生态站数据仓库,将公共基础逻辑下沉,对数据进行分层处理,将生态站数据分成ODS层、DWD层、DWS层、APP层和DIM层,并通过DQC和LSA机制实时监控数据的各个阶段,保证数据生产的及时性和准确性。 根据生态站的实际需求,本文设计了系统开发的解决方案,完成了森林生态站的系统研发工作。设计并实现实时数据检索模块、历史数据分析模块、异构数据存储等模块的开发工作,目前系统部署在浙江林科院,接入生态站点共70多个,可以对生态站点的管理和分析提供一定的理论基础和技术支撑。

关键词： 相似度   协同过滤   个性化推荐   数据处理   用户差异因子   神经网络  

摘要： 如今的用户处在一个信息大爆炸时代,所有的用户面对着大量的信息,从中选取与自己联系密切的相关信息就显得非常困难了。而平台想要为用户提供用户感兴趣的信息也变得更加棘手。电子商务平台、社区团购平台特别是视频平台,面对日益增长的用户以及与之相关的数据,为了提高平台的效率需要从中挖取有效信息,这对针对用户的个性化推荐提出了很高的要求。各视频平台都希望能够实时把握每一个用户的动态信息,实施更加精准的个性化推荐。个性化推荐不仅能够提高平台的效率,也能够为用户带来极致的体验。由于传统的协同过滤算法评价体系中没有考虑到不同用户存在评分的差异,所以在准确性、精确性、差异性等方面仍然需要进一步的提高。本文主要研究内容主要有三点,分别为推荐算法中数据集比例如何划分、改进传统相似度计算方法、将神经网络与基于项目的推荐算法、基于SVD的推荐算法进行融合。分别从数据集的处理、相似度的改进、融合两种不同推荐算法的这三个角度来开展本文对基于用户兴趣的推荐算法的研究。详细研究点如下:(1)在基于协同过滤的推荐算法中,会将数据集划分为测试集与训练集。而数据集划分的比例对于推荐算法的效率以及准确度都会产生一定的影响,在第三章中,就三种不同比例下对基于协同过滤的推荐算法进行仿真,经过仿真得到了三个不同比例下的MAE(Mean Absolute Eorror)值,并且比较了三个不同比例下的MAE值,根据MAE值大小确定了之后两章的数据集与测试集的划分的比例。(2)在传统的推荐算法当中,原有的皮尔逊相似度计算中只考虑用户的评分对于相似度的影响,而忽略了用户的评价体系在推荐算法中的作用。所以为了满足电影评分推荐协同过滤算法中精准化的需求,本文就引入了用户差异因子,改进了皮尔逊相似度计算方式,搭建出可以描述出用户简单的评价体系。从而解决在传统的协同过滤算法相似性计算中,针对不同用户具有不同评价体系存在一定偏差的问题。对于不同相似度计算方式下的进行实验仿真,经过仿真得到实验的结果说明了改进后相似度计算的协同过滤算法能够降低MAE值。(3)本文将神经网络与基于项目的推荐算法和SVD模型分别进行融合,并运用改进后的相似度计算方式。基于神经网络-SVD模型推荐算法与之前几种算法相比RMSE值都有所降低,最大下降了3.99%,最低下降了1.33%。而基于神经网络-项目的推荐算法在时间效率上表现更好。

关键词： NB-IoT   低功耗   高并发   远程抄表系统   Netty  

摘要： 天燃气具有安全清洁、价格实惠等优点,现在更多的家庭开始使用天然气进行发电,通常使用燃气表对天燃气的数据进行采集。随着物联网科技的迅速发展,传统的人工抄表已经不满足社会的需求,NB-IoT作为一种新兴的物联网技术已经被广泛的应用到无线远程抄表方式中。随着我国燃气表行业的不断发展,燃气表的使用数量呈指数增加,数据通讯频繁,普通的服务器系统无法满足高并发燃气表数据的上下通信,服务器的性能就成为了抄表系统的瓶颈。针对于上述的现状,本文设计了一套NB-IoT燃气表的高并发数据处理平台,以降低燃气表的功耗和成本,提高后台服务器的数据处理能力。本系统通过NB-IoT通信模块将燃气表的数据上传给服务器,服务器对数据进行解析之后,在浏览器端进行展示。本文的主要研究内容如下:(1)本系统的硬件部分是在已有的燃气表的基础上增加一个NB-IoT通信模块。该模块采用STM32L071KBTx作为主控芯片,HT7333作为电源模块,WH-NB73作为NB模块。通过UART与燃气表通行,NB模块将燃气表的数据上传到服务器端。(2)在服务器I/O模型选型上,首先分析了Linux系统中传统I/O技术特点以及Java NIO的工作原理,通过对不同I/O技术和Netty网络框架进行效率仿真比较,选取了采用Reactor模型的Netty网络通信框架,作为服务端的通信模块,保证服务端的高并发性能。(3)使用Spting Boot+Mybatis Plus框架完成了抄表系统的开发,使用Mysql数据库用来存储燃气表的数据,抄表系统中服务端使用Java语言进行实现,前端页面使用Javs Script进行实现。整个系统功能包括用户登录注册、数据查询、抄表失败用户展示、用户管理等。服务端需要将NB-IoT模块上传的燃气表数据成功接收并且正确解析出来,保存在数据库中,在前端页面进行展示。(4)对整个系统进行测试,包括硬件部分NB-IoT通信模块测试、抄表系统中功能测试,最后使用Jmeter压测工具对服务器性能进行压测,从平均相应时间和TPS两个性能指标对系统性能进行分析,测试结果表明基于Netty设计的服务器在TPS最高可以达到2500,同时平均响应时间稳定在300 ms,异常率保持为0,符合预期目标。

关键词： 车辆轨迹数据处理   轨迹信息可视化   Web组件  

摘要： 车辆轨迹数据代表着车主的行为,也可以反映出城市的发展变化、交通状况等信息,近年来正不断被应用于相关研究中。然而,轨迹数据需要进行琐碎的数据处理工作,同时包含了大量的可视化分析需求,这拖慢了相关研究开发人员的工作效率,分散了研究开发资源。本文总结了车辆轨迹数据处理过程中的方法和经验,分析了现有可视化组件的实现原理,设计并实现了一个提供线上车辆轨迹数据处理及可视化分析功能的平台。本文的具体研究内容和成果主要包括以下三个方面:1、车辆轨迹数据处理。本文根据实际数据,实现了基于Dask的数据清洗、停留点提取、路网匹配三个步骤的车辆轨迹数据处理方法,提升数据处理效率,使车辆的行驶轨迹更贴近现实。2、车辆轨迹信息可视化组件。现有的一些可视化组件在数据量提升且操作频繁的情况下无法保证效率和可视化效果,因此本文设计并实现了一种基于***的可视化组件,通过元素一次性渲染、批量更新的方式减少因地图事件带来的重绘操作,提高可视化体验。3、车辆轨迹数据处理及可视化平台的设计与实现。本文结合上述工作,设计并实现了能够进行线上数据处理和自定义可视化的Web应用,相关研究开发人员可以批量处理轨迹数据,以文件输入的形式直观地获得所需的可视化内容,满足研究开发人员简化处理过程和直观观察轨迹的需求。最后,本文根据山东某市的车辆轨迹数据实现了一个交通流量可视化系统,通过本平台进行线上轨迹数据处理,采用本文的车辆轨迹信息可视化组件实现前端页面。车辆轨迹数据处理时间大大缩短,可视化页面功能丰富、样式多样,开发过程高效,系统可维护性强。

关键词： 日光温室   数据处理   模拟预测   管理决策  

摘要： 随着物联网技术的发展,农业开始迈向信息化和数字化方向。设施农业领域积累了大量的温室环境和生产信息数据,数据生产力正在颠覆温室产业结构发生变革,蔬菜栽培管理发生了重大变化。温室数据信息驱动知识更新迭代,把产生的偏差信息运用于管理决策。通过对日光温室中多维数据隐含信息的分析和挖掘,形成更加科学的温室调控措施,提高农业生产效率和经济效益。 （1）通过计算温室内外光温环境参数之间的权重系数,环境特征变化规律联系紧密。采用偏最小二乘方法拟合了墙体放热量与室外光温参数的多元方程表达式,模拟值与实际观测值决定系数达到0.95,具有较优的拟合度。模型综合了室外光热环境特征信息规律,通过气象预报,用于模拟预测墙体放热量情况,从而科学调控日光温室加温量。 （2）选用BP神经网络和LSTM神经网络建立室内温度预测模型,并通过PSO算法优化两种神经网络结构参数,对比了BP、PSO优化BP、LSTM、PSO优化LSTM共4种神经网络模型的预测准确度。以环境历史数据和设备控制数据为模型输入量,PSO优化LSTM神经网络模型决定系数达到0.97。并基于此网络建立多步长温度预测,时间步长尺度到达6步时,决定系数降到0.81,温度产生较大的预测偏差。在4步预测范围内,模型达到了较高准确度。 （3）针对温室生产拥有高产量但未获得高效益情况,系统分析了蔬菜收获产量和销售价格的关系。运用建立的ARIMA模型对2020年黄瓜价格进行验证,其中预测评估结果RMSE为1.87元/kg,MAPE为10.77%,R2为0.95,达到了较高预测准确度。利用建立的蔬菜价格预测模型,结合温度预测模型,指导农户科学调控室内温热环境,如期实现黄瓜结果上市。 综上所述,通过各种农业要素数据化,历史记录数据关联复杂度,价值规律的深度探索和挖掘,建立数据模型形成科学管理决策方案。设施农业生产由经验跨越到数据科学种植,改变粗放的生产模式,提升数据价值链。每个种植周期中收集大量的多维数据,全生长发育过程流程追踪,从中学习实现下一个生长周期的最优效益。