关键词： 数据处理方法   数据清洗方法   风机功率预测   发电机轴承温度预测  

摘要： 随着国家大力推行双碳政策,我国发电系统新能源发电所占比率越来越大,风电是其中之一。电网的运行具有稳定性,然而风电因为其特殊的波动性会对电网稳定性造成影响,虽然电网运行企业已经对风电并网进行了研究与控制,但是并不是从源头解决这种问题。风力发电厂中,基本都会配备SCADA数据采集与监视控制系统,这些SCADA数据中,包含了风场的各种历史和实时运行信息,记录了风机的运行状态。风电波动性的根本来自于风能,风能的波动性来自于大自然,这是人类所无法控制的。但是,这种波动性会增加电网的不稳定性,会增加风电场的运维成本,会增加风场风机的停机率,如果能对风速波动性带来的各种影响进行预测,会对整个电力系统有巨大帮助。因此,基于风机大数据构建风机相关性能指标的预测研究模型,具有非常重要的实用价值。本文以风机的实际构造和工作原理为出发点,以风机SCADA数据为基础,以数据处理和清洗方法为辅,以机器学习算法为载体,分别建立风机功率预测模型、风机发电机轴承温度预测模型,并通过实例对比验证了模型有效性。本文的主要研究内容如下:(1)明确风电波动性的危害与产生因素确定风场风速和风机功率的对应关系,为功率预测提供理论基础;结合风场风机发电机出现的实际故障类型,统计分析所有风场中该类型轴承的故障形式,并分析故障机理。(2)为减少风电波动性产生的影响,以衡量风机发电状况的有功功率为研究对象,使用风机正常运行时的SCADA数据,构建核极限学习机(KELM)有功功率预测模型。模型中运用GRA灰色关联算法对初始SCADA数据进行降维,运用归一化的方法做数据预处理,消除不同数据指标量纲不同带来的影响,引入基于萤火虫改进的麻雀优化算法(FASSA)对预测模型进行优化,构建了基于GRA-FASSA-KELM的风机有功功率预测模型,有效提升了预测误差,并且采用对比分析,确定了使用GRA进行数据处理时的有效性。(3)针对风力发电机轴承造价高易损坏,容易造成风机故障停机这一问题,本文分析轴承失效的影响因素和表现形式,基于SCADA数据建立风机发电机轴承温度预测模型实时监测轴承状态。故障风机在大停机的前几个月里会破坏风速和功率的对应关系,分析故障机组在这一时间段风功率曲线的特征,运用一类支持向量机(OCSVM)对故障风功率数据进行辨识,并根据实际风场风机风功率散点图的分布特点,对OCSVM进行改进,通过实例验证,改进后的风功率故障点辨识模型可以对正常点和故障点进行有效辨识,并且优于已发表文献所采用的其他方法;利用长短时记忆神经网络(LSTM)可以有效处理时间序列SCADA数据的特点,结合实例,将清洗前后的SCADA数据导入LSTM模型中,可以实时监测轴承温度状态,并且采用数据清洗可以有效提高轴承温度的预测准确率。

关键词： 导弹   外形测量   机器视觉   激光扫描   IGPS测量  

摘要： 新一代飞航导弹武器装备的不断升级,飞行速度越来越快,对导弹舱段级的装配精度和总装后的几何精度要求更加严格,从而,对导弹舱段外形测量技术提出了全新的要求。目前,国内大多使用人工和传统的经纬仪、激光跟踪仪等测量设备,测量精度低、误差大、效率低,难以满足测量机装配需求。本文将数字化测量技术应用到导弹舱段外形自动化测量中,能够有效地提高导弹武器装备的外形测量能力,提升导弹外形测量技术的自动化和数字化水平。本文以某导弹武器系统舱段外形为研究对象,针对当前及未来型号外形越来越复杂、外形精度要求越来越高的需求,进行导弹外形自动化和数字化测量技术的研究。首先,进行了导弹外形自动化测量及数据处理的需求分析,并从数据层、应用层和表现层三个方面对导弹外形自动化测量及数据处理系统进行构建,对软件及硬件系统组成和功能进行了介绍。对机器视觉测量、i GPS测量、激光扫描等应用较为广泛的成熟系统方案进行原理阐述和方案分析。利用上述方法实现对导弹舱段外形的测量,进行舱段测量可行性验证、测量系统精度验证及测量方法的表面适应性验证。实验表明,各种测量方法有不同的特点。机器视觉方案对光照敏感,红色、紫色、黑色等深色系吸光严重,测得的数据会比较稀疏,对镜面等反光严重物体,无法进行视觉测量;i GPS测量方案容易存在死角,必须保证i GPS的两发射器与接收器之间无遮挡,测量方位角度受到极大限制,无法测量整体舱段和弹身;激光测量系统能够快速测得大型曲面物体的三维点云数据,测量精度较高,但由于非连续数据与数模自动拟合结果可能会有偏差,需辅助以人工手动对齐。本文设计的全弹外形测量方案,根据不同条件选择合适的测量方法,能够进行有效测量,最终实现整弹外形测量的自动化和数字化,从而进一步减少产品研制阶段的生产周期,达到有效提升了飞航导弹外形测量的效率和精度,减少外形测量试验成本的目的。

关键词： 电离层探测   非相干散射雷达   信号处理   数据反演  

摘要： 自电离层被发现以来，不同的雷达技术都已经被应用到电离层测量当中。最复杂的电离层雷达是非相干散射雷达，它能探测到电离层等离子体热运动散射的极其微弱的射频信号。散射信号产生零均值随机信号，其自相关函数中包含电离层等离子体参数的信息。随着三亚非相干散射雷达(Sanya Incoherent Scatter Radar，SYISR)的建成和运行，探索SYISR自身功能和电离层非相干散射数据处理具有重要意义。本文基于SYISR，研究了雷达本身工作方式，为其编写了诸多实用软件，同时研究了非相干散射探测原理、从观测自相关数据中解模糊的时频域和时延剖面反演方法，以及基于GUISDAP的数据反演过程，得到了SYISR电离层实测数据反演等离子体参数的初步结果。　　首先，研究了SYISR的工作模式、发射机和接收机的信号处理，为其编写了一些实用软件和程序。通过研究SYISR的工作模式，基于Qt C++为其编写了用于灵活探测和组合探测的交互式调度软件，方便实验员设计实验。研究SYISR接收机自载频到基带信号的流程框图，利用混频原理为中国天眼FAST(Five-hundred-meter Aperture Spherical radio Telescope，FAST)设计了软件接收机，用于FAST和SYISR联测任务，节省了硬件接收机的花费和安装时间。研究了SYISR接收机输出的复IQ信号记录格式，编写了基于Python的解析数据到HDF5格式的程序，为后续处理奠定了基础。研究了雷达坐标系，基于MATLAB编写了计算天线指向与地磁场夹角的程序，为以后垂直磁力线观测提供了基础。研究了雷达方程，计算了SYISR探测月球的回波信噪比，参与了月球成像观测任务。　　其次，研究了电离层等离子体参数特性和非相干散射探测原理。电离层自60km-1000km范围内，电子密度、电子温度和离子温度、碰撞频率和离子成分有显著变化，而这些参数的变化可以显著影响散射谱的形状，因此可以通过测量回波信号自相关函数来探测电离层等离子体参数。基于IRI模型和Lehtinen理论谱模型研究了等离子体参数变化对散射谱和自相关函数形状的影响，这为理解非相干散射探测原理奠定了基础。更重要的是，推导了雷达探测散射谱接收信号的数学表达式，其由接收的信号自相关函数、模糊函数和等离子体理论自相关函数构成。重点研究了由雷达调制和脉冲响应影响的模糊函数，引出了幅度模糊函数、二维模糊函数、距离模糊函数和时延模糊函数的定义。实际计算了SYISR长脉冲和交替码的模糊函数，为数据反演奠定了基础。　　最后，研究了交替码观测数据的三种解模糊方法，基于GUISDAP得到了初步观测的等离子体参数反演结果。首先，研究了交替码时频域解码的时延剖面解码滤波器思想，因此可以通过时域卷积和频域FFT来达到解观测数据中的距离模糊的目标。推导了时延剖面反演方法(Lag Profile Inversion，LPI)的理论基础。其次，通过SYISR实际数据比对了三种方法的处理效果，三种方法得到的自相关函数和散射谱基本一致，然而LPI方法可以有效抑制干扰目标，适用于所有调制包络，时频域解码方法仅适用于交替码。因此LPI方法对于SYISR数据具有更好的处理效果，并为将来探索新的编码调制提供处理方法。最后，研究了GUISDAP的数据处理流程，可分为解码、积累、标校、降噪和拟合五步。将SYISR实际探测数据基于GUISDAP进行了处理，得到了初步等离子体参数反演结果，这将为以后电离层科学研究提供数据基础。

关键词： 数控葫芦   动态特性   数据处理   振动分析   有限元分析   结构设计  

摘要： 起重机械在各行各业一直有着广泛的应用,各类起重机、升降机、数控葫芦等设备也一直在不断发展并拓展应用领域,这类设备的共同点是具有相似的悬吊结构,与之密切相关的起升过程振动抑制问题一直都是科研人员长久以来研究的重点和难点。舞台用的数控葫芦因为其载人特性,对安全性提出了更高的要求,但是长久以来,由于技术和材料限制,一直没有提出更加优化的数控葫芦结构,因此分析其动态特性并给出具有可行性的优化设计方案就显得至关重要。本文主要针对舞台用数控葫芦起升过程的动态特性进行了系统的研究分析,具体研究内容如下: 首先,研究了悬吊结构起升过程动态特性以分析系统主要振源。从整体起升系统研究的角度,建立了基于拉格朗日方程的吊物摆振动力学模型,采用MATLAB分别对吊绳长度、激励幅值和起升速度三因素变化下吊物摆振的过程进行仿真,得到了特征绳长是影响吊物摆振的主要因素。从数控葫芦零部件研究的角度,分链条传动过程和转动过程,提出了基于有限元分析方法和不同绳长下单摆系统建模方法联合研究的链条共振效应研究方法,提出了多边形效应在链轮和链条啮合转动过程中对机身振动的影响,分别研究了起重链轮链传动时传动和转动过程的频率变化,确定链轮转动时的多边形效应对摆振影响最大。根据以上研究内容,得到了吊物摆振受速度变化影响大,主要为多边形效应影响。 然后,采用九轴加速度传感器对悬吊系统摆振进行测量,分别就时频域分析了悬吊结构起升过程动态特性。为采集摆振数据,先进行了实验设计,再基于配重、速度、升降等可能影响摆振的因素对数据分类研究。采用经验模态分解和小波变换方法对采集的原始振动信号进行预处理,通过快速傅里叶变换方法将时域信号转变到频域分析,最终确定了悬吊结构的振源频率及结构优化设计的方向为减小多边形效应带来的影响。 最后,设计了能够减轻数控葫芦机身振幅的改进链轮链窝结构,并通过实验验证了优化效果。采用Solid Works对起重链轮进行建模,并优化设计链轮链窝结构。仿真分析了改进链轮对系统振幅的影响效果,结果表明可显著减小多边形效应,使机身振幅下降74.8%。对改进链轮进行加工制作,对数控葫芦进行组装,搭建了改进数控葫芦实验平台,并进行实验验证。在不同工况下,采集改进数控葫芦起升过程的机身振幅,并与原始葫芦振幅相比较,实验结果表明改进后的数控葫芦机身振幅的优化效果在不同工况下下降均超过85%。

关键词： 毫米波雷达   交通监测   多目标跟踪   数据处理  

摘要： 交通监测毫米波雷达作为智能交通系统的重要组成部分,能够准确地提供道路车辆的位置、速度等信息,雷达数据经多目标跟踪处理后可实时获取车辆运动轨迹,用以实现路段流量统计等功能。但因交通场景的复杂性与车辆目标分布的密集性,传统多目标跟踪算法运用在交通监测场景时会出现跟踪稳定性差、多目标航迹合并等问题,严重影响车流量统计精度。因此,开展交通监测毫米波雷达多目标跟踪算法研究具有十分重要的意义。 针对交通监测场景中车辆目标较多且位置分布密集,导致跟踪过程中存在漏跟踪与误跟踪的问题,提出一种改进的交通监测毫米波雷达多目标跟踪算法。通过分析交通场景下雷达量测点迹分布特征,利用多帧数据积累的方法提高车辆目标点迹密度并孤立噪声产生的虚假点迹;基于欧式距离度量点间距离,并结合雷达多维参数测量精度差别,对高精度特征参数进行加权处理以提高密集间隔目标的类间距离;利用多项式函数对点间距离分布进行拟合,并依据函数凹凸性求拟合函数极值点,实现DBSCA N算法参数的自适应求解,进而利用聚类算法实现多目标点迹的凝聚处理;基于极大后验估计原理,在滤波算法中引入Sage-Husa噪声估计器对量测噪声进行时序更新,降低量测噪声对目标跟踪精度的影响;依据点迹凝聚处理得到的多帧点迹类别信息与航迹质量建立关联准则,同批次数据关联时将同类点迹与相应航迹进行关联,各批次数据间关联时构建雷达量测数据与目标航迹外推点间统计距离矩阵,优先关联高质量航迹,实现车辆目标的稳定跟踪。 基于改进的多目标跟踪算法与毫米波雷达硬件平台,对实际道路交通内车辆目标进行跟踪系统测试,并依据车辆跟踪轨迹数据计算路段车流量信息,平均流量统计精度可达95%。测试结果表明,改进算法在实际道路交通场景下对车辆目标具有较稳定的跟踪效果,对交通信息智能化采集领域应用具有一定的参考价值。

关键词： 机器学习   电子鼻系统   领域自适应   子空间学习   嗅觉   脉冲神经网络  

摘要： 嗅觉系统是哺乳动物最重要和最基本的感知系统之一,主要由嗅觉受体、嗅球和梨状皮层组成。研究人员基于此结构搭建了由气体传感器阵列模块、信号处理模块和模式识别模块组成的电子鼻系统。电子鼻系统通过气体传感器阵列获取气体信息并转为电信号,经过信号处理模块后,由模式识别模块实现对气体的定性或定量分析。然而,电子鼻在实际的使用过程中气体传感器的输出会随着使用环境、自身老化、中毒等因素发生改变,即出现传感器漂移现象,破坏电子鼻的稳定性,降低电子鼻的使用寿命。另外,电子鼻系统的信号处理模块主要负责的是从传感器的响应中提取出适合于模式识别的判别特征,但是这个过程十分的繁琐且没有一个公认的规则来指导这个过程。因此围绕电子鼻系统的这两个问题,本论文展开了两方面的研究工作。针对电子鼻系统的漂移问题,本文提出了两种基于领域自适应的漂移补偿算法。第一种方法是基于样本加权跨域子空间学习算法,该算法利用样本分布加权最大均值差异来度量源域和目标域之间的分布差异,首先将源域数据和目标域数据投影到基于极限学习机的特征空间,然后通过学习一个子空间来减少两个域之间的样本分布加权距离,并在学习子空间的过程中融入一些约束来增强源域数据的可分性和保护目标域数据的判别信息。第二种方法是基于校准子空间极限学习机的电子鼻漂移补偿算法,该方法从数据流形结构、统计分布、标签与特征依赖性等多个方面对电子鼻漂移数据进行校准,构建统一的基于极限学习机的特征表征空间,从而实现域对齐。大量的实验表明,两种算法都能够有效的对电子鼻系统中的传感器漂移进行补偿,并相比于目前主流的漂移补偿算法更具竞争力。针对电子鼻系统的信号处理问题,本文提出了一种基于脉冲神经网络的仿生嗅觉信号处理网络。该算法首先将传感器响应编码为脉冲信号,然后利用脉冲神经元搭建仿生嗅球网络来进行信号的处理并输出判别特征,最后利用人工神经网络对仿生嗅觉网络输出的判别特征进行学习和分析。实验结果表明,提出的方法可以提高电子鼻系统的生物合理性,简化了电子鼻信号处理的步骤,同样具有较高的识别率。

关键词： NB-IoT   云平台   振动检测   数据处理  

摘要： 窄带物联网(NB-IoT)是近年来物联网领域一项发展迅猛的通信技术,它依托于蜂窝移动数据网络。设计之初,它主要面向的是长期待机、对网络质量有要求的低速终端设备。经过近几年的大力发展,主要应用场景有智慧安防、智慧农业、智能家居等,面向的是运行状态较为稳定的监控对象,但NB-IoT在旋转机械设备振动检测领域内的应用较少。工业领域里的旋转机械设备主要是指利用旋转或往复运动完成指定功能的设备,常见有循环泵、齿轮箱、水轮机等,它们用途广泛,覆盖了工业中的方方面面。由于这些设备通常体积较大且常用于驱动其它设备,故在生产中的地位举足轻重,对旋转机械进行在线检测与故障诊断也显得尤为重要。本文主要研究内容如下:1、实现了无线终端的硬件设计。主要包括选择合适的元器件,完成了各个模块的原理分析和电路设计,包括了数据采集模块、NB-IoT无线通信模组、微控制器最小系统模块、稳压电源模块。2、基于NB-IoT网络实现了无线终端同中国电信云平台之间的连接,完成了数据的稳定采集及上传功能,并基于电信云平台实行了无线终端软件程序的OTA升级及断点续传功能。3、将采集到的加速度数值进行了时域分析及频域分析,完成数据清洗、函数加窗和序列插值的处理,并根据快速傅里叶变换实现了加速度信号的频域积分,构造FIR滤波器及IFFT反变换分析出了可靠的振动烈度用于故障检测。本文基于NB-IoT和振动检测技术,开发并测试了一款可远程OTA升级的无线智能终端。根据测试结果及现场反馈,运行效果达到既定要求,符合用户需求。

关键词： 数据挖掘   增强   增强数据   过采样   欠采样   分类  

摘要： 在数据挖掘中,数据不平衡是世界上普遍存在的问题。然而,对不平衡数据进行分类的问题在不同部门中不时增加。为了克服一些标准的不平衡数据技术无法准确平衡多数类和少数类的挑战,用于不平衡数据分类的基于增强的合成采样(ABS)被提出了。ABS方法连接特征并增加现有样本的样本数量以生成合成数据。本文的主要研究贡献为: (1)本论文通过建模将输入数据与训练好的特征串联起来,确定输入数据中特征之间的关系,得到训练样本特征作为权重。为了将输入数据与训练好的特征进行拼接,并找出特征之间的关系,本文提出了一种基于增强的合成采样方法,通过拼接各种特征,使特征表征每个数据样本。首先,本文将输入数据集作为标签和特征插入,对模型进行训练,得到训练样本特征作为输出。其次,本文将训练特征和输入数据集连接起来。最后,本文得到训练样本特征作为输出结果。主要目标是创建与各种特征的关系并增强特征以提高算法的性能。 (2)本论文使用样本替换方法,从训练样本特征中随机选择样本特征值,放大合成数据的多样性,生成临时合成数据。首先,本文取样本值,随机样本一个是第一个特征的值。其次,这项工作实现了采样过程,以获取临时合成数据值的下一个样本特征值,直到样本特征值。最后,本文生成临时合成数据。本论文使用具有替换方法的样本生成临时样本数据。目的是增加数据的多样性。 (3)本论文通过建模将临时采样数据与少数数据连接起来,创建模拟实际观察特征之间关系的合成数据,以预测最终合成数据的特征。本论文使用模型将少数数据与临时数据连接起来,以预测合成数据。当特征分类器和临时人工数据集可用时,最后阶段涉及使用连接的少数数据和连接的临时合成样本数据作为输入数据来估计最终合成数据集的特征。目标是使合成数据再现具有真实观察的特征关系。 (4)此外,ABSBoost是所提出的方法和提升技术的混合体。在不平衡问题方面,混合对比了两种最先进的基于集成的方法的性能。通过集成训练方法解决类不平衡问题很普遍,本文将提出的ABS与boosting方法相结合,创建了一种称为ABSBoost的方法。执行ABS是为了在分类器训练的每次迭代中增加少数样本,因此每个弱学习器都在一个合理平衡的子集上进行训练。本论文将ABSBoost与最先进的基于集成的方法进行比较,包括RUSBoost和Under Bagging。 与之前的研究相比,这项研究显示了所提出的方法和AUC的平均值(曲线下面积)在实验时能生成良好数据样本的能力。根据实验结果,所提出的方法优于现有方法。因此,实验结果表明,所提出的ABS方法和ABSBoost在给定数据集上是有效的。

关键词： 激光雷达   点云处理   PCL   包围盒   可视化设计   点云分割  

摘要： 激光雷达技术目前已经在商业中得到了广泛的运用,目前通过激光雷达技术对点云数据处理系统的研究也有了长足的发展。由于激光雷达数据扫描数据所获取的是大量的离散化三维数据信息,这些以坐标来记录的数据称为点云数据。点云是表示实际物体三维信息的统计无序数集,包含了物体的三维坐标值,颜色值和灰度值。使用激光雷达的信息采集处理系统采集数据时,由于会受到外界的干扰因素(如光线反射、阴影环境)、扫描精度、物品机械振动的负面影响,这些影响会使采集到的点云数据存在着很大的噪声和孔洞。由于这些点云空间密度相差较大,使得分析结果不能直接描绘实际物体的模型。对于上述存在的漏洞,本文设计了一种基于激光雷达的点云数据的处理算法。包括对点云数据处理的简化、过滤、检索、法向量估计、曲面重建、点云数据分割以及可视化研究。本文不但对雷达扫描的点云数据进行一系列处理,而且根据聚类融合的思想,设计一种自适应的欧式聚类算法进行数据分割;通过RANSAC一致性的原理,设计一种平面分割算法对地面点云数据进行分割。对此论文研究的激光点云数据的处理技术,主要内容包括:在点云数据简化方面,分别使用包围盒体素块简化和曲面变分来实现点云数据的简化。曲面变分以边界曲率划分准则为基础,边界曲率使用非均衡网格模型,对边界点和近邻点进行简化处理,且识别效果显著。体素块简化实质产生了一立方体网格,而简化点云的办法就是在体素方块中只产生一点,因此方块内每边的直径都越大,点云的分辨率也就越低。对于简化后的点云数据,引用包围盒思想,将识别处理后的物体通过立方体盒包裹。在点云数据检索方面,使用了PCL＿kd-tree模块用于在近邻地区搜索点云信息,并通过把大量分散的(具有噪声的点云数据)点云数据组织起来。建立与数据点的拓扑关联。使用kd-tree搜索邻域关系可以对点云数据实现快速搜索。在点云数据曲面重建方面,先对数据进行近邻检索,其次进行法向量估计,拟合出表面切平面的法线,切平面用最小二乘法平面拟合得出的。曲面重建使用PCL＿surface模型,完成了点与曲面数据间构建平面的拟合。利用贪婪投影三角化算法进行对点云数据的曲面重建。对于点云数据分割,使用RANSAC平面分割和欧式聚类切割,平面切割借助RANSAC算法,通过随机取样去除掉局外点,保留内敛点。经过一次次的迭代,最终达到最佳的分割效果。欧式聚合法是指把距离紧密度最高的点云集合起来,尽可能地将点云数据囊括在聚类内。使得分割出的物体特征明显,更加明确。以kd-tree数据结构为检索基础,能够满足时间复杂度为o(log(n)),且检索效率快。本文在Windows平台下,结合了PCL点云库实现了可视化的三维重建系统。经过对软件的运行结果和实验分析,证明了对点云数据处理的可行性。

关键词： 森林生态   数据存储   数据索引   数据管理   分布式  

摘要： 为更好地针对中国森林生态系统的服务功能做出评价,国家已在全国各地建立了180多个国家森林定位观测站(以下简称生态站),并针对典型的生态系统种类开展了较长时间的定位观测。生态站能通过各种观测设备包括水份、土壤、气候、生物多样性等传统生态要素指标进行长期、不间断地观测,近年来,生态站还进一步加强对物候、生物多样性的定量观测,这就使得生态站观测数据结构类型,除了传统的观测指标结构化数据类型外,还包括文档、图像、视频、声音等半结构化数据类型,经过长期观测和累积,逐步形成了越来越复杂的海量异构生态大数据;同时,生态站管理人员、科技人员对这些数据进行进一步分析挖掘的需求也越来越迫切,包括海量异构生态数据的实时检索、周期性分析各类生态数据、基于站点和权限的不同类型站点数据融合等。 本文基于生态站建设相应国家标准,研究海量生态大数据处理过程中的关键技术以及平台构建,主要有以下几个方面: 针对海量异构数据源的存储问题,本文设计一种生态数据存储和索引模型,并根据生态数据的特点对原有模型进行优化,用HBase存储海量物候数据,在服务侧通过封装异构数据进行统一查询。面对海量数据源的高效检索问题,用Elastic Search来构建二级索引,解决访问非主键索引时需要进行全表扫描的问题,以此提高生态数据检索效率。 面对生态数据需要实时处理的场景,采用基于Flink的计算模型,通过旁路缓存和异步加载方式优化数据处理速度,通过Check Point、幂等性和两阶段提交等手段实现数据精准一次消费,针对可能存在集群服务器故障的问题,采用双链路切换的方式,保证生态数据不丢不重。 基于原始生态数据结构不清晰,难以统一数据口径的问题,通过Hive构建生态站数据仓库,将公共基础逻辑下沉,对数据进行分层处理,将生态站数据分成ODS层、DWD层、DWS层、APP层和DIM层,并通过DQC和LSA机制实时监控数据的各个阶段,保证数据生产的及时性和准确性。 根据生态站的实际需求,本文设计了系统开发的解决方案,完成了森林生态站的系统研发工作。设计并实现实时数据检索模块、历史数据分析模块、异构数据存储等模块的开发工作,目前系统部署在浙江林科院,接入生态站点共70多个,可以对生态站点的管理和分析提供一定的理论基础和技术支撑。