关键词： 智能制造   大数据平台   Hadoop   数据集成管理   数据处理  

摘要： 在工业4.0时代,伴随着传感器技术、计算机技术的飞速发展,工业领域的数据规模迅速增长,数据中所蕴含的价值也越来越多,这也是传统制造企业信息化系统待解决的痛点——海量工业数据的集成存储和分析问题。在传统制造企业业务信息化系统之间更是存在“数据孤岛”的现象,各个业务信息化系统的数据流通性差,阻碍了以数据驱动的智能制造的发展。因此怎样解决智能制造数据的集成存储和分析问题,从海量数据中挖掘深层价值,具有重要的研究意义和使用价值。本文源于国家重点研发计划“基于工业互联的网络协同制造集成技术与平台研发”,针对集团制造企业存在的产品制造全流程全产业链数据资源汇聚与利用难、运营服务效率低等问题,设计了一个基于Hadoop的智能制造大数据平台,实现对集团制造企业多源海量数据的集成存储和分析。首先,分析了工业数据的特征、分类以及数据的来源,然后根据数据类型和特点的不同分别设计了数据采集方案和数据存储方案,设计并实现了一种面向多源历史数据的ETL数据采集系统和基于Hive的数据仓库,为多源海量数据的集成存储提供了解决方案。其次,对于大数据处理领域的常用算法进行优化和实现。针对传统K-means聚类算法K值和初始聚类中心难以确定的不足,通过Canopy算法和最大最小距离算法进行优化,并采用Flink分布式计算框架完成K-means聚类优化算法的并行化实现,提高了聚类过程的计算效率和准确率;针对DBSCAN聚类算法计算效率较慢的问题,采用Spark分布式计算框架实现DBSCAN算法的并行化,在无明显聚类精度损失的同时获得了较好的加速比。最后,基于VMware Workstation虚拟机软件搭建了大数据基础平台Hadoop集群及相关组件,并按照B/S架构和前后端分离架构对平台进行了初步实现,降低了前后端的耦合,在后端采用Spring Boot框架完成业务代码的实现,在前端采用了HTML、CSS和Java Script等组件,并对平台相关功能进行了验证,验证了本文平台的可行性。

关键词： 成像声纳   显控平台   以太网通信   数据处理  

摘要： 声纳是人类探索水下世界的眼睛。伴随着人类社会发展,对各种海洋资源的需求不断增大,声纳也随之成为世界各国都日益重视的研究对象[1]。其中,成像声纳系统可以对水下世界进行实况显示,可对水下资源开采、水下救援、水下打捞等提供重要辅助作用,研究意义重大。本实验室此前研究开发的TKIS-Ⅰ机械扫描成像声纳是一款单波束机械扫描声纳,目前已有20多台成品装备于各海军救援部队,该声纳能满足中远距离探测需求,但也存在无法对声纳参数进行自定义设置、水下使用时操作复杂、工作频率不可调等问题。基于这些缺点,实验室研究开发了TKIS-Ⅱ机械扫描声纳。与TKIS-Ⅰ机械扫描成像声纳相比TKIS-Ⅱ机械扫描成像声纳为非头戴式且不需要腰间控制盒对声纳运行进行操作。本文作者主要承担TKIS-Ⅱ机械扫描成像声纳显控平台的设计实现工作。本文具体研究内容如下:（1）介绍了本课题的研究意义、成像声纳及显控平台的发展历史及现状、四款比较具有代表性的成像声纳。（2）重点说明了TKIS-Ⅰ机械扫描成像声纳显控平台的优缺点,据此提出TKIS-Ⅱ机械扫描成像声纳显控平台的设计要求。（3）提出了TKIS-Ⅱ机械扫描成像声纳显控平台的总体设计方案。确定了TKIS-Ⅱ机械扫描成像声纳显控平台需要实现的功能模块为网络连接模块、参数设计及查询模块、数据接收模块、数据保存模块、TVG参数设置模块、数据保存模块、数据回放模块、能模块、距离显示模块、数据显示模块。介绍了TKIS-Ⅱ机械扫描成像声纳显控平台的两种工作模式,并分别对这两种工作模式的运行流程进行设计。介绍了TKIS-Ⅱ机械扫描成像声纳系统数据的传输过程以及以太网芯片选型。（4）对TKIS-Ⅱ机械扫描成像声纳显控平台开发过程中用到的控件进行说明;对人机交互界面进行设计;网络连接模块用到的TCP协议的实现过程;参数设置及查询模块的数据格式,程序设计的流程以及各参数的功能;数据显示模块用到的伪彩色编码,C#.NET下的GDI+绘图,显示用数据的选取方式及程序设计流程;数据保存模块的设计流程;数据回放模块用到的技术以及程序设计流程设计流程;TVG参数的作用以及程序设计流程;距离标尺在显示界面的位置以及程序实现流程。（5）对所有的功能模块进行了实验验证,为了验证可靠性引入了Wireshark抓包软件,对该软件进行了简介,主要用于验证参数设置以及数据接收的可靠性,介绍了不同环境下进行的多次软硬件联调实验。实验证明,所有功能都能实现,显示效果良好。综上所述,论文研究的显控平台基本满足TKIS-Ⅱ机械扫描成像声纳显控平台的设计要求,能实现所有功能需求。

摘要： 《普通高中信息技术课程标准（2017年版2020年修订）》提出信息技术课程须围绕高中信息技术核心素养，兼重理论学习和实践应用，通过丰富多样的任务情境，鼓励学生在数字化环境中学习与实践，倡导基于项目的学习方式，将知识建构、技能培养与思维发展融入到运用数字化工具解决问题和完成任务的过程中。

关键词： 核磁共振测井   数据降噪   数据压缩   稀疏反演   NMR多维谱定量评价  

摘要： 核磁共振(NMR)测井已广泛应用于油气储层的勘探开发。非常规储层物性差,微-纳米孔隙发育,流体组分复杂,核磁共振测井采集的回波数据信噪比低,且存在大量冗余信息;目前核磁共振数据反演方法的布点方式没有考虑岩石孔隙流体NMR弛豫的稀疏性;不同流体组分核磁共振多维谱信号重叠,流体组分定量评价困难。因此,论文针对核磁共振测井数据降噪、压缩、稀疏反演和多维谱定量评价方法展开研究。核磁共振测井采集的回波数据中包含大量噪声,论文提出了一种基于离散余弦变换的核磁共振回波数据降噪方法,并分别设计了单窗口、非重叠等窗长、重叠等窗长和变窗长4种不同的降噪方案。数值模拟结果表明,单窗口降噪方案降噪后的回波数据前几个回波幅值衰减严重,丢失大量短弛豫组分信号;其它3种降噪方案可以对回波数据有效降噪,且变窗长降噪方案效果最优。通过处理核磁共振测井资料,验证了变窗长降噪方案的实用性。核磁共振测井采集的回波数据中存在大量冗余信息,利用离散余弦变换能量集中的特性,论文提出了基于离散余弦变换的数据压缩方法,数值模拟和测井资料处理结果表明,如果仅使用离散余弦变换对回波数据压缩,容易丢失短弛豫组分信号,尤其对小孔占优地层模型短弛豫信号丢失更多。在此基础上提出了一种联合窗口平均和离散余弦变换的数据压缩方法,提出的联合压缩方法可以对回波数据进行有效压缩,不仅减少了回波数据的存储空间,还提高了回波数据的处理效率,反演的核磁共振谱与地层模型的均方根误差小。通过处理核磁共振测井资料,验证了提出的联合压缩方法的实用性。考虑到岩石孔隙流体NMR弛豫的稀疏性,论文提出了一种核磁共振回波数据稀疏反演方法,首先确定岩心的核磁共振弛豫时间区间,逐个添加新的弛豫时间进行反演,并对已选弛豫时间集进行不显著弛豫时间剔除和振荡检测,得到稳定准确的稀疏核磁共振谱。岩心NMR实验数据处理结果表明,利用稀疏反演方法得到的核磁共振谱可以对岩心的孔隙度、渗透率和饱和度进行有效评价。非常规储层不同流体组分核磁共振多维谱信号重叠,导致地层中流体组分个数难以确定。论文以页岩储层二维核磁共振T-T测井为例,提出了3种流体组分个数确定方法。(1)对多个测量深度点的T-T谱组成的混合数据进行快速独立成分分析(Fast ICA),通过计算混合数据中的残余信息得到地层中流体组分个数。(2)对混合数据进行小波主成分分析(DWPCA)和二维主成分分析(2D PCA),确定地层中流体组分个数,相比传统主成分分析(PCA)方法,提出的方法可以更有效确定流体组分个数,且不同的小波基对该方法确定的流体组分个数影响小。(3)利用不同非负矩阵分解参数对混合数据进行处理,得到不同参数下的赤池信息准则(AIC)值,通过权衡不同参数下非负矩阵分解的拟合误差和复杂度,得到地层中流体组分个数。针对非常规页岩储层流体组分定量评价困难,提出了3种核磁共振多维谱定量评价方法。(1)基于非负矩阵分解和区域划分的定量评价方法,通过得到不同流体组分在二维核磁共振T-T谱上的强弱信号区域,从而确定不同流体组分的饱和度。(2)首次将几何学解混方法应用于核磁共振多维谱定量评价,提高了不同流体组分T-T特征的统计独立性,从而更准确地得到不同流体组分在T-T谱上的特征,利用全约束最小二乘方法确定不同流体组分的饱和度。(3)首次将形态学方法应用于核磁共振多维谱定量评价,通过剔除混合数据中的冗余数据,减少非负矩阵分解的耗时,并提高非负矩阵分解的准确性,利用全约束最小二乘方法得到不同流体组分的饱和度。通过处理核磁共振测井资料,验证了提出方法的有效性。

关键词： 大数据处理系统   配置抽样   配置关系模型   配置优化  

摘要： 随着人们对从海量数据中获取有用信息的需求日益增加,大数据处理系统(Big data processing systems)受到了越来越多的关注,例如Spark,Hadoop和Storm等。开发人员为这些系统提供了大量自定义配置选项,以帮助最终用户或从业人员更加高效地在系统中运行各类周期性作业。尽管多样化的配置提供了高度的灵活性,但同时也带来了沉重的负担,因为需要探索由数百个配置选项组成的巨大配置空间。配置不当不仅会显着降低性能(例如,执行时间),而且还可能导致其他非功能属性(例如,财务成本或可靠性)的恶化。由此引发的后果就是用户坚持使用糟糕的默认配置,以避免错误配置造成的系统行为异常。然而,为大数据处理系统选择最优配置是具有挑战性的,人们需要面对诸如复杂的配置关系和多样化的优化目标等一系列问题。为了协助人们解决这些难题,论文围绕大数据处理系统的配置优化展开了一系列研究工作,主要内容包括以下三个方面:1.基于配置距离和选项频率的配置抽样方法。作为配置优化的起点,一个包含足够信息的初始配置集是必不可少的。本文基于配置距离和选项频率提出一种适合大数据处理系统的配置抽样方法。首先,将配置表示为二维数组,使其能够同时包括有效性信息和取值信息,并进一步将配置选项之间的约束关系转化为特征模型。然后,应用基于配置距离的抽样确定一组在配置空间均匀分布的有效配置。接着,根据配置选项出现的频率划分每个选项的取值范围,并在每个间隔内随机取值。两种策略的结合使用生成一个小的,有效的,有代表性的配置集合,用于支撑后续的配置分析与优化。2.基于LightGBM的配置关系模型。配置优化的关键点在于了解配置与各种非功能属性之间的关系,由此引出配置预测的基本问题。为了以轻量化的方式解决这个问题,本文提出一种构建配置关系模型的黑盒方法。该方法根据大数据处理系统的运行逻辑,将系统抽象成一系列顺序执行的运行阶段。然后利用Light GBM算法建立每个阶段的配置关系模型。模型将配置空间视为一个整体,不需要对配置之间的关系做任何假设。考虑到建模过程中需要收集配置的真实测量值作为样本集,应用基于残差规则的动态训练策略来减少不必要的测量成本开销。配置关系模型以任意配置作为输入,能够输出对应的属性预测值。3.基于分解多目标进化算法的配置优化方法。本文将大数据处理系统的配置优化形式化定义成一个多目标问题,并提出一种新的最优配置搜索算法MCO。该算法以基于分解的多目标进化算法(MOEA/D)作为主要框架,结合多项技术增强搜索。首先,应用研究内容1生成的配置集作为初始种群,为算法提供良好的初始搜索点。其次,应用研究内容2提出的Light GBM模型来评估进化过程中出现的候选配置,绕过实际测量候选配置的大量时间开销。第三,设计了适合配置个体的遗传操作。最后,对于可能出现的无效配置,提出一种基于SAT求解器的方法,它采用两种不同的SAT求解器实现对无效配置的修复与替换处理,在提升算法搜索效率的同时能够增强配置之间的多样性。算法旨在为最终用户提供一组多样化、高质量的有效配置。

ISBN: (纸本)9787111695837

关键词： 高光谱技术   甜瓜嫁接   愈合预测   数据处理   模型评估  

摘要： 传统的嫁接苗愈合状态判断主要是以有经验的农业人员对嫁接后10天的苗人为判断。在规模化生产中,如果能对嫁接苗愈合状态进行提前预测,不仅能够有效提高嫁接愈合装置的利用率,同时能给甜瓜种植带来巨大的经济效应提升。本文在甜瓜嫁接苗愈合预测方法上尝试了一种更为高效的预测方法。通过对嫁接苗光谱数据的获取,利用ENVI软件提取感兴趣(Region of Interest,ROI)区域,并计算平均光谱值。对原始光谱利用一阶导数(First Derivatives,FD)和二阶导数(Second Derivatives,SD)、标准正态变换(Standard Normal Variate,SNV)和去趋势处理(Detrend)、平滑21点(Smooth 21)、多元散射矫正(Multiplicative Scatter Correction,MSC)等预处理方法及两种以上的组合预处理方法,建立支持向量机(Support Vector Machine,SVM)、决策树和XGBoost三种分类模型;优选模型对应的最优预处理算法得到光谱数据,利用主成分分析(Principal Component Analysis,PCA)、竞争性自适应重加权(Competitive Adaptive Reweighting Sampling,CARS)、遗传算法(Genetic Algorithms,GA)、连续投影算法(Successive Projections Algorithm,SPA)四种算法进行特征变量选择,随后利用特征变量建立分类判别模式,为嫁接苗嫁接愈合的提前预测提供理论依据。特征变量建立的分类判别模型结果表明,在SVM模型的分类结果中,两种不同的数据预处理方法组合三种特征变量选择算法,选择的特征变量建立的模型校正集和预测集结果＿1score F的值分别在58%～87%和53%～80%之间。其中光谱原始数据经过CARS特征选择,模型预测的＿1score F值是最高的,＿1score F值达到了80%。在决策树模型分类结果中,校正集和预测集＿1score F值分别在58%～89%和53%～85%之间,其中通过FD数据预处理后,通过GA和PCA两种算法进行降维后,得到的＿1score F达到了85%。在XGBoost模型的分类结果中,同样用两种预处理方法组合3种算法选择的特征变量建立的模型校正集和预测集＿1score F分别在83%～95%和80%～93%之间。通过FD数据预处理与GA算法组合后,模型＿1score F最高,达到93%。在所有的数据预处理方法和分类模型的组合中,FD-GA-XGBoost模型效果最好。基于高光谱技术的甜瓜嫁接苗愈合预测方法,利用嫁接后4、5、6天的嫁接苗光谱数据,可实现在嫁接后6天对嫁接愈合较为准确的判断。

关键词： 激光跟踪仪   精度分析   三维控制网   秩亏自由网平差   干涉测距  

摘要： 当前，我国装备制造业与工业技术的发展日新月异，工业设备结构趋于复杂且安装精度要求极高，对相关测量技术与方法特别是高精度三维控制网的建立提出了更高的要求。激光跟踪仪因其测量精度高、测量范围大、便携性好、作业高效等技术优势，己成为现阶段构建精密三维控制网的重要手段。本文以LeicaAT930激光跟踪仪为研究对象，围绕激光跟踪三维测边网构建与平差方法展开研究，所开展的主要研究工作及成果如下:　　(1)从激光跟踪仪球坐标测量原理出发，对激光跟踪仪的点位误差进行了解析。以LeicaAT930型激光跟踪仪为研究对象，重点分析了激光跟踪仪“测角线性误差”和测距误差的悬殊性。通过仿真模拟，揭示了空间三维坐标精度随各观测要素的变化规律。最后，探讨了“解析点位精度”与“仪器标称点位精度”之间的精度差异，以期对激光跟踪三维控制网的构建提供基础依据。　　(2)探讨了激光跟踪三维控制网的构建与优化方法。介绍了激光跟踪三维控制网的基本构成，对比分析了经典自由网平差基准与秩亏自由网平差基准，利用控制网平差前后重心位置不变的性质，解决秩亏自由网平差的基准缺失问题。顾及激光跟踪仪测角线性误差与测距误差的悬殊性，仅利用其微米级高精度激光干涉测距值，构建激光跟踪三维测边网，推导了误差方程式。　　(3)针对激光跟踪三维测边网中平差前测站点近似坐标的解算问题，介绍了后方交会法与坐标转换法。探讨了激光跟踪三维测边网中系数矩阵秩亏的原因，针对系数矩阵秩亏造成法方程解不唯一的问题，分别推导了基于矩阵奇异值分解的激光跟踪三维测边网平差模型、利用重心基准的激光跟踪三维测边网平差模型。顾及激光跟踪三维测边网中测站点和控制点的稳定性差异，分别将测站点和控制点作为拟稳点，推导了拟稳平差模型。　　(4)在山东科技大学三维综合实验场内构建激光跟踪三维测边网，开展了数据采集与平差处理实验。借助软件编程，实现了基于矩阵奇异值分解、重心基准约束条件下的激光跟踪三维测边网平差模型、拟稳平差模型的解算。平差后各点坐标反算距离与激光干涉测距值的偏差可控制在±10μm以内，验证了所涉平差模型的有效性，并对比分析了各类平差模型的解算精度。

关键词： 串行足底压力图像   数据处理   双分支时序移位   四分支时序自适应   足迹检索系统  

摘要： 足迹作为重要的人体行为特征具有唯一性、稳定性,基于足迹特征可以实现高效的个人身份识别。现阶段足迹识别虽然取得一定进展,但仍然面临一些问题,主要包括研究对象多是单枚足迹数据,无法获取足迹间的时序性信息;同时,足迹数据较少,足迹图像间相似度较高,难以提取具有差异性的足迹特征。如何从日益复杂的足迹种类和日益增多的足迹数量中有效提取足迹特征是一个关键点。 针对上述问题,本文采集了串行足底压力数据,基于其时序特性,同时结合深度学习方法提出了两个串行足底压力图像检索算法,并设计了串行足迹检索系统。本文的研究内容主要包括以下四部分: (1)构建检索实验所需的串行足底压力图像数据集。首先按照采集流程采集354人的足迹数据,采集过程中牢记采集注意事项。其次针对串行足迹检索任务,提出了去噪、剪切、中心化等预处理流程。最后基于是否中心化预处理构建了两大类八个数据集,每大类数据集包含赤足、布鞋、皮鞋、运动鞋四个鞋型,每种鞋型有正常走、背包走、提包走三种负重状态。 (2)为了同时实现同种鞋、多种鞋的高准确率检索,基于串行足迹数据的序列特性提出了一种双分支时序移位算法。该算法首先在基准网络的基础上添加时序移位模块强化网络时空建模能力,其次引入右脚判别模块细化串行足迹特征,最后使用三卷积层模块进一步强化网络提取关键性特征的能力。一系列的对比消融实验证明该双分支时序移位算法的有效性、鲁棒性。 (3)为了进一步提高模型的检索性能,同时解决模型迁移带来的准确率下降问题,基于高效时空建模方法提出了一种四分支时序自适应算法。该算法在双分支时序移位算法的基础上将时序移位模块替换为时序自适应模块,更新网络的自适应卷积核参数。然后添加多分支时空增强模块,从多个维度聚合足迹序列间的时空信息,最大程度保证信息的完整度,从而进一步提高检索模型的性能。一系列的对比消融实验证明四分支时序自适应算法的有效性、鲁棒性。 (4)设计串行足迹检索系统。该系统主要功能模块为串行足迹入库和串行足迹检索两类,串行足迹入库将足迹数据录入到数据库,串行足迹检索实现足迹数据的检索。经系统测试,可以很好实现串行足迹的入库、检索功能。