关键词： 无人机航拍   地形测量   精度评估   数据处理   误差修正  

摘要： 本研究旨在评估无人机航拍在地形测量中的精度，并探讨其实用性。通过对不同环境条件下的实验数据进行分析，我们揭示了无人机航拍技术在地形测量中的潜力和局限性。研究结果显示，在适当的条件下，无人机航拍可以提供高质量、高精度的地形数据，但需注意数据处理和误差修正等关键因素，以确保测量结果的可靠性。我们的研究成果有助于深化对无人机在地形测量领域中应用的理解。

关键词： 电价预测   混合模型   数据处理  

摘要： 随着可再生能源越来越多的融入电网，准确的电价预测对于能源供应商有效分配其资产和能源消费者优化其能源投资组合至关重要。然而，电价是非平稳的、季节性强、价格剧烈波动，因此很难估计未来的趋势。目前，基于人工智能的混合模型在电价预测方面表现出了较好的预测稳定性能，并且已经成功地应用于电价预测领域。此外，有效的数据分解技术在提升电价预测方面还有很大的潜力。　　本文提出了两种电价预测混合模型，这些模型基于新的数据处理技术进行设计和构建。其一是利用当前已存在的算法，结合不同数据处理技术的优点提出了一种基于统计模型和数据预处理相结合的混合模型，其二是基于方差贡献率选择变分模态分解层数并结合样本熵选择更新参数的思想设计了一种改进的变分模态分解技术。通过对不同模型的比较以及各种评价指标进行实验和分析，本文主要研究了以下两个方面：　　(1)提出了一种将优化变分模式分解(OptimizedVariationalModeDecomposition，OVMD)，小波变换(WaveletTransform，WT)和樽海鞘群算法优化-极限学习机(SalpSwarmAlgorithm-ExtremeLearningMachine，SSA-ELM)相结合的混合模型，并将它命名为SEWNet。通过对OVMD方法的研究发现，它能够从方差贡献率的角度有效解决VMD方法中分解层K的选择问题。实验数据采用澳大利亚新南威尔士州、昆士兰州和维多利亚州的电力价格，验证该模型在电价预测中的预测性能和优越性。　　(2)提出了一种新的数据预处理技术，该方法结合方差贡献率选择变分模态分解层数并且利用样本熵选择更新参数的数据预处理技术，以提高电价预测的精度。首先，利用样本熵优化变分模态分解技术(SampleEntropyOptimizedVariationalModeDecomposition，SEOVMD)将原始的电价序列成功分解为多个模态分量。其次，利用Hurst指数确定所得到的分量的赫斯特值（HurstExponent，H），然后将其转换为宏观和微观级数。再将这些序列分别应用于可解释时间序列预测的神经基展开分析(NetworkBaseExpansionAnalysisForInterpretableTimeSeriesForecasting，N-BEATS)和密集卷积网络(Denseconvolutionalnetwork，DenseNet)中。最后，每个模态分量的误差序列通过使用ARIMA模型来预测。选择了澳大利亚塔斯马尼亚州的四组电价数据进行实验分析。实验结果显示，这种SEOVMD分解方法在电价预测的稳定性和准确性方面比其他方法更出色。

关键词： 冷冻电镜   数据处理   实时   自动化   颗粒挑选  

摘要： 冷冻电子显微镜技术(简称冷冻电镜),尤其是单颗粒分析法,已经成为获取生物大分子近原子分辨率三维结构的重要技术。然而,这一技术的数据收集过程往往耗时冗长,因为冷冻电镜照片的信噪比低,所以实现高分辨率的三维重构往往需要拍摄数以万计的照片。除了等待时间长,用户在数据收集过程中得到的反馈也很少,因为原始的电镜照片对比度较低,如果不经过一系列图像处理,肉眼几乎看不出任何信息。因此,在数据收集的过程中,对电镜照片进行同步的预处理,并将处理的结果实时地展示,将有助于用户分析电镜和样品的状态。例如,如果电镜出现误差,用户可以立刻调整电镜的设置;如果样品质量欠佳,用户可以考虑是继续收集更多的数据还是停止实验,准备另外一批质量更好的样品。这种及时的反馈能够让用户在数据收集的过程中就了解样品的状态和实验的进展,这将极大地提升数据收集的效率与质量。 本论文展示了一款名为“得息镜”的新软件,它在冷冻电镜的数据收集过程中实现了自动化的数据传输、自动处理和实时展示。其中数据传输功能保证数据收集的同时将数据同步地传输到用户的移动硬盘中,避免用户在数据收集结束后花费额外的时间进行数据转移。得息镜的数据预处理功能包含常见的冷冻电镜数据处理步骤:漂移修正、衬度传递函数估计、颗粒挑选、二维分类、分类打分和三维初始建模。这些预处理的结果将通过得息镜的图形界面实时地展示,有助于用户直观地了解样品的质量。得息镜还配备了一套实时的数据监控系统,当出现异常数据时,能够迅速地向用户发出提醒,以便用户及时地采取应对措施。该软件用户界面友好,易于上手,能够提供持续的数据筛选功能,并实时反馈数据质量和电镜状态。 在冷冻电镜的数据处理中,颗粒挑选一直是一个既耗时又费力的步骤。本论文还介绍了一款名为“EMage Picker”的“开箱即用式”颗粒挑选器,它基于卷积神经网络,以Cryo PPP数据为训练集,实现了对冷冻电镜单颗粒照片进行自动化的颗粒挑选。相比于传统算法(拉普拉斯高斯算法和模板匹配算法),EMage Picker能够智能地避开照片中的背景、边界和部分污染,显著地提高冷冻电镜颗粒挑选的效率,为科研工作者节省了大量宝贵的时间与精力。

关键词： 垂直领域搜索引擎   主题网络爬虫   DistilBERT模型   数据处理  

摘要： 近年来,随着网络数据量飞速增长,人们利用传统搜索引擎检索特定领域信息时常面临着覆盖率和准确率的双重挑战。这种情况突显为特定需求定制搜索策略的重要性和紧迫性。因此,垂直领域搜索引擎数据处理系统的研究得到广泛关注。 主题网络爬虫是垂直领域搜索引擎数据处理系统的起始环节,但其在多语言环境中还面临应用局限性、主题判别精度不足和计算资源耗费较高等问题。优秀的商业搜索引擎爬虫技术并未公开。并且,由于网页结构的多样性和数据定义的差异性,开源的主题网络爬虫为垂直领域搜索引擎抓取网页数据时仍存在采集速度受限和智能化程度不够等问题。 为了解决上述问题,本文研究并实现垂直领域搜索引擎的数据处理系统,能够针对某一垂直领域搜索引擎数据进行筛选优化,为垂直领域搜索引擎提供精确度较高的数据源。主要研究内容如下: (1)提出一种网页文本垂直领域主题判别模型TLMDBP(TFIDF＿LDA＿Multilingual＿DistilBERT＿Pretrained),旨在分析与特定垂直领域的相关页面。TLMDBP模型采用Multilingual＿DistilBERT模型做领域预训练得到MDBP模型(Multilingual＿DistilBERT＿Pretrained),再基于TF-IDF算法优化的LDA主题模型与MDBP模型相结合,增强网页文本判定中的上下文语义信息。通过对比实验验证,本文的模型提升了领域主题判别精度,降低了资源消耗。 (2)提出一种智能化网页数据采集方法,自动解析网页数据定位、识别数据结构、提取数据并分类存储。针对网页布局的复杂性和数据结构的多样性,该方法采用随机森林将网页分为数据列表类和文本详情类,利用Selenium、DOM和正则表达式设计数据采集模型,生成网页元素XPath表达式和识别数据结构特征,实现对不同类型网页数据的自动定位和提取。此外,利用网页数据结构特征设计混合式分类存储方案,将结构化数据和非结构化数据分别存储于MySQL和MongoDB中。通过对比实验验证,该方法可显著增强网页数据采集的自动化能力。 (3)本文将研究的垂直领域主题判别模型和改进的智能化网页数据采集方法应用于电子元件领域,实现了包括数据采集、处理及检索的垂直领域搜索引擎的数据处理系统。系统前端负责接收用户需求信息和数据展示,系统后端首先通过集成主题判别模型筛选领域相关页面,然后进行网页数据自动化采集并处理,接着利用Elasticsearch提供索引服务,最后引入Mistral-7B-v0.1的四位量化版模型识别用户对话式搜索的需求和意图,并结合本地数据做上下文搜索,从而支持对话式和上下文关联智能检索。 综上所述,本文研究了垂直领域搜索引擎相关的领域判别、智能网页数据解析、数据采集、分类存储和智能检索等工作,设计实现了相应的数据处理系统,能够按照用户需求解决领域数据采集、存储和检索效率低等问题,能展示用户检索数据并支持按自定义格式导出数据便于后续二次利用。本文的研究成果和相关技术可迁移应用于其他垂直领域,具有实际应用价值和发展潜力。

关键词： 邮政数据   负载均衡   哈希分区   副本放置  

摘要： 随着大数据时代的到来以及计算机网络技术的普遍应用,邮政行业正面临着处理日益增长的数据量的挑战,其中如何提高邮政数据的处理效率已成为当今研究的热点问题。在对邮政数据进行处理时,使处理这些数据的计算机能够长时间处于高效运行的状态,将邮政数据的处理结果快速准确地反馈给用户,这对于邮政行业的发展至关重要。因此,本文根据被用于处理邮政数据的Hadoop体系中的两大核心组件HDFS和MapReduce的数据负载均衡技术做了具体的优化工作。 本文针对传统Hash算法导致Reduce端的数据倾斜问题,通过研究MapReduce的运行机制以及分析邮政数据的特点,对MapReduce在任务计算时Reduce端的负载均衡进行优化。首先本文设计轻量化二层抽样方法获取邮政数据样本,以样本数据预测数据的分布情况,然后通过构建节点的性能衡量模型并结合样本数据确定任务所需的Reducer个数,避免资源浪费或性能瓶颈。其次本文基于Hash算法改进并设计两阶段哈希分区算法,预测分配给各个Reducer的分区数据是否为超过划分标准的异常分区,对异常分区进行分组处理,结合贪心思想动态修改划分倍数和分区函数从而将各分组邮政数据偏移至最优负载Reducer上,最后形成数据分区的划分文件,使Reduce端的数据分区更加均衡。 本文通过分析HDFS的默认副本放置策略所导致的DataNode节点负载失衡问题,对HDFS的默认副本放置策略进行改进。为更加客观准确地对DataNode节点进行负载分类,首先本文引入高斯朴素贝叶斯分类机制,该机制利用影响节点负载的主要因素来获取节点特征值,其次通过贝叶斯定理最终确定当前节点的负载类别,然后在此基础上改进默认的副本放置策略,将节点负载、网络距离以及剩余存储空间同时作为选择标准,最终选择满足条件的DataNode节点来放置邮政数据副本,从而实现各个DataNode节点的负载均衡。 实验结果表明,本文改进的分区策略能够使MapReduce的Reduce端数据分区更加均衡,明显缩短MapReduce关于邮政数据的任务计算时间;本文改进的副本放置策略使HDFS的各个DataNode节点达到很好的负载均衡效果,提高客户端对邮政数据的读写效率,进一步证明本文所提出的策略对邮政数据处理的有效性和实用性。

关键词： 电化学   数据处理   微电流检测   循环伏安法  

摘要： 电化学作为能源、环境和新材料技术的基础学科得到了广泛应用,其检测方法是通过利用电化学池内待测溶液组成及含量与其电化学性质的关系来实现。电化学工作站作为电化学检测分析的关键设备,具有广阔的市场和应用前景。然而,电化学工作站普遍存在体积庞大、成本高昂等问题,本科实验教学难以普及。因此,针对以上问题,研制了一款操作简单、成本低廉、用于实验教学的电化学工作站。本文主要完成的工作内容如下: 分析电化学工作站的研究现状及发展趋势,提出本文电化学工作站的研究内容;基于电化学检测技术基本原理,比较分析不同的电化学检测方法,确定了电化学工作站的的设计指标与整体方案。 通过Matlab软件进行算法的仿真分析,验证了Savitzky-Golay平滑滤波算法、自动多尺度峰值检测(AMPD)算法和Levenberg-Marquardt(LM)算法的准确性与可行性。将数据处理算法转换成C语言移植到嵌入式微处理器STM32F373CCT6中,实现了对数据曲线的平滑滤波、拟合优化和峰值检测。 根据系统需求与整体方案结构,设计基于TOP224的单端反激式开关电源,为设备的正常运行提供稳定的电源;设计信号发生电路,实现输出幅值和速率可调的双极性电压激励信号;采用高精密运算放大器设计恒电位仪电路,维持电极之间的电势恒定;设计微电流自动检测电路,提高信号采集的精确性;设计基于Modbus通信协议的RS-485现场总线通讯电路,实现上位机与下位机的交互;设计Wi Fi通讯电路,解决线上远程监测问题,实现数据与云端的互联。 分析电化学工作站激励信号输出、数据采集、数据处理和数据传输流程,明确嵌入式微处理器STM32F373CCT6需要使用的基本外设,并编写相关软件程序;为提高现场人机交互能力,设计MCGS上位机监控界面,实现数据曲线的实时监测。 搭建测试平台,对电化学工作站进行功能测试与整机调试,测试结果均符合设计要求。在相同的实验条件下,与化学实验室合作进行标准溶液的测试,将本系统测试结果与实验室标准电化学工作站CHI660E的测试结果进行对比分析,结果表明:基于循环伏安法,本文设计的电化学工作站成本可控、结果精确,满足实验教学使用要求,具有很好的应用前景。

关键词： 油罐基础沉降监测   低相干光学传感器   软件开发   温度补偿   数据处理  

摘要： 石油储备是国家资源规划的重要内容之一,世界各国都建设了不同规模的石油储备基地。大型储油罐是石油储备使用到的重要基础设施,仅辽宁省内就有接近2000个。以10万立方米大型原油储罐为例,庞大的罐体受地质条件、进油与出油的荷载变化等因素影响,容易产生不均匀沉降。当这种沉降累积超过阈值,就会造成油罐的结构变形甚至开裂发生原油泄露,引发安全事故。因此,国家标准中明确规定大型储油罐的使用需要定期巡检,确保油罐基础沉降在安全范围内。 目前,油罐基础沉降监测依赖人工操作全站仪等设备定期测量来获取沉降数据,这种方式效率低、易受天气干扰并且测量结果可能受到操作者主观判断的影响。鉴于人工测量的不足,在线监测油罐基础沉降就成为该行业安全监测的一个迫切需求。因此,课题组提出了一套基于低相干光学原理的油罐基础沉降监测系统,而本论文的工作就是为该系统开发适配一套软件系统。本论文的主要工作概括如下: (1)开发了一套基于低相干光学原理的油罐基础沉降监测系统软件,并将其应用于实际的油罐基础沉降监测中。该软件与硬件系统协同工作,具备数据采集、数据处理、数据库存储、数据可视化、状态评估、数据云同步以及远程指令控制等功能。相比较人工测量,该软件系统提高了油罐基础沉降测量的自动化水平。 (2)为解决油罐基础沉降中数据测量、传输、信息识别三方面受到的干扰,首先提出了一种基于机器学习中多元线性回归模型的温度补偿算法,经过算法补偿后,沉降测量结果的均方误差与处理前相比平均下降了28%。其次为了提高系统数据传输效率,本文优化了HPack算法,并结合Gzip算法将数据压缩至原来的12.6%。最后针对沉降信息识别过程中的干扰信号,设计了基于箱线图法和改进3准则的数据清洗算法,该算法能够高效识别并标记数据流中的干扰值,结合指数加权的自适应卡尔曼滤波算法,实现了长期在线监测的数据处理。 (3)本文开发的软件在单元测试、集成测试和系统测试基础上,经过近1年的运行测试,可以与硬件采集设备匹配并稳定运行,实现对油罐基础沉降的自动化监测,顺利通过了大连某油库区的验收测试。 综上所述,本论文基于低相干光学沉降传感器完成了软件开发并通过算法设计解决实际问题。测试运行结果证明,设计的软件有效提升了大型油罐基础沉降在线监测工作的准确性和效率,对于大型油罐安全运营具有重要的实际意义。

关键词： 混合属性数据   数据处理   条件概率转换   分类数据表示   多特征融合  

摘要： 随着信息技术的快速发展和互联网的普及,不同形式的数据以前所未有的速度产生和积累,其中包括结构化的混合数据(即由分类数据和数值数据构成)。由于混合数据中的分类数据和数值数据具有显著不同的特征(如,数值数据具有良好的代数运算而分类数据却没有),因此混合数据不能直接输入基于单一数据的机器学习算法中。此外,基于数值输入的机器学习算法在分类和预测任务中已广泛应用,所以将混合数据转换/编码/表示为数值数据的过程是非常有必要的。然而,上述的混合数据处理过程仍然未能取得令人满意的表示性能,如何有效提升转换/编码/表示后的数据质量,成为混合数据处理领域亟待解决的问题。 本文聚焦于混合数据的处理研究,围绕条件概率转换和四类编码方法中的缺点与不足,以提高混合数据的分类性能为目标提出了3个新方法,通过大量的实验验证了所提方法的有效性。本文的研究工作和具体贡献如下: (1)针对条件概率转换方法(简称CPT)因“属性条件独立性假设”而导致其条件概率的不准确估计问题,受独依赖值差度量的启发,通过构建属性之间的最大带权生成树,找出除根结点属性外其他属性的父结点属性来缓解该假设。此外,设计了一种基于互信息的属性加权方法。最后,结合上述两个改进方法提出了一种基于属性加权的独依赖条件概率编码方法(简称AWODCPE)。在混合数据分类任务上的实验结果表明,AWODCPE能有效提高CPT的转换性能。 (2)在进一步的研究中发现,当遇到具有多标签或高基数分类值的混合数据时AWODCPE方法可能面临维度灾难问题。此外,AWODCPE方法中的属性加权方法计算了全部属性之间的互信息,这可能存在信息冗余。为此,为了缓解维度灾难本文利用多维缩放法将AWODCPE转换后的高维数据降维到合理范围,并通过最大化异类样本与同类样本之间距离设计一种基于必连与勿连约束的属性加权方法来缓解信息冗余问题,结合这两个方案提出了一种基于属性加权的等距嵌入方法(简称AWIE)。大量的实验结果显示AWIE提高了后续分类算法的性能,这表明AWIE改善了转换性能。 (3)通过广泛的研究发现,现有的分类数据表示方法没有将分类属性细分为序数属性和名义属性(即没有考虑分类属性的序数性),丢失了序数属性的排序关系,从而不能取得令人满意的表示性能。为此,以序数、名义和数值三类属性为研究对象,融合它们的属性内和属性间等多种特征关系,提出一种多特征融合的分类数据表示框架(CR-MFF),提高了聚类分析的性能指标。具体地,1)在属性内表示学习中,考虑序数属性内部的排序信息以及名义属性内部的概率信息;2)在属性间表示学习中,考虑序数、名义和数值三类属性之间组合的交互信息;3)融合了属性内和属性间表示的多种特征信息。因此,CR-MFF不仅充分提取了分类属性的复杂特征信息,也挖掘了分类属性之间的排序关系。在混合、分类和名义数据等不同特征的20个数据集上的大量实验证明:CR-MFF与8个优秀的对比算法相比,它显著提升了谱聚类方法的聚类性能。

关键词： 湍流模型   数据处理   深度学习   湍流模拟映射   映射模型  

摘要： 湍流问题涉及空气力学、水力学、航天工程等诸多领域,其重要性不言而喻。近年来,描绘湍流特征成为研究湍流问题的核心手段,其中数值模拟是其主要方法之一。湍流的数值模拟方法可根据网格分辨率分为直接数值模拟(DNS)、大涡模拟(LES)和雷诺平均纳维-斯托克斯方程(RANS)。随着技术的成熟和应用场景的增多,DNS和LES在学术界和工业界的应用也日益普遍。然而,对于复杂的几何形状和高雷诺数流动,尽管DNS和LES具有较好的流场模拟能力,但由于网格需求的快速增长和计算成本较高,难以实现广泛应用。相反,尽管RANS在精确性方面不如前两者,但其易于获取和较低的计算需求使其在工程实践中被广泛使用。因此学术界和工业界一直在探索一种快速、低计算成本且具备高效流场模拟能力的数值模拟方法。 近年来,深度学习技术在工程领域的应用逐渐崭露头角,为湍流的数值模拟方法提供了新的可能性。本研究聚焦于两种不同维度下的RANS和LES流场的映射,提出了两种基于数据处理和深度学习的螺旋桨流场映射模型,将算力需求低、生成快速但精确度较低的RANS流场映射为算力需求高、计算获取困难但更精确的LES流场,为湍流研究提供了快速高效的数值模拟新方法。本文主要工作内容和成果如下: (1)提出了一种基于数据处理和深度学习的映射模型,用于映射二维螺旋桨的RANS和LES的流场。该模型采用数据处理方法和计算机视觉方法处理二维螺旋桨RANS和LES数据。首先,利用深度卷积神经网络从RANS流场中提取特征;然后,利用映射模块将RANS特征映射为LES特征;最后,使用回归模块将LES特征回归为对应位置的LES速度信息。该方法成功实现了大量离散分布的流场点数据的快速映射,并通过多种实验验证了模型的鲁棒性和准确性。结果表明,使用此方法生成的LES流场数据与实际流场数据的整体误差率为7.92%。此外,文化中还通过在不同雷诺数下的螺旋桨流场数据上进行测试,评估了模型的泛化能力、稳定性和鲁棒性。结果验证了所提出模型在各种流场映射问题中的适用性。 (2)提出了一种基于数据处理和深度学习的三维RANS和LES流场映射模型。该模型采用数据处理方法和计算机视觉方法处理三维螺旋桨RANS和LES数据。首先,通过处理RANS流场点数据获得对应的流场三维数组数据。其次,建立了流场数据的映射模型,实现RANS和LES流场映射。最后通过回归算法实现LES流场三维数组数据到点数据的回归。该方法成功实现了百万级的三维流场点数据的快速映射,并通过多种对比实验展示出该模型在映射中的鲁棒性和准确性。结果表明,使用此方法生成的LES流场数据与实际流场数据的整体误差率为17.68%。 本文提出了两种不同维度下的基于数据处理和深度学习的映射模型,能够精确快速地实现螺旋桨RANS和LES流场的映射。两种方法均基于数值间的映射,不涉及复杂的流体公式或湍流模拟模型,具有生成速度快、结果误差率低、方法泛用性广等优点。该方法为湍流研究提供了一种新路径,既保留了RANS方法的低计算成本优势,又通过深度学习技术提升了流场模拟的精确度,为基于数值模拟的湍流研究提供了新思路,对揭示复杂的湍流流动现象具有重要的意义。