关键词： 垂直领域搜索引擎   主题网络爬虫   DistilBERT模型   数据处理  

摘要： 近年来,随着网络数据量飞速增长,人们利用传统搜索引擎检索特定领域信息时常面临着覆盖率和准确率的双重挑战。这种情况突显为特定需求定制搜索策略的重要性和紧迫性。因此,垂直领域搜索引擎数据处理系统的研究得到广泛关注。 主题网络爬虫是垂直领域搜索引擎数据处理系统的起始环节,但其在多语言环境中还面临应用局限性、主题判别精度不足和计算资源耗费较高等问题。优秀的商业搜索引擎爬虫技术并未公开。并且,由于网页结构的多样性和数据定义的差异性,开源的主题网络爬虫为垂直领域搜索引擎抓取网页数据时仍存在采集速度受限和智能化程度不够等问题。 为了解决上述问题,本文研究并实现垂直领域搜索引擎的数据处理系统,能够针对某一垂直领域搜索引擎数据进行筛选优化,为垂直领域搜索引擎提供精确度较高的数据源。主要研究内容如下: (1)提出一种网页文本垂直领域主题判别模型TLMDBP(TFIDF＿LDA＿Multilingual＿DistilBERT＿Pretrained),旨在分析与特定垂直领域的相关页面。TLMDBP模型采用Multilingual＿DistilBERT模型做领域预训练得到MDBP模型(Multilingual＿DistilBERT＿Pretrained),再基于TF-IDF算法优化的LDA主题模型与MDBP模型相结合,增强网页文本判定中的上下文语义信息。通过对比实验验证,本文的模型提升了领域主题判别精度,降低了资源消耗。 (2)提出一种智能化网页数据采集方法,自动解析网页数据定位、识别数据结构、提取数据并分类存储。针对网页布局的复杂性和数据结构的多样性,该方法采用随机森林将网页分为数据列表类和文本详情类,利用Selenium、DOM和正则表达式设计数据采集模型,生成网页元素XPath表达式和识别数据结构特征,实现对不同类型网页数据的自动定位和提取。此外,利用网页数据结构特征设计混合式分类存储方案,将结构化数据和非结构化数据分别存储于MySQL和MongoDB中。通过对比实验验证,该方法可显著增强网页数据采集的自动化能力。 (3)本文将研究的垂直领域主题判别模型和改进的智能化网页数据采集方法应用于电子元件领域,实现了包括数据采集、处理及检索的垂直领域搜索引擎的数据处理系统。系统前端负责接收用户需求信息和数据展示,系统后端首先通过集成主题判别模型筛选领域相关页面,然后进行网页数据自动化采集并处理,接着利用Elasticsearch提供索引服务,最后引入Mistral-7B-v0.1的四位量化版模型识别用户对话式搜索的需求和意图,并结合本地数据做上下文搜索,从而支持对话式和上下文关联智能检索。 综上所述,本文研究了垂直领域搜索引擎相关的领域判别、智能网页数据解析、数据采集、分类存储和智能检索等工作,设计实现了相应的数据处理系统,能够按照用户需求解决领域数据采集、存储和检索效率低等问题,能展示用户检索数据并支持按自定义格式导出数据便于后续二次利用。本文的研究成果和相关技术可迁移应用于其他垂直领域,具有实际应用价值和发展潜力。

关键词： 邮政数据   负载均衡   哈希分区   副本放置  

摘要： 随着大数据时代的到来以及计算机网络技术的普遍应用,邮政行业正面临着处理日益增长的数据量的挑战,其中如何提高邮政数据的处理效率已成为当今研究的热点问题。在对邮政数据进行处理时,使处理这些数据的计算机能够长时间处于高效运行的状态,将邮政数据的处理结果快速准确地反馈给用户,这对于邮政行业的发展至关重要。因此,本文根据被用于处理邮政数据的Hadoop体系中的两大核心组件HDFS和MapReduce的数据负载均衡技术做了具体的优化工作。 本文针对传统Hash算法导致Reduce端的数据倾斜问题,通过研究MapReduce的运行机制以及分析邮政数据的特点,对MapReduce在任务计算时Reduce端的负载均衡进行优化。首先本文设计轻量化二层抽样方法获取邮政数据样本,以样本数据预测数据的分布情况,然后通过构建节点的性能衡量模型并结合样本数据确定任务所需的Reducer个数,避免资源浪费或性能瓶颈。其次本文基于Hash算法改进并设计两阶段哈希分区算法,预测分配给各个Reducer的分区数据是否为超过划分标准的异常分区,对异常分区进行分组处理,结合贪心思想动态修改划分倍数和分区函数从而将各分组邮政数据偏移至最优负载Reducer上,最后形成数据分区的划分文件,使Reduce端的数据分区更加均衡。 本文通过分析HDFS的默认副本放置策略所导致的DataNode节点负载失衡问题,对HDFS的默认副本放置策略进行改进。为更加客观准确地对DataNode节点进行负载分类,首先本文引入高斯朴素贝叶斯分类机制,该机制利用影响节点负载的主要因素来获取节点特征值,其次通过贝叶斯定理最终确定当前节点的负载类别,然后在此基础上改进默认的副本放置策略,将节点负载、网络距离以及剩余存储空间同时作为选择标准,最终选择满足条件的DataNode节点来放置邮政数据副本,从而实现各个DataNode节点的负载均衡。 实验结果表明,本文改进的分区策略能够使MapReduce的Reduce端数据分区更加均衡,明显缩短MapReduce关于邮政数据的任务计算时间;本文改进的副本放置策略使HDFS的各个DataNode节点达到很好的负载均衡效果,提高客户端对邮政数据的读写效率,进一步证明本文所提出的策略对邮政数据处理的有效性和实用性。

关键词： 电化学   数据处理   微电流检测   循环伏安法  

摘要： 电化学作为能源、环境和新材料技术的基础学科得到了广泛应用,其检测方法是通过利用电化学池内待测溶液组成及含量与其电化学性质的关系来实现。电化学工作站作为电化学检测分析的关键设备,具有广阔的市场和应用前景。然而,电化学工作站普遍存在体积庞大、成本高昂等问题,本科实验教学难以普及。因此,针对以上问题,研制了一款操作简单、成本低廉、用于实验教学的电化学工作站。本文主要完成的工作内容如下: 分析电化学工作站的研究现状及发展趋势,提出本文电化学工作站的研究内容;基于电化学检测技术基本原理,比较分析不同的电化学检测方法,确定了电化学工作站的的设计指标与整体方案。 通过Matlab软件进行算法的仿真分析,验证了Savitzky-Golay平滑滤波算法、自动多尺度峰值检测(AMPD)算法和Levenberg-Marquardt(LM)算法的准确性与可行性。将数据处理算法转换成C语言移植到嵌入式微处理器STM32F373CCT6中,实现了对数据曲线的平滑滤波、拟合优化和峰值检测。 根据系统需求与整体方案结构,设计基于TOP224的单端反激式开关电源,为设备的正常运行提供稳定的电源;设计信号发生电路,实现输出幅值和速率可调的双极性电压激励信号;采用高精密运算放大器设计恒电位仪电路,维持电极之间的电势恒定;设计微电流自动检测电路,提高信号采集的精确性;设计基于Modbus通信协议的RS-485现场总线通讯电路,实现上位机与下位机的交互;设计Wi Fi通讯电路,解决线上远程监测问题,实现数据与云端的互联。 分析电化学工作站激励信号输出、数据采集、数据处理和数据传输流程,明确嵌入式微处理器STM32F373CCT6需要使用的基本外设,并编写相关软件程序;为提高现场人机交互能力,设计MCGS上位机监控界面,实现数据曲线的实时监测。 搭建测试平台,对电化学工作站进行功能测试与整机调试,测试结果均符合设计要求。在相同的实验条件下,与化学实验室合作进行标准溶液的测试,将本系统测试结果与实验室标准电化学工作站CHI660E的测试结果进行对比分析,结果表明:基于循环伏安法,本文设计的电化学工作站成本可控、结果精确,满足实验教学使用要求,具有很好的应用前景。

关键词： 湍流模型   数据处理   深度学习   湍流模拟映射   映射模型  

摘要： 湍流问题涉及空气力学、水力学、航天工程等诸多领域,其重要性不言而喻。近年来,描绘湍流特征成为研究湍流问题的核心手段,其中数值模拟是其主要方法之一。湍流的数值模拟方法可根据网格分辨率分为直接数值模拟(DNS)、大涡模拟(LES)和雷诺平均纳维-斯托克斯方程(RANS)。随着技术的成熟和应用场景的增多,DNS和LES在学术界和工业界的应用也日益普遍。然而,对于复杂的几何形状和高雷诺数流动,尽管DNS和LES具有较好的流场模拟能力,但由于网格需求的快速增长和计算成本较高,难以实现广泛应用。相反,尽管RANS在精确性方面不如前两者,但其易于获取和较低的计算需求使其在工程实践中被广泛使用。因此学术界和工业界一直在探索一种快速、低计算成本且具备高效流场模拟能力的数值模拟方法。 近年来,深度学习技术在工程领域的应用逐渐崭露头角,为湍流的数值模拟方法提供了新的可能性。本研究聚焦于两种不同维度下的RANS和LES流场的映射,提出了两种基于数据处理和深度学习的螺旋桨流场映射模型,将算力需求低、生成快速但精确度较低的RANS流场映射为算力需求高、计算获取困难但更精确的LES流场,为湍流研究提供了快速高效的数值模拟新方法。本文主要工作内容和成果如下: (1)提出了一种基于数据处理和深度学习的映射模型,用于映射二维螺旋桨的RANS和LES的流场。该模型采用数据处理方法和计算机视觉方法处理二维螺旋桨RANS和LES数据。首先,利用深度卷积神经网络从RANS流场中提取特征;然后,利用映射模块将RANS特征映射为LES特征;最后,使用回归模块将LES特征回归为对应位置的LES速度信息。该方法成功实现了大量离散分布的流场点数据的快速映射,并通过多种实验验证了模型的鲁棒性和准确性。结果表明,使用此方法生成的LES流场数据与实际流场数据的整体误差率为7.92%。此外,文化中还通过在不同雷诺数下的螺旋桨流场数据上进行测试,评估了模型的泛化能力、稳定性和鲁棒性。结果验证了所提出模型在各种流场映射问题中的适用性。 (2)提出了一种基于数据处理和深度学习的三维RANS和LES流场映射模型。该模型采用数据处理方法和计算机视觉方法处理三维螺旋桨RANS和LES数据。首先,通过处理RANS流场点数据获得对应的流场三维数组数据。其次,建立了流场数据的映射模型,实现RANS和LES流场映射。最后通过回归算法实现LES流场三维数组数据到点数据的回归。该方法成功实现了百万级的三维流场点数据的快速映射,并通过多种对比实验展示出该模型在映射中的鲁棒性和准确性。结果表明,使用此方法生成的LES流场数据与实际流场数据的整体误差率为17.68%。 本文提出了两种不同维度下的基于数据处理和深度学习的映射模型,能够精确快速地实现螺旋桨RANS和LES流场的映射。两种方法均基于数值间的映射,不涉及复杂的流体公式或湍流模拟模型,具有生成速度快、结果误差率低、方法泛用性广等优点。该方法为湍流研究提供了一种新路径,既保留了RANS方法的低计算成本优势,又通过深度学习技术提升了流场模拟的精确度,为基于数值模拟的湍流研究提供了新思路,对揭示复杂的湍流流动现象具有重要的意义。

关键词： 混合属性数据   数据处理   条件概率转换   分类数据表示   多特征融合  

摘要： 随着信息技术的快速发展和互联网的普及,不同形式的数据以前所未有的速度产生和积累,其中包括结构化的混合数据(即由分类数据和数值数据构成)。由于混合数据中的分类数据和数值数据具有显著不同的特征(如,数值数据具有良好的代数运算而分类数据却没有),因此混合数据不能直接输入基于单一数据的机器学习算法中。此外,基于数值输入的机器学习算法在分类和预测任务中已广泛应用,所以将混合数据转换/编码/表示为数值数据的过程是非常有必要的。然而,上述的混合数据处理过程仍然未能取得令人满意的表示性能,如何有效提升转换/编码/表示后的数据质量,成为混合数据处理领域亟待解决的问题。 本文聚焦于混合数据的处理研究,围绕条件概率转换和四类编码方法中的缺点与不足,以提高混合数据的分类性能为目标提出了3个新方法,通过大量的实验验证了所提方法的有效性。本文的研究工作和具体贡献如下: (1)针对条件概率转换方法(简称CPT)因“属性条件独立性假设”而导致其条件概率的不准确估计问题,受独依赖值差度量的启发,通过构建属性之间的最大带权生成树,找出除根结点属性外其他属性的父结点属性来缓解该假设。此外,设计了一种基于互信息的属性加权方法。最后,结合上述两个改进方法提出了一种基于属性加权的独依赖条件概率编码方法(简称AWODCPE)。在混合数据分类任务上的实验结果表明,AWODCPE能有效提高CPT的转换性能。 (2)在进一步的研究中发现,当遇到具有多标签或高基数分类值的混合数据时AWODCPE方法可能面临维度灾难问题。此外,AWODCPE方法中的属性加权方法计算了全部属性之间的互信息,这可能存在信息冗余。为此,为了缓解维度灾难本文利用多维缩放法将AWODCPE转换后的高维数据降维到合理范围,并通过最大化异类样本与同类样本之间距离设计一种基于必连与勿连约束的属性加权方法来缓解信息冗余问题,结合这两个方案提出了一种基于属性加权的等距嵌入方法(简称AWIE)。大量的实验结果显示AWIE提高了后续分类算法的性能,这表明AWIE改善了转换性能。 (3)通过广泛的研究发现,现有的分类数据表示方法没有将分类属性细分为序数属性和名义属性(即没有考虑分类属性的序数性),丢失了序数属性的排序关系,从而不能取得令人满意的表示性能。为此,以序数、名义和数值三类属性为研究对象,融合它们的属性内和属性间等多种特征关系,提出一种多特征融合的分类数据表示框架(CR-MFF),提高了聚类分析的性能指标。具体地,1)在属性内表示学习中,考虑序数属性内部的排序信息以及名义属性内部的概率信息;2)在属性间表示学习中,考虑序数、名义和数值三类属性之间组合的交互信息;3)融合了属性内和属性间表示的多种特征信息。因此,CR-MFF不仅充分提取了分类属性的复杂特征信息,也挖掘了分类属性之间的排序关系。在混合、分类和名义数据等不同特征的20个数据集上的大量实验证明:CR-MFF与8个优秀的对比算法相比,它显著提升了谱聚类方法的聚类性能。

摘要： 随着科技的飞速进步，智能电动汽车作为未来出行的核心趋势，其数据处理需求日益增长。智能电动汽车在行驶过程中产生的大量数据，如驾驶行为、车辆状态、环境感知等，对实现高效能、智能化的车辆控制和服务至关重要。然而，传统数据处理方法已难以满足智能电动汽车的实时性和准确性要求。云计算技术以其强大的计算能力、灵活的资源调配能力和高效的数据处理能力，为智能电动汽车数据处理提供了全新的解决方案。通过云计算平台，智能电动汽车可以实时采集、传输、分析和存储海量数据，实现更高效、安全的车辆运行和用户体验，为未来智能出行注入新动力。

关键词： 低压断路器   剩余使用寿命   循环测试   振动加速度   数据处理   深度学习  

摘要： 本研究的目的在于解决电力设备，特别是低压断路器在机械寿命预测预测问题。设计并构建了一个用于低压断路器机械退化的数据采集试验设备，该设备能够在模拟实际工作环境下准确记录断路器在机械操作循环中的关键性能参数，如振动加速度、位置反馈和脱扣电流。这一测试平台的设计考虑了数据采集的精度、数据处理的效率及自动化测试的稳定性，通过高精度加速度传感器和数字采集卡的使用，在循环测试中详细捕获断路器的振动加速度，为后续分析提供了精准的原始数据。这些数据经过筛选，剔除了异常采样，确保了分析结果的准确性。　　对于原始数据，本研究采用了一系列数据处理和分析方法，包括对采集到的原始数据进行经验模态分解（EMD）、模态函数相关性分析、时间序列划分以及特征数据拟合等一系列处理和分析。通过这些技术，成功提取出了关键的机械退化特征数据，为利用深度学习模型进行有效预测奠定了基础。　　在此基础上，本研究提出了一种基于自编码卷积神经网络（CNN）的无监督学习模型，以及一个利用双向长短期记忆网络（Bi-LSTM）的预测模型。自编码CNN用于滤波和压缩无标签的重构加速度数据，而Bi-LSTM模型则处理时间序列数据中的前后依赖关系，以提高复杂序列数据处理的能力并避免训练中的梯度爆炸问题。通过实施一种简化的自注意力机制和动态调整学习率策略，解决了训练过程中的误差振荡问题，加速了模型的收敛过程。交叉验证结果验证了所提出模型的预测性能，显示了其在断路器剩余使用寿命预测方面的有效性。

关键词： 石灰回转窑   数字孪生   建模仿真   数据处理  

摘要： 随着信息技术的快速发展，制造业智能化已成为必然的发展趋势。数字孪生技术能够依据物理实体实现虚拟模型的数字化运动行为仿真和数据的实时处理，为生产系统的智能化提供了一种解决方法。目前数字孪生相关的研究成果仍是以理论概念为主，对工业生产领域应用的研究较少，因此数字孪生应用于工业生产系统中的仿真研究对智能制造的实现具有重要的现实意义。本文以石灰回转窑为研究对象，从以下方面展开了研究:　　(1)根据石灰回转窑的主要结构及工艺，分析了数字孪生技术应用于回转窑系统的需求，研究了回转窑系统数字孪生的体系架构，并从多维度建模仿真与多源异构数据分析处理两方面介绍了数字孪生虚拟仿真所需的关键技术。　　(2)针对数字化模型构建的需求，应用多维度建模与仿真技术，从回转窑系统的几何、物理、行为、规则等维度构建了相应的数字化模型，并针对外部信号驱动数字化模型的功能需求创建了用于映射的机电信号。　　(3)针对功能模型构建的需求，应用多源异构数据分析处理技术实现数据的采集与处理。对数据采集过程中所用的通信协议进行了分析与选择，基于OPC统一架构(OPC Unified Architecture,OPC UA)建立了数据通信;对采集的原始数据进行预处理和基于随机森林算法的特征选择，通过神经网络模型完成对产品质量的预测，并对关键数据进行了可视化展示，从而实现对回转窑系统运行状态监控和分析的功能。　　(4)通过控制系统的搭建和数据的传输实现数字孪生系统的软件在环仿真，验证回转窑数字孪生系统的虚拟调试功能和状态监测功能，实现了数字孪生模型对实际生产系统运行状态的映射和数据的实时显示，为回转窑数字孪生系统的深入研究奠定了基础。

关键词： 风机叶片   损伤识别   健康状态评估   数据处理   深度学习  

摘要： 风机叶片作为整个风力发电机系统的关键组成部分，其体型巨大、运行环境恶劣，加上风机安装位置偏远，导致叶片易发生故障且维修困难，直接影响风机正常运行。为了实时了解风机叶片的运行状态以便能提早展开预防性维修并制定运维策略，叶片的损伤识别与健康评估技术就显得尤为重要。　　本文首先论述了风机叶片的基本结构，讨论了叶片的损伤理论，对叶片材料和叶片振动理论进行了分析;同时，建立了风机叶片结构的有限元模型，通过模态分析得到叶片的固有频率和模态振型。在此基础上对叶片损伤状态进行分析，探讨了叶片损伤类型及其损伤原因。　　然后，通过光纤监测法对风机叶片应变数据进行采集，并对数据进行预处理。对预处理后的应变数据进行傅里叶变换，分析叶片损伤后的频率特征。针对传统方法单一性、误判性高的问题，本文提出了光纤监测法和模态分析法相结合的叶片损伤识别方法。该方法通过对比频域分析得到的叶片振动频率与模态分析结果，有效判断叶片是否发生共振，并将叶片前四阶振动频率的下降作为叶片损伤的重要指标;针对叶片损伤严重程度难以准确判断的问题，本文构建了一种深度残差收缩网络模型，结合深度残差网络、软阈值函数和注意力模块，提取带噪声的一维应变时序数据特征，来识别风机叶片的损伤程度。研究表明，将光纤监测法和模态分析法结合使用，对叶片损伤进行综合分析是一种可靠且高效的方法，误判性低;在深度残差网络模型中使用软阈值函数和注意力模块能够有效去除应变信号中的噪声，充分利用叶片损伤的特征信息，实现对叶片损伤程度的自动识别和分类，预测准确率可达98.58%，且识别效率高。　　最后，针对风机叶片健康状态评估时人工选择参数困难问题，本文通过Pearson相关系数和最大信息系数分析各参数间的相关性及冗余性，准确地从SCADA系统中提取出与风机叶片相关性高的状态参数。进而，利用风机在正常工况下的数据构建基于高斯混合模型(GMM)的健康基准模型，并通过马氏距离设定健康衰退指标。研究结果显示，所构建的模型能够准确评估风机叶片的健康状态，有效实现了叶片早期损伤的预警。