关键词： 冷冻电镜   数据处理   实时   自动化   颗粒挑选  

摘要： 冷冻电子显微镜技术(简称冷冻电镜),尤其是单颗粒分析法,已经成为获取生物大分子近原子分辨率三维结构的重要技术。然而,这一技术的数据收集过程往往耗时冗长,因为冷冻电镜照片的信噪比低,所以实现高分辨率的三维重构往往需要拍摄数以万计的照片。除了等待时间长,用户在数据收集过程中得到的反馈也很少,因为原始的电镜照片对比度较低,如果不经过一系列图像处理,肉眼几乎看不出任何信息。因此,在数据收集的过程中,对电镜照片进行同步的预处理,并将处理的结果实时地展示,将有助于用户分析电镜和样品的状态。例如,如果电镜出现误差,用户可以立刻调整电镜的设置;如果样品质量欠佳,用户可以考虑是继续收集更多的数据还是停止实验,准备另外一批质量更好的样品。这种及时的反馈能够让用户在数据收集的过程中就了解样品的状态和实验的进展,这将极大地提升数据收集的效率与质量。 本论文展示了一款名为“得息镜”的新软件,它在冷冻电镜的数据收集过程中实现了自动化的数据传输、自动处理和实时展示。其中数据传输功能保证数据收集的同时将数据同步地传输到用户的移动硬盘中,避免用户在数据收集结束后花费额外的时间进行数据转移。得息镜的数据预处理功能包含常见的冷冻电镜数据处理步骤:漂移修正、衬度传递函数估计、颗粒挑选、二维分类、分类打分和三维初始建模。这些预处理的结果将通过得息镜的图形界面实时地展示,有助于用户直观地了解样品的质量。得息镜还配备了一套实时的数据监控系统,当出现异常数据时,能够迅速地向用户发出提醒,以便用户及时地采取应对措施。该软件用户界面友好,易于上手,能够提供持续的数据筛选功能,并实时反馈数据质量和电镜状态。 在冷冻电镜的数据处理中,颗粒挑选一直是一个既耗时又费力的步骤。本论文还介绍了一款名为“EMage Picker”的“开箱即用式”颗粒挑选器,它基于卷积神经网络,以Cryo PPP数据为训练集,实现了对冷冻电镜单颗粒照片进行自动化的颗粒挑选。相比于传统算法(拉普拉斯高斯算法和模板匹配算法),EMage Picker能够智能地避开照片中的背景、边界和部分污染,显著地提高冷冻电镜颗粒挑选的效率,为科研工作者节省了大量宝贵的时间与精力。

关键词： 垂直领域搜索引擎   主题网络爬虫   DistilBERT模型   数据处理  

摘要： 近年来,随着网络数据量飞速增长,人们利用传统搜索引擎检索特定领域信息时常面临着覆盖率和准确率的双重挑战。这种情况突显为特定需求定制搜索策略的重要性和紧迫性。因此,垂直领域搜索引擎数据处理系统的研究得到广泛关注。 主题网络爬虫是垂直领域搜索引擎数据处理系统的起始环节,但其在多语言环境中还面临应用局限性、主题判别精度不足和计算资源耗费较高等问题。优秀的商业搜索引擎爬虫技术并未公开。并且,由于网页结构的多样性和数据定义的差异性,开源的主题网络爬虫为垂直领域搜索引擎抓取网页数据时仍存在采集速度受限和智能化程度不够等问题。 为了解决上述问题,本文研究并实现垂直领域搜索引擎的数据处理系统,能够针对某一垂直领域搜索引擎数据进行筛选优化,为垂直领域搜索引擎提供精确度较高的数据源。主要研究内容如下: (1)提出一种网页文本垂直领域主题判别模型TLMDBP(TFIDF＿LDA＿Multilingual＿DistilBERT＿Pretrained),旨在分析与特定垂直领域的相关页面。TLMDBP模型采用Multilingual＿DistilBERT模型做领域预训练得到MDBP模型(Multilingual＿DistilBERT＿Pretrained),再基于TF-IDF算法优化的LDA主题模型与MDBP模型相结合,增强网页文本判定中的上下文语义信息。通过对比实验验证,本文的模型提升了领域主题判别精度,降低了资源消耗。 (2)提出一种智能化网页数据采集方法,自动解析网页数据定位、识别数据结构、提取数据并分类存储。针对网页布局的复杂性和数据结构的多样性,该方法采用随机森林将网页分为数据列表类和文本详情类,利用Selenium、DOM和正则表达式设计数据采集模型,生成网页元素XPath表达式和识别数据结构特征,实现对不同类型网页数据的自动定位和提取。此外,利用网页数据结构特征设计混合式分类存储方案,将结构化数据和非结构化数据分别存储于MySQL和MongoDB中。通过对比实验验证,该方法可显著增强网页数据采集的自动化能力。 (3)本文将研究的垂直领域主题判别模型和改进的智能化网页数据采集方法应用于电子元件领域,实现了包括数据采集、处理及检索的垂直领域搜索引擎的数据处理系统。系统前端负责接收用户需求信息和数据展示,系统后端首先通过集成主题判别模型筛选领域相关页面,然后进行网页数据自动化采集并处理,接着利用Elasticsearch提供索引服务,最后引入Mistral-7B-v0.1的四位量化版模型识别用户对话式搜索的需求和意图,并结合本地数据做上下文搜索,从而支持对话式和上下文关联智能检索。 综上所述,本文研究了垂直领域搜索引擎相关的领域判别、智能网页数据解析、数据采集、分类存储和智能检索等工作,设计实现了相应的数据处理系统,能够按照用户需求解决领域数据采集、存储和检索效率低等问题,能展示用户检索数据并支持按自定义格式导出数据便于后续二次利用。本文的研究成果和相关技术可迁移应用于其他垂直领域,具有实际应用价值和发展潜力。

关键词： 电化学   数据处理   微电流检测   循环伏安法  

摘要： 电化学作为能源、环境和新材料技术的基础学科得到了广泛应用,其检测方法是通过利用电化学池内待测溶液组成及含量与其电化学性质的关系来实现。电化学工作站作为电化学检测分析的关键设备,具有广阔的市场和应用前景。然而,电化学工作站普遍存在体积庞大、成本高昂等问题,本科实验教学难以普及。因此,针对以上问题,研制了一款操作简单、成本低廉、用于实验教学的电化学工作站。本文主要完成的工作内容如下: 分析电化学工作站的研究现状及发展趋势,提出本文电化学工作站的研究内容;基于电化学检测技术基本原理,比较分析不同的电化学检测方法,确定了电化学工作站的的设计指标与整体方案。 通过Matlab软件进行算法的仿真分析,验证了Savitzky-Golay平滑滤波算法、自动多尺度峰值检测(AMPD)算法和Levenberg-Marquardt(LM)算法的准确性与可行性。将数据处理算法转换成C语言移植到嵌入式微处理器STM32F373CCT6中,实现了对数据曲线的平滑滤波、拟合优化和峰值检测。 根据系统需求与整体方案结构,设计基于TOP224的单端反激式开关电源,为设备的正常运行提供稳定的电源;设计信号发生电路,实现输出幅值和速率可调的双极性电压激励信号;采用高精密运算放大器设计恒电位仪电路,维持电极之间的电势恒定;设计微电流自动检测电路,提高信号采集的精确性;设计基于Modbus通信协议的RS-485现场总线通讯电路,实现上位机与下位机的交互;设计Wi Fi通讯电路,解决线上远程监测问题,实现数据与云端的互联。 分析电化学工作站激励信号输出、数据采集、数据处理和数据传输流程,明确嵌入式微处理器STM32F373CCT6需要使用的基本外设,并编写相关软件程序;为提高现场人机交互能力,设计MCGS上位机监控界面,实现数据曲线的实时监测。 搭建测试平台,对电化学工作站进行功能测试与整机调试,测试结果均符合设计要求。在相同的实验条件下,与化学实验室合作进行标准溶液的测试,将本系统测试结果与实验室标准电化学工作站CHI660E的测试结果进行对比分析,结果表明:基于循环伏安法,本文设计的电化学工作站成本可控、结果精确,满足实验教学使用要求,具有很好的应用前景。

关键词： 邮政数据   负载均衡   哈希分区   副本放置  

摘要： 随着大数据时代的到来以及计算机网络技术的普遍应用,邮政行业正面临着处理日益增长的数据量的挑战,其中如何提高邮政数据的处理效率已成为当今研究的热点问题。在对邮政数据进行处理时,使处理这些数据的计算机能够长时间处于高效运行的状态,将邮政数据的处理结果快速准确地反馈给用户,这对于邮政行业的发展至关重要。因此,本文根据被用于处理邮政数据的Hadoop体系中的两大核心组件HDFS和MapReduce的数据负载均衡技术做了具体的优化工作。 本文针对传统Hash算法导致Reduce端的数据倾斜问题,通过研究MapReduce的运行机制以及分析邮政数据的特点,对MapReduce在任务计算时Reduce端的负载均衡进行优化。首先本文设计轻量化二层抽样方法获取邮政数据样本,以样本数据预测数据的分布情况,然后通过构建节点的性能衡量模型并结合样本数据确定任务所需的Reducer个数,避免资源浪费或性能瓶颈。其次本文基于Hash算法改进并设计两阶段哈希分区算法,预测分配给各个Reducer的分区数据是否为超过划分标准的异常分区,对异常分区进行分组处理,结合贪心思想动态修改划分倍数和分区函数从而将各分组邮政数据偏移至最优负载Reducer上,最后形成数据分区的划分文件,使Reduce端的数据分区更加均衡。 本文通过分析HDFS的默认副本放置策略所导致的DataNode节点负载失衡问题,对HDFS的默认副本放置策略进行改进。为更加客观准确地对DataNode节点进行负载分类,首先本文引入高斯朴素贝叶斯分类机制,该机制利用影响节点负载的主要因素来获取节点特征值,其次通过贝叶斯定理最终确定当前节点的负载类别,然后在此基础上改进默认的副本放置策略,将节点负载、网络距离以及剩余存储空间同时作为选择标准,最终选择满足条件的DataNode节点来放置邮政数据副本,从而实现各个DataNode节点的负载均衡。 实验结果表明,本文改进的分区策略能够使MapReduce的Reduce端数据分区更加均衡,明显缩短MapReduce关于邮政数据的任务计算时间;本文改进的副本放置策略使HDFS的各个DataNode节点达到很好的负载均衡效果,提高客户端对邮政数据的读写效率,进一步证明本文所提出的策略对邮政数据处理的有效性和实用性。

关键词： 混合属性数据   数据处理   条件概率转换   分类数据表示   多特征融合  

摘要： 随着信息技术的快速发展和互联网的普及,不同形式的数据以前所未有的速度产生和积累,其中包括结构化的混合数据(即由分类数据和数值数据构成)。由于混合数据中的分类数据和数值数据具有显著不同的特征(如,数值数据具有良好的代数运算而分类数据却没有),因此混合数据不能直接输入基于单一数据的机器学习算法中。此外,基于数值输入的机器学习算法在分类和预测任务中已广泛应用,所以将混合数据转换/编码/表示为数值数据的过程是非常有必要的。然而,上述的混合数据处理过程仍然未能取得令人满意的表示性能,如何有效提升转换/编码/表示后的数据质量,成为混合数据处理领域亟待解决的问题。 本文聚焦于混合数据的处理研究,围绕条件概率转换和四类编码方法中的缺点与不足,以提高混合数据的分类性能为目标提出了3个新方法,通过大量的实验验证了所提方法的有效性。本文的研究工作和具体贡献如下: (1)针对条件概率转换方法(简称CPT)因“属性条件独立性假设”而导致其条件概率的不准确估计问题,受独依赖值差度量的启发,通过构建属性之间的最大带权生成树,找出除根结点属性外其他属性的父结点属性来缓解该假设。此外,设计了一种基于互信息的属性加权方法。最后,结合上述两个改进方法提出了一种基于属性加权的独依赖条件概率编码方法(简称AWODCPE)。在混合数据分类任务上的实验结果表明,AWODCPE能有效提高CPT的转换性能。 (2)在进一步的研究中发现,当遇到具有多标签或高基数分类值的混合数据时AWODCPE方法可能面临维度灾难问题。此外,AWODCPE方法中的属性加权方法计算了全部属性之间的互信息,这可能存在信息冗余。为此,为了缓解维度灾难本文利用多维缩放法将AWODCPE转换后的高维数据降维到合理范围,并通过最大化异类样本与同类样本之间距离设计一种基于必连与勿连约束的属性加权方法来缓解信息冗余问题,结合这两个方案提出了一种基于属性加权的等距嵌入方法(简称AWIE)。大量的实验结果显示AWIE提高了后续分类算法的性能,这表明AWIE改善了转换性能。 (3)通过广泛的研究发现,现有的分类数据表示方法没有将分类属性细分为序数属性和名义属性(即没有考虑分类属性的序数性),丢失了序数属性的排序关系,从而不能取得令人满意的表示性能。为此,以序数、名义和数值三类属性为研究对象,融合它们的属性内和属性间等多种特征关系,提出一种多特征融合的分类数据表示框架(CR-MFF),提高了聚类分析的性能指标。具体地,1)在属性内表示学习中,考虑序数属性内部的排序信息以及名义属性内部的概率信息;2)在属性间表示学习中,考虑序数、名义和数值三类属性之间组合的交互信息;3)融合了属性内和属性间表示的多种特征信息。因此,CR-MFF不仅充分提取了分类属性的复杂特征信息,也挖掘了分类属性之间的排序关系。在混合、分类和名义数据等不同特征的20个数据集上的大量实验证明:CR-MFF与8个优秀的对比算法相比,它显著提升了谱聚类方法的聚类性能。

关键词： 湍流模型   数据处理   深度学习   湍流模拟映射   映射模型  

摘要： 湍流问题涉及空气力学、水力学、航天工程等诸多领域,其重要性不言而喻。近年来,描绘湍流特征成为研究湍流问题的核心手段,其中数值模拟是其主要方法之一。湍流的数值模拟方法可根据网格分辨率分为直接数值模拟(DNS)、大涡模拟(LES)和雷诺平均纳维-斯托克斯方程(RANS)。随着技术的成熟和应用场景的增多,DNS和LES在学术界和工业界的应用也日益普遍。然而,对于复杂的几何形状和高雷诺数流动,尽管DNS和LES具有较好的流场模拟能力,但由于网格需求的快速增长和计算成本较高,难以实现广泛应用。相反,尽管RANS在精确性方面不如前两者,但其易于获取和较低的计算需求使其在工程实践中被广泛使用。因此学术界和工业界一直在探索一种快速、低计算成本且具备高效流场模拟能力的数值模拟方法。 近年来,深度学习技术在工程领域的应用逐渐崭露头角,为湍流的数值模拟方法提供了新的可能性。本研究聚焦于两种不同维度下的RANS和LES流场的映射,提出了两种基于数据处理和深度学习的螺旋桨流场映射模型,将算力需求低、生成快速但精确度较低的RANS流场映射为算力需求高、计算获取困难但更精确的LES流场,为湍流研究提供了快速高效的数值模拟新方法。本文主要工作内容和成果如下: (1)提出了一种基于数据处理和深度学习的映射模型,用于映射二维螺旋桨的RANS和LES的流场。该模型采用数据处理方法和计算机视觉方法处理二维螺旋桨RANS和LES数据。首先,利用深度卷积神经网络从RANS流场中提取特征;然后,利用映射模块将RANS特征映射为LES特征;最后,使用回归模块将LES特征回归为对应位置的LES速度信息。该方法成功实现了大量离散分布的流场点数据的快速映射,并通过多种实验验证了模型的鲁棒性和准确性。结果表明,使用此方法生成的LES流场数据与实际流场数据的整体误差率为7.92%。此外,文化中还通过在不同雷诺数下的螺旋桨流场数据上进行测试,评估了模型的泛化能力、稳定性和鲁棒性。结果验证了所提出模型在各种流场映射问题中的适用性。 (2)提出了一种基于数据处理和深度学习的三维RANS和LES流场映射模型。该模型采用数据处理方法和计算机视觉方法处理三维螺旋桨RANS和LES数据。首先,通过处理RANS流场点数据获得对应的流场三维数组数据。其次,建立了流场数据的映射模型,实现RANS和LES流场映射。最后通过回归算法实现LES流场三维数组数据到点数据的回归。该方法成功实现了百万级的三维流场点数据的快速映射,并通过多种对比实验展示出该模型在映射中的鲁棒性和准确性。结果表明,使用此方法生成的LES流场数据与实际流场数据的整体误差率为17.68%。 本文提出了两种不同维度下的基于数据处理和深度学习的映射模型,能够精确快速地实现螺旋桨RANS和LES流场的映射。两种方法均基于数值间的映射,不涉及复杂的流体公式或湍流模拟模型,具有生成速度快、结果误差率低、方法泛用性广等优点。该方法为湍流研究提供了一种新路径,既保留了RANS方法的低计算成本优势,又通过深度学习技术提升了流场模拟的精确度,为基于数值模拟的湍流研究提供了新思路,对揭示复杂的湍流流动现象具有重要的意义。

摘要： 文章探讨基于云计算平台的智慧高速数据处理与决策支持的重要性，对当前智慧高速交通系统的数据处理与决策支持技术进行了分析，提出了基于云计算平台的创新性解决方案，以实现更高效、智能化的交通管理和决策支持。一、基于云计算平台的智慧高速数据处理与决策支持的重要性智慧高速系统产生大量的实时数据，包括车辆流量、道路状况、交通事故等信息。传统的数据处理系统往往难以应对如此庞大的数据量，而云计算平台提供了弹性扩展和分布式处理的能力，能够有效处理大规模的数据，

摘要： 随着科技的飞速进步，智能电动汽车作为未来出行的核心趋势，其数据处理需求日益增长。智能电动汽车在行驶过程中产生的大量数据，如驾驶行为、车辆状态、环境感知等，对实现高效能、智能化的车辆控制和服务至关重要。然而，传统数据处理方法已难以满足智能电动汽车的实时性和准确性要求。云计算技术以其强大的计算能力、灵活的资源调配能力和高效的数据处理能力，为智能电动汽车数据处理提供了全新的解决方案。通过云计算平台，智能电动汽车可以实时采集、传输、分析和存储海量数据，实现更高效、安全的车辆运行和用户体验，为未来智能出行注入新动力。

关键词： 低压断路器   剩余使用寿命   循环测试   振动加速度   数据处理   深度学习  

摘要： 本研究的目的在于解决电力设备，特别是低压断路器在机械寿命预测预测问题。设计并构建了一个用于低压断路器机械退化的数据采集试验设备，该设备能够在模拟实际工作环境下准确记录断路器在机械操作循环中的关键性能参数，如振动加速度、位置反馈和脱扣电流。这一测试平台的设计考虑了数据采集的精度、数据处理的效率及自动化测试的稳定性，通过高精度加速度传感器和数字采集卡的使用，在循环测试中详细捕获断路器的振动加速度，为后续分析提供了精准的原始数据。这些数据经过筛选，剔除了异常采样，确保了分析结果的准确性。　　对于原始数据，本研究采用了一系列数据处理和分析方法，包括对采集到的原始数据进行经验模态分解（EMD）、模态函数相关性分析、时间序列划分以及特征数据拟合等一系列处理和分析。通过这些技术，成功提取出了关键的机械退化特征数据，为利用深度学习模型进行有效预测奠定了基础。　　在此基础上，本研究提出了一种基于自编码卷积神经网络（CNN）的无监督学习模型，以及一个利用双向长短期记忆网络（Bi-LSTM）的预测模型。自编码CNN用于滤波和压缩无标签的重构加速度数据，而Bi-LSTM模型则处理时间序列数据中的前后依赖关系，以提高复杂序列数据处理的能力并避免训练中的梯度爆炸问题。通过实施一种简化的自注意力机制和动态调整学习率策略，解决了训练过程中的误差振荡问题，加速了模型的收敛过程。交叉验证结果验证了所提出模型的预测性能，显示了其在断路器剩余使用寿命预测方面的有效性。