关键词： 人工智能   多源数据   数据处理   决策支持   数据清洗  

摘要： 聚焦煤矿生产销售过程中的生产管理、安全监测、销售优化等方面的需求，提出了基于人工智能的煤矿多源数据处理与决策支持系统。从模块化、可扩展性、安全性、人机交互、可靠性方面给出了系统设计原则；提出了包括数据采集层、数据管理层、智能分析层、决策支持层、用户交互层的系统结构；介绍了系统应具备的功能与性能；阐述了系统实现所需的开发工具，以及数据清洗、多源数据处理、决策支持等关键技术方案；分析了系统在煤矿业务中的应用模式，结合案例说明了系统在煤矿传感器故障检测中的应用；指出了该系统未来在煤矿行业的发展方向。

关键词： 人工智能   高通量实验   高通量数据处理   X射线衍射谱   电化学阻抗谱  

摘要： 材料基因组技术中的高通量实验通过组合材料芯片技术、自动化实验平台和同步辐射光源等先进技术,可将原有的样品制备和实验表征效率提升成百上千倍,但随之产生的高通量表征数据多数仍处于人工逐条分析的状态,数据分析的智能化和自动化程度较低。面对这一现状,为构建材料基因组中的成分-显微结构-性能间的相关性,本论文利用机器学习、优化算法、信号处理和统计分析等人工智能相关方法,以材料显微结构及材料电化学性能中的电化学交流阻抗为落脚点,分析这两类数据的具体特征,开发高通量数据处理技术,实现材料显微结构和电化学性能高通量表征数据的高效自动化处理与分析。 材料相图的传统实验构建方法由于耗时的冶炼和低效的材料显微结构分析导致其制作周期漫长。本论文采用组合材料芯片技术和层次聚类分析分别从高通量实验和数据分析两个层面来加速实验相图的构建效率。利用物理气相沉积结合移动掩膜法制备出Fe-Cr-Ni组合材料芯片前驱体,再对前驱体进行退火处理从而完成材料库的制备。通过先进光子源的高能微束X射线衍射(X-ray diffraction,XRD)和电子探针显微分析分别对材料库的结构和成分进行高通量表征。本论文提出XRD图谱的三步自动化预处理流程,该流程成功地为1200余条XRD图谱移除偏移基线、去除噪声并校准基线。人工对高通量XRD图谱(约1200条)逐条进行物相分析,再结合成分信息构建Fe-Cr-Ni相图以作为后续自动化构建相图的参考。通过在层次聚类分析中融合专业经验,可提高其XRD图谱物相识别精度,可将自动化构建相图的准确率从50%提升至91%以上。最终验证高通量数据处理技术能从高通量显微结构数据中自动获取成分和结构信息,从而提升组合材料芯片技术产生的大量表征数据的分析效率,进而把三元相图的构建周期从数月缩短到几天,并且可将此技术推广到其他三元、多元合金相图的快速构建。 电化学阻抗谱(Electrochemical impedance spectroscopy,EIS)作为一种二次信号测试技术,通常面临难以评估数据质量、难以选择合适的等效电路模型(Equivalentcircuitmodel,ECM),以及较难精确拟合ECM元件参数等数据处理问题。 为消除EIS异常点对数据质量的影响,本论文首次提出基于系统线性、残差敏感性和数据质量提升三个定性条件构成的EIS异常点定义。基于该定义,通过改进的线性Kramers-Kronig验证方法、Savitzky-Golay平滑算法、四分位数和各种残差组合,设计出EIS自动验证与改进(EIS validation and improvement,EIS-AVI)系统,该系统通过自动检测和删除异常点以改进EIS数据质量。通过在人为添加扰动的模拟EIS上验证EIS-AVI结合不同的运行参数时的异常点检测性能,得以确定EIS-AVI最佳的运行参数,进而实现更小的计算量和最高的检测率(85.1%)。同时还获得多种残差指标对于异常点的敏感度排序,并发现EIS-AVI更容易找到数据分布稀疏区域上的异常点。 本论文使用能从海量数据中学习的机器学习(Machine learning,ML)算法来解决难以为EIS选择合理的ECM的问题。通过从已发表文献中摘录的锂离子电池测试数据和微区电化学高通量实验数据,我们构建出包含七种类别、629条数据的EIS机器学习数据集。使用网格搜索为多种ML算法选择最佳的超参数组合,结合最佳的超参数及更多的训练数据可训练并筛选出在机器学习测试数据集上ECM预测性能最佳的AdaBoost和随机森林两种模型。相较于前人在五种ECM预测任务中46%的正确率,本论文最佳的ECM预测模型在更为困难的七种ECM预测任务中将正确率提升至57%。通过将EIS分成高频段阻抗、中频段阻抗和低频段阻抗三个输入来分析三者对预测结果的重要性程度,并和AdaBoost和随机森林的权重分析结果进行比较,可知改进的模糊曲面分析、人工经验分析和AdaBoost权重分析均认为:低频段阻抗的重要性>中频段阻抗的重要性>高频段阻抗的重要性,从而认为AdaBoost的ECM预测依据更为可信。通过进一步为AdaBoost提供数据背景信息,可帮助AdaBoost缩小预测目标范围,使其为微区电化学高通量实验EIS预测ECM时,达到83%的预测准确率。 为解决ECM元件参数自动拟合的问题,我们研究了基于进化、人类活动、物理规律和动物群体活动启发的四大类、二十种不同的全局优化算法(Global optimization algorithm,GOA)以代替广泛使用、但容易陷入局部最优的复数非线性最小二乘法。通过在九条模拟的EIS上测试二十种GOA的ECM元件参数拟合性能(拟合精度、拟合结果稳定性和运行时间),为每种ECM挑选出综合性能最佳的五种GOA并应用于后

关键词： 温度计量   CTD   Excel   数据处理  

摘要： CTD校准中需要处理的数据比较多，工作量较大，利用Excel软件数据处理和分析功能，可以快速准确得到校准结果。文章简述了一种利用Excel函数公式处理CTD校准数据，能够自动计算输出校准系数和拟合误差，提高了校准工作效率，对广大计量工作人员使用Excel数据处理有一定的参考意义。

关键词： 无人机技术   土地测绘   数据处理  

摘要： 信息技术支持下，无人机航测技术得以快速发展。目前，该项技术因成本低、效率高与操作简便等特点，在很多领域中广泛应用。土地测绘方面应用无人机航测技术，不仅可以确保测量信息精度与准确度，还能有效缩减作业成本，提升测绘效率。基于此，文章对无人机航测技术进行介绍，并深入探讨其在土地测绘中的应用，旨在助推工程测量领域进一步发展。

关键词： 增材制造   多信息   场驱动   数据处理   建模   切片   工艺规划  

摘要： 随着增材制造技术从轮廓建模到功能建模的发展,材料、结构、工艺和性能等异构信息梯度分布的多功能零件在先进制造领域展现出广阔应用前景。多信息增材制造可将合适的材料、结构、工艺参数配置在合适的位置以实现零件不同区域的性能及功能调控。然而,传统增材制造建模与数据处理由面片模型驱动,存在内部信息缺失的固有缺陷,难以满足多信息增材制造需求。目前多信息增材制造建模与数据处理存在3个难题:(1)多信息一体化表达与模型构建难;(2)复杂多信息模型高效离散切片难;(3)自适应变参数定域定量工艺规划难。针对上述问题,本文提出场驱动思想,即将表示几何外形的面片、表示仿真结果的点云、表示设计需求的数学表达式等异构数据源统一转换为场来驱动异构信息的一体化建模、切片及规划,并开展如下研究: (1)建立了多信息增材制造的场驱动理论基础。提出了场驱动建模与数据处理范式并解释相关概念,构建了兼容异构数据源与异构信息的多信息增材制造数字模型,并基于此研究了覆盖3D-2D-1D全维度的多信息模型离散解析策略。将场驱动范式与现存路线进行比较,阐明了其在多信息建模-切片-规划过程中的可行性。 (2)研究了场驱动多信息一体化建模方法。基于场驱动范式,研究场的耦合运算操作,提出了一种多信息建模方法,进一步地以功能梯度结构为切入点细化场驱动点阵结构建模算法,构建了典型多信息数字模型和功能梯度点阵结构并进行测试。结果表明,场驱动建模对比体素模型存储数据量缩减超过80%;仿真应力场指导构建的二级梯度点阵结构在相近体积分数下,抗压强度比原始结构提升94%,比均匀点阵结构提升69%,同时隔热和冷却性能略有改善,验证了场驱动建模的有效性。 (3)研究了场驱动复杂多信息模型高效切片方法。对于几何场,跳过传统路线面片重建及布尔运算阶段,开发了快速生成轮廓的直接切片算法;对于其他属性场,提出了多信息切片算法以在降维离散过程中尽可能准确传递信息,支撑后续工艺规划。在不同复杂度模型上测试,结果表明直接切片比Magics软件采用的传统路线节省近90%的时间;基于表达式的多信息切片实现了属性自定义及解析,可扩展性好。 (4)研究了场驱动能量调控工艺规划方法。以金属粉末床熔融工艺为例建立多场耦合能量调控模型,通过卷积计算能量影响因子场以生成变参数加工指令,实现前馈的能量调控工艺规划。在有多种悬垂角度的块体和点阵模型上测试,结果表明能量调控工艺规划可有效改善成形过程中的热量积累,变参数打印以较好质量成形了单参数打印会翘曲的30°悬垂面;能量调控后打印点阵的表面偏差中位数从0.102mm降低到0.019 mm,表现出更优异的力学性能,证明了场驱动工艺规划的实用性。 最终整合上述研究内容开发了全新的场驱动建模与数据处理软件平台,基于该软件构建了一批典型的多信息数字模型,并采用多种增材制造工艺进行验证,为材料-结构-工艺-性能一体化增材制造奠定重要的理论和实践基础。

关键词： 向量化指令   列式存储   执行引擎   轻量化压缩   性能优化  

摘要： 随着互联网的迅速发展,数据量呈现出爆发式增长的趋势,这给数据处理系统的存储和计算带来了巨大的挑战。为了应对这些挑战,列式存储数据处理系统近年来开始在数据分析市场中占主导地位。相较于行式存储,列式存储可以更有效地压缩数据,降低数据的存储空间占用,而且在执行查询时可以只读取相关的列,通过降低读取数据量,从而提高查询执行效率。为了实现实时或者近实时数据处理的需求,当前数据处理系统采用多种优化方式,包括将数据全部存储在内存中和使用向量化优化。列式存储天然适合向量化优化,因为内存中连续存储的是相同类型的数据,利用向量化指令可以并行地处理多个数据,实现更高的吞吐量和更低的响应时延。但是目前的向量化优化方法存在以下三个问题:(1)当前向量化优化方法没有充分利用处理器的计算资源。因为当前向量化实现方式在查询执行过程中标量单元只是用来进行执行流程的控制,基本不参与运算。(2)在非时序数值型数据分析场景中,随着处理器核心数量的增加和向量化指令的变宽,计算不再是扫描算子的性能瓶颈,内存带宽逐渐成为扫描的主要瓶颈,现有的方法是通过压缩数据来缓解内存带宽压力。现有解决方法一类是需要完全解压缩数据,解压缩开销的引入降低了系统的整体性能;另一类不需要完全解压缩数据,但是却没有充分压缩数据,浪费了存储空间和内存带宽。(3)在边云协同的时序数值型数据分析场景中,为了降低数据传输的开销与网络带宽的压力,通常将数据压缩之后再进行传输。但是在云端数据中心分析数据时需要对数据解压缩之后才可以进行分析,而这些分析操作的计算都很轻量化,解压缩的开销比分析操作本身的开销还要高。 为解决以上三个问题,本文结合处理器微体系结构的特点与不同类型数值数据的特征进行列式存储内存数据处理系统的性能优化,主要研究内容和贡献总结如下: (1)向量化指令和标量指令混合执行框架:传统的利用向量化指令优化数据处理系统的方法关注于使用更多的向量化指令和更加有效地使用向量化指令,但是这种方式忽视了标量单元。为了充分的利用处理器的资源,本文提出了向量化指令和标量指令混合执行的概念。通过向量化指令和标量指令的混合执行可以同时利用到处理器的向量化单元和标量单元,可以实现更高的指令级并行,更加充分的利用处理器的资源,从而实现更高的吞吐和更低的响应时延。为了降低在现有数据处理系统中引入混合执行的开销,通过引入代码生成技术和自动化测试,避免了大量的开发和测试工作。最后,在开源数据集Star Scheme Benchmark(SSB)上通过实验验证了混合执行方法的有效性。 (2)结合非时序数值型数据特征和低精度向量化指令的数据处理优化:目前处理器的核心数量越来越多,向量化指令越来越宽,在扫描操作中内存带宽往往会成为性能瓶颈。现有的解决办法没有在解压缩开销和数据压缩率之间取得很好的权衡。本文设计了 BitsBytes存储格式,将原本的数据切分为不同的字节片段和比特位片段,通过消除非必要比特位的存储,降低内存占用和数据传输开销。将低精度向量化指令和轻量化压缩算法相结合,不仅可以降低从内存中加载数据的数据量,还可以利用数据元素的部分比特位或者部分字节提前完成扫描,进而实现更高的吞吐和更低的时延。本文基于BitsBytes存储结构结合低精度向量化指令实现定制化执行引擎BExecutor,可以在部分解压缩数据的情况上完成数据处理。与未压缩数据相比,BExecutor最高可实现6.5倍的性能提升,与ByteSlice相比,BExecutor最高可实现1.8倍的性能提升。 (3)结合时序数据特征和低精度向量化指令的边云协同数据处理优化边云协同的时序数据处理系统会将数据压缩之后再进行传输,但是在处理数据时需要解压缩数据。在数据处理过程中,操作往往都很轻量化,数据解压缩的开销往往比数据分析本身的开销更高。为了降低数据解压缩的开销,本文结合时序数据的特征提出了一种新型的压缩数据存储结构,称之为ByteZipper。并且,结合低精度向量化指令设计并实现了定制化的面向压缩数据的向量化执行引擎ByteExecutor,可以在不解压缩ByteZipper格式的基础上直接处理数据。实验结果表明,与GDBP(Group Delta Bitpacking)相比,可以实现9.6倍的分析性能提升,与DeltaVector相比,可以在实现相同分析性能的情况下获得更高的压缩率。 综上所述,本文首先结合处理器微架构的特征在数据处理系统中实现了向量化指令和标量指令的混合执行。随后,本文结合非时序和时序数值数据的特点,分别设计了两种不同的压缩存储结构,并且利用低精度向量化指令实现了对应的执行引擎,可以有效提高数据压缩率的同时实现低成本的数据解压缩。通过结合处理器微架构特征和不同的数据特征,本文对列式存储内存数据处理系统的性能进行了优化。

关键词： 实验设计   数据处理   课程改革  

摘要： 实验设计与数据分析是研究合理安排实验和系统数据分析的学科。随着学术型硕士研究生招生规模的逐年扩大及研究型课题数量的增多，研究生成为项目实施主体呈现发展趋势。实验设计与数据分析课程学习有助于提升研究生的项目实施过程实验设计分析能力。因此，结合能源与环境学科特点开展课程改革和实践势在必行。本文从实践能力培养入手，在梳理实验设计与数据分析课程内容基础上，分析了现阶段本课程教学过程中存在的不足，重点从课堂教学、课程思政、过程考核，以及上机实践等方面进行了探索和实践。在教育部改进和加强研究生课程建设的大背景下，以提升研究生实践动手能力为支点，通过实验设计与数据分析课程的改革与创新，实现研究生独立实验设计和研究能力的提升。

摘要： 随着环保要求的日益严格和发动机效率的不断提高，内燃机行业发展面临着前所未有的挑战。数值模拟技术为内燃机性能分析提供了精确的参考数据，可提高试验数据处理与分析效率，有助于内燃机性能的优化设计，从而使得发动机满足日益严格的排放标准。

关键词： 机器学习   分布式计算   变源分类   数据处理  

摘要： 天文信息学是一个以计算和信息技术为基础,专注于处理、分析和理解天文学数据的交叉学科。近年来,随着天文观测项目的增加和观测设备数据采集能力的迅速提升,各个波段的天文数据量呈现爆炸性增长趋势。这使得天文信息学在“大数据”时代崭露头角,成为备受关注的研究领域。在这个领域中,变源分类作为时域巡天观测的关键环节,受到广泛关注,然而,传统的人工分类方法在面对如此海量的天文数据时,已经无法满足高效处理的需求。 我国的大型科学装置,郭守敬望远镜(The Large Sky Area Multi-Object Fiber Spectroscopic Telescope,LAMOST),历经十一年的先导巡天和正式巡天,已经累积了大量低分辨率和部分中分辨率的光谱数据。然而,这些数据缺乏与变源相关的信息,制约了使用LAMOST数据进行科学研究。 本课题以LAMOST变源识别与分类为核心研究目标,基于分布式架构的数据处理方法和机器学习进行变源的识别和分类,主要工作包括以下几个方面: (1)构建可靠的变源分类样本集:机器学习模型的性能依赖于标注准确的数据集,本研究通过调研,首先将ZTF DR2周期性变源星表和ASAS-SN周期性变源星表进行交叉比对,保留相同标签的样本,以确保标签的准确性。然后和ZTF DR11交叉匹配获得这些变源的光变曲线数据并从中提取特征。光变曲线记录了天体亮度随时间变化的重要信息,对于变源分类至关重要。之后和GAIA,2MASS,ALLWISE等天文数据库交叉匹配获得精确的测光参数,并使用消光改正对测光参数进行改正,最终构建了一个包含35972个周期性变源的可靠样本集,涵盖了10个不同的变源类别。 (2)基于Slurm作业调度系统和Dask分布式并行框架加速海量天文数据处理:海量天文数据处理中,光变曲线的存储和特征计算对资源的需求极大,传统单机计算难以应对。为此,本研究结合了Slurm作业调度系统和Dask分布式并行框架。Slurm作为集群作业调度系统,动态分配和管理资源,确保计算任务顺利进行。Dask则提供了构建并行计算任务的便捷API,通过与Slurm的集成,Dask可以充分利用Slurm分配的计算资源,实现并行计算的高效执行。该集群采用负载均衡的调度策略,确保任务能够均匀分配到多个计算节点上并行执行,从而显著提升大规模数据处理和并行计算任务的效率。 (3)基于统计建模方法和机器学习进行变源的识别与分类研究:首先,运用统计建模方法对LAMOST DR9的变源进行初步识别。接着,采用GLS周期图筛选出具有显著周期性的变源,从而得到LAMOST DR9的周期性变源候选体。随后,结合随机森林、XGBoost和Light GBM三种机器学习模型,利用先前构建的变源分类样本集,搭建高效的变源分类模型。实验证明,Light GBM和XGBoost两种集成学习算法在分类任务中表现卓越,达到了94%的准确率。最后,将这两个模型应用于LAMOST恒星变源候选体星表的类别预测,并通过与已发表的周期性变源星表交叉匹配,验证了分类的准确性。最终,本研究成功为LAMOST DR9构建了一个包含176337个变源及其具体类型的星表,为后续的变源研究提供了可靠的数据支撑。总体而言,本研究成功搭建了一个可靠的变源识别和分类模型,并将其应用于LAMOST DR9数据集。由此得到的LAMOST周期性变源星表为后续数据分析和特殊天体搜寻提供了重要的数据支持。分布式计算框架的使用显著加速了数据处理过程,而机器学习方法的应用相较于传统人工识别,不仅大幅减少了人力投入,还从LAMOST中挖掘出了更多变源信息,为未来各类巡天项目中获得的大量变源数据提供了更为直接、高效的分类方式。

关键词： 数据处理者   数据抓取者   用户协议   滥用市场支配地位　　data processor   data scraper   user agreement   abuse dominant market position  

摘要： 在以数据为资源的信息产业中，数据处理者可以利用自由订立和执行生效用户协议的权利来控制他人对数据的获取和使用，数据处理者的上述行为存在损害市场竞争的可能。因此，可以考虑运用反垄断法中的滥用市场支配地位制度对此类行为予以规制。对数据处理者滥用用户协议行为的规制主要应从以下几个方面入手：从竞争效果方面考虑数据处理者是否具有市场支配地位；从数据处理者设置用户协议的行为是否破坏了互联网所倡导的“互联互通”、阻碍数据信息的自由流通，数据处理者所控制的数据开放与否能不能直接影响下游市场、妨碍创新市场的发展、损害消费者福利，数据处理者设置用户协议内容是否具有合理性等方面考虑数据处理者是否滥用其享有的市场支配地位，并在此基础上确定数据处理者的法律责任。