关键词： 温度计量   CTD   Excel   数据处理  

摘要： CTD校准中需要处理的数据比较多，工作量较大，利用Excel软件数据处理和分析功能，可以快速准确得到校准结果。文章简述了一种利用Excel函数公式处理CTD校准数据，能够自动计算输出校准系数和拟合误差，提高了校准工作效率，对广大计量工作人员使用Excel数据处理有一定的参考意义。

关键词： 增材制造   多信息   场驱动   数据处理   建模   切片   工艺规划  

摘要： 随着增材制造技术从轮廓建模到功能建模的发展,材料、结构、工艺和性能等异构信息梯度分布的多功能零件在先进制造领域展现出广阔应用前景。多信息增材制造可将合适的材料、结构、工艺参数配置在合适的位置以实现零件不同区域的性能及功能调控。然而,传统增材制造建模与数据处理由面片模型驱动,存在内部信息缺失的固有缺陷,难以满足多信息增材制造需求。目前多信息增材制造建模与数据处理存在3个难题:(1)多信息一体化表达与模型构建难;(2)复杂多信息模型高效离散切片难;(3)自适应变参数定域定量工艺规划难。针对上述问题,本文提出场驱动思想,即将表示几何外形的面片、表示仿真结果的点云、表示设计需求的数学表达式等异构数据源统一转换为场来驱动异构信息的一体化建模、切片及规划,并开展如下研究: (1)建立了多信息增材制造的场驱动理论基础。提出了场驱动建模与数据处理范式并解释相关概念,构建了兼容异构数据源与异构信息的多信息增材制造数字模型,并基于此研究了覆盖3D-2D-1D全维度的多信息模型离散解析策略。将场驱动范式与现存路线进行比较,阐明了其在多信息建模-切片-规划过程中的可行性。 (2)研究了场驱动多信息一体化建模方法。基于场驱动范式,研究场的耦合运算操作,提出了一种多信息建模方法,进一步地以功能梯度结构为切入点细化场驱动点阵结构建模算法,构建了典型多信息数字模型和功能梯度点阵结构并进行测试。结果表明,场驱动建模对比体素模型存储数据量缩减超过80%;仿真应力场指导构建的二级梯度点阵结构在相近体积分数下,抗压强度比原始结构提升94%,比均匀点阵结构提升69%,同时隔热和冷却性能略有改善,验证了场驱动建模的有效性。 (3)研究了场驱动复杂多信息模型高效切片方法。对于几何场,跳过传统路线面片重建及布尔运算阶段,开发了快速生成轮廓的直接切片算法;对于其他属性场,提出了多信息切片算法以在降维离散过程中尽可能准确传递信息,支撑后续工艺规划。在不同复杂度模型上测试,结果表明直接切片比Magics软件采用的传统路线节省近90%的时间;基于表达式的多信息切片实现了属性自定义及解析,可扩展性好。 (4)研究了场驱动能量调控工艺规划方法。以金属粉末床熔融工艺为例建立多场耦合能量调控模型,通过卷积计算能量影响因子场以生成变参数加工指令,实现前馈的能量调控工艺规划。在有多种悬垂角度的块体和点阵模型上测试,结果表明能量调控工艺规划可有效改善成形过程中的热量积累,变参数打印以较好质量成形了单参数打印会翘曲的30°悬垂面;能量调控后打印点阵的表面偏差中位数从0.102mm降低到0.019 mm,表现出更优异的力学性能,证明了场驱动工艺规划的实用性。 最终整合上述研究内容开发了全新的场驱动建模与数据处理软件平台,基于该软件构建了一批典型的多信息数字模型,并采用多种增材制造工艺进行验证,为材料-结构-工艺-性能一体化增材制造奠定重要的理论和实践基础。

关键词： 向量化指令   列式存储   执行引擎   轻量化压缩   性能优化  

摘要： 随着互联网的迅速发展,数据量呈现出爆发式增长的趋势,这给数据处理系统的存储和计算带来了巨大的挑战。为了应对这些挑战,列式存储数据处理系统近年来开始在数据分析市场中占主导地位。相较于行式存储,列式存储可以更有效地压缩数据,降低数据的存储空间占用,而且在执行查询时可以只读取相关的列,通过降低读取数据量,从而提高查询执行效率。为了实现实时或者近实时数据处理的需求,当前数据处理系统采用多种优化方式,包括将数据全部存储在内存中和使用向量化优化。列式存储天然适合向量化优化,因为内存中连续存储的是相同类型的数据,利用向量化指令可以并行地处理多个数据,实现更高的吞吐量和更低的响应时延。但是目前的向量化优化方法存在以下三个问题:(1)当前向量化优化方法没有充分利用处理器的计算资源。因为当前向量化实现方式在查询执行过程中标量单元只是用来进行执行流程的控制,基本不参与运算。(2)在非时序数值型数据分析场景中,随着处理器核心数量的增加和向量化指令的变宽,计算不再是扫描算子的性能瓶颈,内存带宽逐渐成为扫描的主要瓶颈,现有的方法是通过压缩数据来缓解内存带宽压力。现有解决方法一类是需要完全解压缩数据,解压缩开销的引入降低了系统的整体性能;另一类不需要完全解压缩数据,但是却没有充分压缩数据,浪费了存储空间和内存带宽。(3)在边云协同的时序数值型数据分析场景中,为了降低数据传输的开销与网络带宽的压力,通常将数据压缩之后再进行传输。但是在云端数据中心分析数据时需要对数据解压缩之后才可以进行分析,而这些分析操作的计算都很轻量化,解压缩的开销比分析操作本身的开销还要高。 为解决以上三个问题,本文结合处理器微体系结构的特点与不同类型数值数据的特征进行列式存储内存数据处理系统的性能优化,主要研究内容和贡献总结如下: (1)向量化指令和标量指令混合执行框架:传统的利用向量化指令优化数据处理系统的方法关注于使用更多的向量化指令和更加有效地使用向量化指令,但是这种方式忽视了标量单元。为了充分的利用处理器的资源,本文提出了向量化指令和标量指令混合执行的概念。通过向量化指令和标量指令的混合执行可以同时利用到处理器的向量化单元和标量单元,可以实现更高的指令级并行,更加充分的利用处理器的资源,从而实现更高的吞吐和更低的响应时延。为了降低在现有数据处理系统中引入混合执行的开销,通过引入代码生成技术和自动化测试,避免了大量的开发和测试工作。最后,在开源数据集Star Scheme Benchmark(SSB)上通过实验验证了混合执行方法的有效性。 (2)结合非时序数值型数据特征和低精度向量化指令的数据处理优化:目前处理器的核心数量越来越多,向量化指令越来越宽,在扫描操作中内存带宽往往会成为性能瓶颈。现有的解决办法没有在解压缩开销和数据压缩率之间取得很好的权衡。本文设计了 BitsBytes存储格式,将原本的数据切分为不同的字节片段和比特位片段,通过消除非必要比特位的存储,降低内存占用和数据传输开销。将低精度向量化指令和轻量化压缩算法相结合,不仅可以降低从内存中加载数据的数据量,还可以利用数据元素的部分比特位或者部分字节提前完成扫描,进而实现更高的吞吐和更低的时延。本文基于BitsBytes存储结构结合低精度向量化指令实现定制化执行引擎BExecutor,可以在部分解压缩数据的情况上完成数据处理。与未压缩数据相比,BExecutor最高可实现6.5倍的性能提升,与ByteSlice相比,BExecutor最高可实现1.8倍的性能提升。 (3)结合时序数据特征和低精度向量化指令的边云协同数据处理优化边云协同的时序数据处理系统会将数据压缩之后再进行传输,但是在处理数据时需要解压缩数据。在数据处理过程中,操作往往都很轻量化,数据解压缩的开销往往比数据分析本身的开销更高。为了降低数据解压缩的开销,本文结合时序数据的特征提出了一种新型的压缩数据存储结构,称之为ByteZipper。并且,结合低精度向量化指令设计并实现了定制化的面向压缩数据的向量化执行引擎ByteExecutor,可以在不解压缩ByteZipper格式的基础上直接处理数据。实验结果表明,与GDBP(Group Delta Bitpacking)相比,可以实现9.6倍的分析性能提升,与DeltaVector相比,可以在实现相同分析性能的情况下获得更高的压缩率。 综上所述,本文首先结合处理器微架构的特征在数据处理系统中实现了向量化指令和标量指令的混合执行。随后,本文结合非时序和时序数值数据的特点,分别设计了两种不同的压缩存储结构,并且利用低精度向量化指令实现了对应的执行引擎,可以有效提高数据压缩率的同时实现低成本的数据解压缩。通过结合处理器微架构特征和不同的数据特征,本文对列式存储内存数据处理系统的性能进行了优化。

关键词： 实验设计   数据处理   课程改革  

摘要： 实验设计与数据分析是研究合理安排实验和系统数据分析的学科。随着学术型硕士研究生招生规模的逐年扩大及研究型课题数量的增多，研究生成为项目实施主体呈现发展趋势。实验设计与数据分析课程学习有助于提升研究生的项目实施过程实验设计分析能力。因此，结合能源与环境学科特点开展课程改革和实践势在必行。本文从实践能力培养入手，在梳理实验设计与数据分析课程内容基础上，分析了现阶段本课程教学过程中存在的不足，重点从课堂教学、课程思政、过程考核，以及上机实践等方面进行了探索和实践。在教育部改进和加强研究生课程建设的大背景下，以提升研究生实践动手能力为支点，通过实验设计与数据分析课程的改革与创新，实现研究生独立实验设计和研究能力的提升。

关键词： 机器学习   分布式计算   变源分类   数据处理  

摘要： 天文信息学是一个以计算和信息技术为基础,专注于处理、分析和理解天文学数据的交叉学科。近年来,随着天文观测项目的增加和观测设备数据采集能力的迅速提升,各个波段的天文数据量呈现爆炸性增长趋势。这使得天文信息学在“大数据”时代崭露头角,成为备受关注的研究领域。在这个领域中,变源分类作为时域巡天观测的关键环节,受到广泛关注,然而,传统的人工分类方法在面对如此海量的天文数据时,已经无法满足高效处理的需求。 我国的大型科学装置,郭守敬望远镜(The Large Sky Area Multi-Object Fiber Spectroscopic Telescope,LAMOST),历经十一年的先导巡天和正式巡天,已经累积了大量低分辨率和部分中分辨率的光谱数据。然而,这些数据缺乏与变源相关的信息,制约了使用LAMOST数据进行科学研究。 本课题以LAMOST变源识别与分类为核心研究目标,基于分布式架构的数据处理方法和机器学习进行变源的识别和分类,主要工作包括以下几个方面: (1)构建可靠的变源分类样本集:机器学习模型的性能依赖于标注准确的数据集,本研究通过调研,首先将ZTF DR2周期性变源星表和ASAS-SN周期性变源星表进行交叉比对,保留相同标签的样本,以确保标签的准确性。然后和ZTF DR11交叉匹配获得这些变源的光变曲线数据并从中提取特征。光变曲线记录了天体亮度随时间变化的重要信息,对于变源分类至关重要。之后和GAIA,2MASS,ALLWISE等天文数据库交叉匹配获得精确的测光参数,并使用消光改正对测光参数进行改正,最终构建了一个包含35972个周期性变源的可靠样本集,涵盖了10个不同的变源类别。 (2)基于Slurm作业调度系统和Dask分布式并行框架加速海量天文数据处理:海量天文数据处理中,光变曲线的存储和特征计算对资源的需求极大,传统单机计算难以应对。为此,本研究结合了Slurm作业调度系统和Dask分布式并行框架。Slurm作为集群作业调度系统,动态分配和管理资源,确保计算任务顺利进行。Dask则提供了构建并行计算任务的便捷API,通过与Slurm的集成,Dask可以充分利用Slurm分配的计算资源,实现并行计算的高效执行。该集群采用负载均衡的调度策略,确保任务能够均匀分配到多个计算节点上并行执行,从而显著提升大规模数据处理和并行计算任务的效率。 (3)基于统计建模方法和机器学习进行变源的识别与分类研究:首先,运用统计建模方法对LAMOST DR9的变源进行初步识别。接着,采用GLS周期图筛选出具有显著周期性的变源,从而得到LAMOST DR9的周期性变源候选体。随后,结合随机森林、XGBoost和Light GBM三种机器学习模型,利用先前构建的变源分类样本集,搭建高效的变源分类模型。实验证明,Light GBM和XGBoost两种集成学习算法在分类任务中表现卓越,达到了94%的准确率。最后,将这两个模型应用于LAMOST恒星变源候选体星表的类别预测,并通过与已发表的周期性变源星表交叉匹配,验证了分类的准确性。最终,本研究成功为LAMOST DR9构建了一个包含176337个变源及其具体类型的星表,为后续的变源研究提供了可靠的数据支撑。总体而言,本研究成功搭建了一个可靠的变源识别和分类模型,并将其应用于LAMOST DR9数据集。由此得到的LAMOST周期性变源星表为后续数据分析和特殊天体搜寻提供了重要的数据支持。分布式计算框架的使用显著加速了数据处理过程,而机器学习方法的应用相较于传统人工识别,不仅大幅减少了人力投入,还从LAMOST中挖掘出了更多变源信息,为未来各类巡天项目中获得的大量变源数据提供了更为直接、高效的分类方式。

关键词： 数据处理者   数据抓取者   用户协议   滥用市场支配地位　　data processor   data scraper   user agreement   abuse dominant market position  

摘要： 在以数据为资源的信息产业中，数据处理者可以利用自由订立和执行生效用户协议的权利来控制他人对数据的获取和使用，数据处理者的上述行为存在损害市场竞争的可能。因此，可以考虑运用反垄断法中的滥用市场支配地位制度对此类行为予以规制。对数据处理者滥用用户协议行为的规制主要应从以下几个方面入手：从竞争效果方面考虑数据处理者是否具有市场支配地位；从数据处理者设置用户协议的行为是否破坏了互联网所倡导的“互联互通”、阻碍数据信息的自由流通，数据处理者所控制的数据开放与否能不能直接影响下游市场、妨碍创新市场的发展、损害消费者福利，数据处理者设置用户协议内容是否具有合理性等方面考虑数据处理者是否滥用其享有的市场支配地位，并在此基础上确定数据处理者的法律责任。

关键词： 射电天文   无线电干扰   实时监测   数据处理   站址选择  

摘要： 电磁环境对射电天文观测有着极大的影响,长期有效的电磁环境监测与评估是射电天文观测选址的必要前提。此外,精确掌握已建成站址周边电磁环境状态,对于提升天文观测效率也具有重要指导意义。 论文针对射电天文望远镜典型台址电磁环境监测技术开展研究,分析了监测系统校准方法、RFI(Radio-Frequency Interference,RFI)监测方法以及瞬时信号捕获方法等存在的困难,结合应用实际确定了基于冷热负载法的观测系统校准方案,并采用快速模式与最大采样模式相结合的测量方法,实现了电磁环境RFI数据的快速准确地获取;针对监测数据分析方法开展研究,提出了一种基于可变阈值算法和绝对中位数偏差改进阈值算法的信号分析方法,实现噪声与信号的精准分离,以及信号方位、强度、出现的时间等信息的准确记录;设计了一种用于典型台址电磁环境长期监测的软硬件系统,开发了控制软件,通过实验室测试,验证了系统的可用性;最后,针对广东省广州市白云区帽峰山以及清远市阳山县杜步镇这两个预选台址的电磁环境进行了长时间监测与数据分析,证明两个预选台址电磁环境良好的同时,验证了所提出方法有效性,为后续射电望远镜的建设以及接收机的设计和电磁干扰的抑制提供了参考。

关键词： 云会计技术   传统财务预算管理体系   数据处理  

摘要： 本文旨在深入探讨云会计技术如何改变传统财务预算管理体系，分析了传统财务预算管理体系的局限性，包括数据处理效率较低、信息共享与协同困难、决策支持不足以及安全性与合规性挑战，详细阐述了云会计技术如何针对这些问题进行改进与创新。通过云会计技术的应用，可以显著提高数据处理效率与准确性，促进信息实时共享与协同工作，强化决策支持与风险管理能力，并保障信息安全与合规性要求。这些改进与创新不仅有助于提升财务预算管理的整体水平，还能为企业创造更大的价值。

关键词： 分布式   空管   监视数据处理   空管信息化   信息系统  

摘要： 空中交通管理是国家综合交通运输体系的重要组成部分,是保障航空事业发展的重要基础。监视数据处理系统是各类空管信息化业务的核心功能系统及实施管理决策的基础,负责空中交通管制的人员必须通过监视数据处理掌握空中的实时态势。低空通航和无人机技术产业的高速发展,为传统空管监视系统提出了新的要求:必须适应大规模、高密度、无序的飞行监视处理能力要求,综合雷达、ADS-B、卫星定位、4G/5G位置共享等不同监视技术的数据,从所有可用信息中生成精确、可靠的空中飞行态势数据。 针对上述问题,本文围绕空管监视数据处理业务场景开展了分布式空管监视数据处理系统研究,主要工作如下: 1.对空管监视数据处理的关键技术进行了分析研究,包括监视数据关联算法、监视数据融合算法、目标状态估计算法、分布式负载均衡算法等,对各算法类别的典型算法在本文涉及的分布式空管监视数据处理场景下的适用性进行了分析和研究,并提出了针对性的改进方法。 2.对分布式空管监视数据处理系统研究进行设计和实现。从系统结构、功能结构、数据接口、数据流程等角度,开展了系统的总体设计;对各功能模块进行了编程实现和集成;对核心功能和关键指标进行了测试。给出了分布式空管监视数据处理系统的设计和实现说明,可以为在具体业务场景下的针对性设计、实现和改进提供参考。 系统开发完成后已在低空运行监视数据处理、低空广域无人机监视数据处理、无人装备竞赛监视数据处理等实际业务场景下进行应用,目标航迹连续、系统运行稳定,在不同业务场景下都提供了可靠的监视数据处理能力。

关键词： 光子计数   星载激光雷达   误差分析   距离窗   噪声去除   交叉点   检校   条带平差  

摘要： 星载激光雷达作为对地观测系统中新兴的信息获取与处理技术,是一种可直接获取地面目标三维坐标的主动式遥感监测手段,也是目前所有遥感探测手段中获取绝对高程精度最高的技术。2018年末美国发射的ICESat-2卫星上搭载了全球首颗星载多波束光子计数激光雷达系统ATLAS(Advanced Topographic Laser Altimeter System)。该系统在探测效率、测量精度和穿透能力等方面均展现了前所未有的性能,获取的光子数据已在冰冻圈、生态圈、岩石圈、水圈和大气圈等全球性系统研究中发挥了关键作用。 目前,我国已成功发射了多颗携带有线性体制激光雷达系统的卫星,对于采用光子计数的新体制星载激光雷达系统还处于研发和测试阶段。因此,本文着眼于未来国产新型星载激光雷达数据采集和质量控制需求,围绕星载多波束光子计数激光雷达数据处理与误差补偿方法展开研究,在光子点云误差数值分析、星上预处理、误差检校和联合平差等方面进行了理论探索与应用实践。论文主要研究内容与取得的成果如下: (1)针对星载光子计数激光雷达探测新技术和数据新特性,研究了其先进的系统设计和数据处理理论。在概述星载光子计数激光雷达测量原理的基础上,对ICESat-2/ATLAS的系统配置、技术参数和数据特点进行了详细介绍。然后构建了光子坐标严密定位模型以及高精度解算流程,并重点对光子数据的误差因素进行了数值分析和总结,为后续数据处理和误差修正研究提供了理论基础。 (2)针对探测数据中噪声光子过多严重影响硬件存储和传输的问题,建立了一套光子点云星上预处理算法框架。首先通过足印指向定位模型和先验全球地形数据生成光子点云接收距离窗;然后基于光子空间分布密度差异实现了噪声光子的在轨压缩处理,并进一步利用置信度分级算法提取了潜在信号光子。通过使用全球不同区域的ICESat-2数据进行模拟验证,结果表明噪声光子的平均压缩率可达36.1倍,能够满足光子数据的在轨处理要求。 (3)针对光子数据高程性能存在不确定性的问题,提出了一种基于轨迹交叉点的误差评估和校正方法。首先依据光子计数激光雷达的高重频特性构建了适用于光子数据的交叉点计算方法;然后推导了用于估计光子数据高程系统误差的交叉点平差模型。通过结合ICESat-2实测数据进行验证,结果表明交叉点不符值能够有效映射光子数据高程误差的时空变化特征,不同波束光子数据高程系统误差的标准差为0.09m。所提方法在无需依赖外部参考数据的情况下,可全面评估长时序光子数据高程性能的稳定性。 (4)针对光子数据水平定位误差较大的问题,提出了采用交叉点匹配方法进行误差分析和校准。在深入分析水平误差校正方法理论的基础上,重点对交叉点匹配算法的理论模型进行了推导,并结合ICESat-2实测数据验证所提方法的有效性。试验结果表明ICESat-2的水平定位误差为4.62m至5.62m,校准水平误差后光子数据的高程精度得到进一步改善,约0.22m。所提方法为广域星载光子数据水平误差的精细校准提供了新的技术途径。 (5)针对多个光子条带数据间精度不一致的问题,探索了一种轨迹同名交叉特征约束的光子数据条带平差方法。首先构建了同名交叉点识别策略,对光子条带点云进行精确匹配;然后根据所需参数差异分别建立了传感器驱动和数据驱动两种条带平差模型。基于ICESat-2实测数据的验证试验表明:条带平差方法可提高光子数据的相对精度,不符值降低了约40%,结合外部参考数据也可同步改善绝对精度,幅度约为0.15m。所提方法为生成区域或全球精度一致的数据产品提供了技术参考。