关键词： 统计与概率   数据处理   概率初步   案例分析   统计思想  

摘要： 当今社会,信息技术正以较快的速度不断发展,人们在平常的社会生活、生产实践和科学研究中会产生大量的数据,处在这样的环境中,是否会对数据进行合理的处理就显得十分重要。同时,在科研、生产和生活中,类似天气和气温的阴晴冷暖、股票的涨跌情况和疫苗的有效与否等这样的随机现象也是无处不在,概率领域关于科学地预测上述现象出现的可能性大小也是现在我们学习和科研的重点方面。因此,“统计与概率”领域是数学研究领域内关于学生学习和教师教学的一个重点领域。国家对初中阶段“统计与概率”领域的教学要求越来越高,对此展开的教育教学研究也逐渐成为一个热点。以笔者所在的厦门市为例,“统计与概率”领域的教与学经常结合当今热点“数学阅读”对统计观念、概率本质理解和数据处理的能力的教与学提出更高的要求。本课题通过对“统计与概率”领域的课标和对应学段不同版本的教材进行解读,对国内外的研究现状进行检索学习,从理论和实际两个层面深度了解到当下该领域教与学存在由于过程繁琐和考试分值占比小从而简化教学组织过程的问题,这就造成了学生在学习过程中缺失关键概念的本质理解和能力发展的机会,同时通过查阅相关的文献资料总结出,当下国内外对“统计与概率”领域的教与学尝试进行了学段的延伸和教学过程中活动的丰富。在此基础上,笔者对自己所在学校“统计与概率”领域的教与学现状进行调查、对比分析和总结,发现本校目前本领域的教与学研究仍不够全面,指出同样存在由于过程繁琐和考试分值占比小从而简化教学组织过程的问题以及校本作业题目太老旧的问题,对学生很好地学习和教师对其进行检测本领域的重点内容来说是不太合适的。根据初中阶段“统计与概率”领域的主要内容,笔者选取了三个典型课题案例进行研究,从中了解到初中阶段的学生对“统计与概率”领域的教学方式所持有的学习态度与大致认知情况,包括该领域的教学对学生的数学能力产生的影响都是比较普通的。而笔者随后将案例实践研究分别应用于初中三个年级的数学课堂:“数据的收集、整理与描述”单元复习课、“从数据谈节水”专题学习课、“用频率估计概率”的概率初步课,分别进行教学设计案例分析,并结合教学实录体现的教与学的完成效果以及之前的理论研究基础,进行教学设计的调整、完善和实践,总结出一系列相应的教学建议和对策,为今后教师更有力地实施初中阶段“统计与概率”领域的课程提供方向。

关键词： 二维核磁共振测井   D-T2谱   反演   扩散编辑序列   数据处理  

摘要： D-T2二维核磁共振测井技术能够直观地区分不同类型、不同赋存状态的孔隙流体，在油气勘探中应用广泛。目前，，国内外学者提出了很多二维核磁共振反演方法，但大多止步于数值模拟，需要研究不同反演方法针对不同采集序列的测井数据的适用性，优选反演方法，为二维核磁共振测井数据处理的软件模块开发提供参考。本文者，对此问题，基于二维核磁共振测井原理，详细研究了TSVD、BRD、LM-模平滑和TIST-L1正则化反演方法，分别对油水模型、气水模型数值模拟得到的CPMG和DE序列的回波信号，进行反演结果精度和计算效率的对比研究。通过数值模拟，对比分析了TSVD、BRD、LM-模平滑和TIST-L1正则化四种反演方法的反演结果和计算耗时，并优选反演方法对MR Scanner仪器SP模式测井数据处理。结果表明，对于油水和气水两种模型的CPMG和DE序列回波信号，TIST-L1正则化方法精度最高，LM-模平滑方法略差，但耗时较少，更适合测井数据处理，该方法针对A25井的处理结果与Geolog软件相符，能够满足数据处理的需要。

关键词： 流数据处理系统   资源弹性管理   排队论   强化学习   参数调优  

摘要： 随着物联网和移动互联网的快速发展,大量智能终端开始接入网络,并持续产生着海量的流式数据。流数据处理是一种新兴的内存计算范式,它使用“到达即处理”策略来实时处理动态变化的数据流。流拓扑是由多个流数据处理节点相互连接构成的有向无环图,它代表了应用程序的流数据处理逻辑。虽然已有大量的分布式流数据处理系统被提出以简化流拓扑的开发工作,但却无法为流拓扑提供自动化的资源管理方法。面对流式数据负载的持续动态变化,在满足实时分析需求的前提下,如何让流拓扑尽量节省计算资源成为该领域的研究热点。 流拓扑一般由多个流数据处理节点构成。节点之间相互连接,存在错综复杂的依赖关系。针对某个节点的资源调整将会对其他节点产生直接或间接影响。如何针对节点间复杂的依赖关系进行建模,在资源分配时实现流拓扑整体性能的优化,成为资源弹性管理的重要挑战;当流拓扑被部署到生产环境后,环境状态会不断发生变化,容易导致静态的资源管理策略失效。如何适应环境变化以持续高效的管理流拓扑的计算资源也是资源弹性管理的挑战之一;流数据处理系统和资源弹性管理策略都为不同流拓扑提供了大量的可配置参数。流拓扑需要在负载场景下才能对这些参数进行有效调优。如何更高精度的捕获和还原流拓扑的负载场景,以及如何使用较少的计算资源完成流拓扑可配置参数的调优,也是资源弹性管理面临的挑战。 针对上文所述的诸多挑战,为了系统的解决面向流式大数据处理的资源弹性管理问题,本文分别研究了性能建模、自适应进化、负载模拟和参数优化等四个方面。具体的研究内容及贡献总结如下: (1)针对复杂流拓扑的性能建模问题,本文提出面向有限缓冲区流数据处理节点的排队论建模方法。流拓扑中每个数据处理节点的缓冲区都是有限的,缓冲区满时会阻塞上游节点,从而引入额外的性能代价,这是流拓扑性能建模时需要考虑的重要影响因素之一。在对流拓扑进行性能建模时,暂未发现有研究考虑过网络缓冲区对流拓扑性能的影响。为此,本文提出了扩展排队网络模型,为有限缓冲区的复杂流拓扑建立轻量化、高精度的性能模型,并基于该模型提出了两种面向不同性能指标的资源管理算法。 (2)针对环境变化引起的策略失效问题,本文提出基于多智能体深度强化学习的流拓扑资源弹性管理方法。当流拓扑被部署后,生产环境拥有复杂而不确定的状态变化。已有研究为流拓扑引入强化学习模型,使流拓扑可以通过学习来自适应环境的变化。然而当前研究仅针对独立的流数据处理节点引入强化学习模型,并未考虑节点间的协同合作关系。为此,本文使用完全协作的多智能体深度强化学习模型来控制流拓扑计算资源的实时调整。本文引入了多种协同模型,并对比并分析了不同模型的优劣,验证了多智能体强化学习算法的有效性。 (3)针对流拓扑负载场景的高精度捕获和还原问题,本文提出面向资源弹性管理的分布式负载模拟方法。在大数据背景下,当前研究中缺少大规模高精度的负载模拟方法,大量的资源弹性管理策略仅能使用小规模负载来评测弹性策略的有效性。为此,本文提出一种分布式负载模拟方法。该方法基于开源并行化框架具有良好的通用性,通过同步策略可实现更高精度的负载模拟,通过并行化的测试数据收集和分析可有效缩短评测时间。 (4)针对流拓扑大量参数的调优问题,本文提出基于计算时延模拟的参数优化方法。该方法是一种折衷真实环境与仿真环境的优化方法,通过容器技术来还原目标集群的配置环境,通过时延拓扑来模拟目标拓扑的资源消耗。该方法可以使用更少的计算资源来完成近似真实系统的参数优化。

关键词： 合肥光源   SciCat   实验数据   数据全生命周期管理   元数据目录   数据库   数据处理  

摘要： 合肥光源(Hefei Light Source,HLS-Ⅱ)作为面向国内外用户的大科学装置,其科学产出与用户的实验效率和数据处理效率密切相关。目前,HLS-Ⅱ现有的用户服务系统仅仅涉及用户认证、课题申请、专家审批、机时分配等实验流程,而在海量实验数据的管理上,还存在着数据资源分散存储、缺乏数据处理环境、无方便有效的交流共享途径等问题。在调研了国内外大科学装置实验数据管理平台建设现状的基础上,设计并开发了基于开源元数据目录框架SciCat的HLS-Ⅱ实验数据管理系统。通过实验流程及实验数据全生命周期统一管理,以有效提高用户的实验效率与数据处理效率,进而充分发挥HLS-Ⅱ的科学效益。基于SciCat的HLS-Ⅱ实验数据管理系统由数据采集服务、元数据系统、文件存储系统、数据处理平台构成。其中,数据采集服务针对不同实验站的具体情况进行定制开发。作为HLS-Ⅱ实验数据管理系统的核心组件,元数据系统在开源元数据目录框架SciCat的规范下开展设计和开发。在元数据系统中,扩展了元数据的条目,开发了基于消息队列Kafka实现的元数据摄入服务,并且接入了现有的用户服务系统。在文件存储系统中,采用HDF5作为实验数据存储的标准文件格式,通过MD5算法进行数据完整性校验,以及提供了远程文件下载服务。在数据处理方面,针对不同的实验数据处理场景开发了基于Web的交互式数据分析平台和基于OpenWhisk的数据预处理平台。该系统已在HLS-Ⅱ的软X射线成像实验站和软X射线磁性圆二色实验站进行部署和测试。测试结果表明,系统的各项功能均达到了预期的设计目标,并且系统的负载性能与安全性能也满足了实际需求。该系统结合现有的用户服务系统,能够实现涵盖用户认证、课题申请、专家审批、机时分配,以及数据采集、数据存储、数据处理、数据发布等实验流程及实验数据全生命周期的统一管理。

关键词： 织造车间   云边协同   数据采集   数据处理  

摘要： 受中美贸易战及新冠肺炎疫情的影响,我国纺织产业面临严峻挑战,国外订单锐减,疫情期间生产受阻,企业生产少人或无人化成为趋势,生产方式数字化转型迫在眉睫。我国纺织行业数字化进程虽然早在几年前就已开始,但目前仍存在由于织造设备多源异构,通信接口不统一,导致织造车间信息互通难度大,依靠传感器独立采集设备信息数据有限,车间管理功能单一等问题。针对上述问题,本文以兰溪市20多家织造企业生产车间为研究对象,深入分析多源异构设备通信状况和生产管理需求,提出了一种云边协同的数据采集与处理应用方案,研发了织造生产信息化管理系统,实现了织造车间全流程多种类型设备的数据采集与应用,并成功应用于多家纺织企业。主要完成工作概括如下:(1)分析中小型织造企业生产特征和生产管理需求,提出了一种面向织造车间的云边协同数据采集与处理总体方案,搭建了企业内部网络,并制定了边缘端和云计算端的通信标准、通信功能类型及安全交互机制。(2)研究设备通信方式及织造工艺流程,设计了三种不依赖传感器的数据采集方法,实现了异构织造设备的数据采集,构建了每种织造设备的通用数据属性模型,并根据数据属性特点设计了多种用于存储织造车间数据的分布式数据库集群。(3)结合织造生产数据研究大数据处理技术,提出了一种基于K均值算法改进的织机了机预测算法模型,通过算法求解各织机的了机预测时间帮助车间人员确定整条流水线的最佳排产策略,解决了现有织机了机时间主要依靠人工经验且难预测导致的排产不及时、不合理等问题。(4)针对企业的数字化转型需求,研发了运行在手机移动端及web端的应用软件,其中包含生产智能管理平台、织造生产监管看板、织造助手IOS客户端,实现了织造车间全流程设备监控与远程管理、报表统计、数据分析及生产优化等服务。经过在多家纺织企业织造车间内搭建本系统并进行长达6个月的试验,结果表明,该系统全面适应织造全流程多源异构设备的监控和管理,并为企业生产管理决策提供支持,实现了系统在企业稳定、高效运行,验证了系统的可行性,提高了织造车间生产效率,降低了企业对生产劳动力的依赖,提升了企业竞争力。

关键词： 自动化决策   合理分析义务   算法规制  

摘要： 以立法形式规定数据处理者的合理分析义务，是预防算法风险、推进算法规制的一条基本路径。基于元规制理念的合理分析义务设置，既是一种过程性规制，也是一种目的性规制。该义务要求数据处理者既应保证分析过程正当，还要确保分析结果合理。合理分析义务目前分散规定在我国个人信息保护法律体系中，按照自动化决策流程可将其类型化为三项内容：分析前的注意义务、分析过程中的控制义务、分析后的审查义务。合理分析义务的规范取向是防止算法歧视，公平对待公民个人或数据主体。数据处理者违反此种义务将面临行政责任和民事责任。当下主要的问责途径是惩治“大数据杀熟”“信息茧房”和“社会分选”现象。

关键词： 精密测量   相干测量   信号处理   点云数据处理  

摘要： 随着产品的高精度化,高精度制造和检测成为了必须解决的课题。管件内壁的状态对实际生产具有重大作用,内壁的裂痕、同轴度、圆柱度等误差关乎设备性能和操作安全。已成熟的管道内壁测量技术仅能获得管道内某截面的二维信息,无法测得管状工件的同轴度和圆柱度等误差,且测量结果不够直观。为了更加直观地展示测量结果,本文选用三维点云数据作为基本数据形式。为了得到高精度三维点云数据,本文建立了一套低相干干涉点云数据采集系统,研究了相应算法处理采集的点云数据,对处理完毕的点云数据进行曲面重建后得到了高精度内表面模型。首先,介绍了低相干干涉测距原理。总结了四类低相干干涉解调方法,对比各方法的优缺点,结合课题的解调需求,选用计算量较小的包络法进行解调。讨论了三种包络解调算法原理并仿真,对比三种算法的解调效果和解调精度,最终选择精度较高、计算量最小的Hilbert变换法作为课题的解调算法。其次,建立了一套低相干干涉点云数据采集系统。系统硬件由低相干光源、光纤耦合器、准直透镜、光电探测器、步进电机及其控制器、数据采集仪等组成。同时,为了处理采集系统所得到的高精度点云数据,编写了一个三维点云数据处理软件,研究三维点云的数据结构和文件格式,实现点云数据降噪滤波、配准、法向估算和降采样。再次,研究了相应算法处理采集系统采得的三维点云数据。吸收了半径滤波算法和点云均匀降采样算法,提出了基于体素栅格的主成分分析滤波算法和基于平面拟合的自适应栅格点云降采样算法,并在开源数据集上进行实验。实验结果证明,提出的滤波算法能够较好地处理随机噪声和表面噪声,降采样算法能够在较低的采样率下很好地保留点云数据的边缘特征。此外,引入了主轴偏离比和马氏距离的概念,完成了三维点云数据的配准和法向估算,与滤波算法和降采样算法一起,形成了完整的三维点云数据处理算法。最后,使用两个标准环规验证低相干干涉点云数据采集系统的精度,经过算法处理后得到了精度在20微米的内表面模型。使用该系统采集扩口管和阶梯管的内表面点云数据,实验结果表明,系统能够很好地处理圆柱和圆锥内表面,但无法完美处理内螺纹和阶梯孔。

关键词： 线结构光扫描   对缝测量   数据处理   特征识别   间隙测量   阶差测量  

摘要： 随着汽车、飞机等产品气动外形设计要求的不断提高,针对气动外形的对缝质量评价方法也需更高效与精确。传统评价方法采用二维测量方式,效率低,可重复性差。而三维线结构光测量因其非接触、精度高、抗干扰强等特点,广泛应用于数字化测量领域。然而扫描获取的点云数据通常没有拓扑结构,无法判断对缝类型,极大阻碍了对缝质量评价的数字化、自动化进程。因此,针对上述提出的问题,本文设计了基于线结构光的对缝扫描测量方案,实现了点云数据的获取及预处理;提出了基于高斯映射聚类的对缝类型自动评定方法,建立了对缝间隙阶差求解模型,并对自动评定功能进行了软件实现。具体研究内容如下:1)基于线结构光测量技术及点云滤波、去噪、分割算法,构建了对缝点云数据获取及预处理方案,定义并分析对缝类型结构特点,提出一种新的结合法向提取及高斯映射的对缝倒角识别方法。通过对高斯球上的数据进行聚类试验分析,得到阈值判定结果,从而实现对缝类型的自动评定过程。2)对不同对缝类型间隙阶差求解定义分析,改进平面拟合、边界点识别等特征提取方法,通过对提取特征法向夹角的定量分析,设计了适用于不同对缝类型的待测特征点识别方法,建立了对缝求解模型,实现了对缝间隙阶差的求解。3)开展基于对缝评定及求解的测量实验,采用对缝标准件为实验对象,通过设计软件实现了对缝自动评定的功能,对测量结果误差进行分析,并进行对比实验。基于自动评定的对缝间隙阶差测量实验表明:间隙测量误差不超过0.04 mm,阶差测量误差不超过0.03 mm,对比传统方式,其有效辅助了气动外形对缝质量评价工艺的自动化流程,增加了对缝分析直观程度,为后续外形设计精度的提升提供了数据支持。

关键词： 电力设备   基形变换   异常检测   多模态数据库  

摘要： 随着泛在电力物联网发展,电力设备也开始向智能化、信息化、自动化发展,电力设备在智能电网安全防护的重要性也日发凸显。传统电力设备信息化、数字化程度偏低,传感器、采集和传输设备受环境影响大,导致数据产生偏差,数据异常值种类繁多。设备异常数据的存在给电力系统状态估计和设备安全防护带来很大的难题。本文基于具体的电力设备监测数据的特征,研究数据预处理和分析技术,实现异常数据的清洗,还原电力设备本身运行真实状态,为电力设备安全防护提供决策依据。主要工作如下:针对电力设备的时序数据异常,设计数据采集和异常检测处理流程,包括数据特征归一化,模型训练评估;使用长短期记忆循环神经网络设计了长期、短期、甚至弱时间依赖性电力设备时间序列数据的异常检测算法;搭建电力设备监测实验平台,完成平台的通信和数据处理软件设计,验证了电力设备时间序列数据异常检测算法的有效性。基于配电网简化模型和设备相关性定义电力设备的电流负荷数据模型,通过基形变换和点弧变换分析相关性的变化,基于相关性检测数据异常并仿真验证。针对电力设备中存在的模拟量、数字量、开关量等多类型数据结构,构建多模态数据存储结构和数据库,完成电力设备多模态数据库操作的软件设计,通过设计逻辑线路表和设备节点表实现数据更改、删除、插入,通过相应的索引结构和字段特征存储不同模态的数据;设计具体的测试用例,完成数据库数据并行查询、存储、删除等功能验证,完成数据库系统大规模并发性操作时的性能测试。

关键词： 轴组式动态称重   EEMD   ADAMS   专家算法   波形补偿   数据处理  

摘要： 车辆的超限超载行为不但会破坏公路基础设施,而且还会损害民众的生命财产,严重影响了公共交通安全。长期以来,我国对于公路车辆的超限超载行为检测方式通常是在高速公路的入口设立超限检测站,并通过动态称重设备来对车辆进行超载行为的检测,但传统的动态称重设备往往存在着测量误差较大、轴型识别困难等问题。针对传统动态称重设备存在的弊端,本文提出了一种基于轴组秤的动态称重系统的设计方案,方案主要包括系统硬件的选型及设计、动态称重信号处理算法的设计及系统软件的设计。论文的主要内容如下:首先,结合传统称重设备的优点,设计了轴组式称重系统的硬件结构,系统的称重台面由一大一小秤台组成,选用体积较小的轴重秤作为副秤台,主秤台选用体积较大的轴组秤,其长度可容纳所测车辆的三联轴同时上秤,提高了测量精度和防作弊能力。同时完成了系统的硬件组成部分的选型和数据采集装置的硬件设计,实现了称重信号采集、A/D转换、数据传输等功能。其次,对比分析了动态称重常见滤波算法,采用EEMD算法对称重信号进行滤波,通过ADAMS软件对轴组式动态称重系统进行了仿真,并联合MATLAB平台验证了EEMD滤波算法的性能和在动态称重系统中应用的可行性;分析车辆轴重的数据分布特征,根据特征分析结果,设计了一种基于专家算法的车辆轴型识别算法,通过将所测车辆的轴数和轴重特征信息相结合匹配,实现了对车辆轴型的识别;针对轴组秤称重信号波形时序混乱的问题,设计了一种波形补偿的方法,使得称重信号波形工整易分析,降低计算复杂度,提高了系统的实时性。再次,完成了系统软件的设计,包括数据采集程序设计和上位机检测控制软件的设计。其中,检测控制软件使用C++语言和MFC类库在VS平台上进行了模块化的开发,完成了检测控制软件的监控抓拍、静态标定、数据存储等模块功能的设计与开发,并在软件中实现了滤波、轴型识别和波形补偿等软件算法。最后,对系统功能进行了测试。先通过建立独立的测试项目程序,对系统轴型识别算法的识别率进行了验证;随后选择较为常见的三种货车在某超限检测站进行了实际称量测试,并将三种车型在双秤台称重设备上进行相同次数的称量测试做为对比测试。最后的测试结果表明:轴型识别算法的识别率达到了97%;当车辆在低速状态通过秤台时,系统测量误差控制在了2%以内,相较于传统双秤台式动态称重设备的测量精度提升了1%左右。