关键词： 合肥光源   SciCat   实验数据   数据全生命周期管理   元数据目录   数据库   数据处理  

摘要： 合肥光源(Hefei Light Source,HLS-Ⅱ)作为面向国内外用户的大科学装置,其科学产出与用户的实验效率和数据处理效率密切相关。目前,HLS-Ⅱ现有的用户服务系统仅仅涉及用户认证、课题申请、专家审批、机时分配等实验流程,而在海量实验数据的管理上,还存在着数据资源分散存储、缺乏数据处理环境、无方便有效的交流共享途径等问题。在调研了国内外大科学装置实验数据管理平台建设现状的基础上,设计并开发了基于开源元数据目录框架SciCat的HLS-Ⅱ实验数据管理系统。通过实验流程及实验数据全生命周期统一管理,以有效提高用户的实验效率与数据处理效率,进而充分发挥HLS-Ⅱ的科学效益。基于SciCat的HLS-Ⅱ实验数据管理系统由数据采集服务、元数据系统、文件存储系统、数据处理平台构成。其中,数据采集服务针对不同实验站的具体情况进行定制开发。作为HLS-Ⅱ实验数据管理系统的核心组件,元数据系统在开源元数据目录框架SciCat的规范下开展设计和开发。在元数据系统中,扩展了元数据的条目,开发了基于消息队列Kafka实现的元数据摄入服务,并且接入了现有的用户服务系统。在文件存储系统中,采用HDF5作为实验数据存储的标准文件格式,通过MD5算法进行数据完整性校验,以及提供了远程文件下载服务。在数据处理方面,针对不同的实验数据处理场景开发了基于Web的交互式数据分析平台和基于OpenWhisk的数据预处理平台。该系统已在HLS-Ⅱ的软X射线成像实验站和软X射线磁性圆二色实验站进行部署和测试。测试结果表明,系统的各项功能均达到了预期的设计目标,并且系统的负载性能与安全性能也满足了实际需求。该系统结合现有的用户服务系统,能够实现涵盖用户认证、课题申请、专家审批、机时分配,以及数据采集、数据存储、数据处理、数据发布等实验流程及实验数据全生命周期的统一管理。

关键词： 流数据处理系统   资源弹性管理   排队论   强化学习   参数调优  

摘要： 随着物联网和移动互联网的快速发展,大量智能终端开始接入网络,并持续产生着海量的流式数据。流数据处理是一种新兴的内存计算范式,它使用“到达即处理”策略来实时处理动态变化的数据流。流拓扑是由多个流数据处理节点相互连接构成的有向无环图,它代表了应用程序的流数据处理逻辑。虽然已有大量的分布式流数据处理系统被提出以简化流拓扑的开发工作,但却无法为流拓扑提供自动化的资源管理方法。面对流式数据负载的持续动态变化,在满足实时分析需求的前提下,如何让流拓扑尽量节省计算资源成为该领域的研究热点。 流拓扑一般由多个流数据处理节点构成。节点之间相互连接,存在错综复杂的依赖关系。针对某个节点的资源调整将会对其他节点产生直接或间接影响。如何针对节点间复杂的依赖关系进行建模,在资源分配时实现流拓扑整体性能的优化,成为资源弹性管理的重要挑战;当流拓扑被部署到生产环境后,环境状态会不断发生变化,容易导致静态的资源管理策略失效。如何适应环境变化以持续高效的管理流拓扑的计算资源也是资源弹性管理的挑战之一;流数据处理系统和资源弹性管理策略都为不同流拓扑提供了大量的可配置参数。流拓扑需要在负载场景下才能对这些参数进行有效调优。如何更高精度的捕获和还原流拓扑的负载场景,以及如何使用较少的计算资源完成流拓扑可配置参数的调优,也是资源弹性管理面临的挑战。 针对上文所述的诸多挑战,为了系统的解决面向流式大数据处理的资源弹性管理问题,本文分别研究了性能建模、自适应进化、负载模拟和参数优化等四个方面。具体的研究内容及贡献总结如下: (1)针对复杂流拓扑的性能建模问题,本文提出面向有限缓冲区流数据处理节点的排队论建模方法。流拓扑中每个数据处理节点的缓冲区都是有限的,缓冲区满时会阻塞上游节点,从而引入额外的性能代价,这是流拓扑性能建模时需要考虑的重要影响因素之一。在对流拓扑进行性能建模时,暂未发现有研究考虑过网络缓冲区对流拓扑性能的影响。为此,本文提出了扩展排队网络模型,为有限缓冲区的复杂流拓扑建立轻量化、高精度的性能模型,并基于该模型提出了两种面向不同性能指标的资源管理算法。 (2)针对环境变化引起的策略失效问题,本文提出基于多智能体深度强化学习的流拓扑资源弹性管理方法。当流拓扑被部署后,生产环境拥有复杂而不确定的状态变化。已有研究为流拓扑引入强化学习模型,使流拓扑可以通过学习来自适应环境的变化。然而当前研究仅针对独立的流数据处理节点引入强化学习模型,并未考虑节点间的协同合作关系。为此,本文使用完全协作的多智能体深度强化学习模型来控制流拓扑计算资源的实时调整。本文引入了多种协同模型,并对比并分析了不同模型的优劣,验证了多智能体强化学习算法的有效性。 (3)针对流拓扑负载场景的高精度捕获和还原问题,本文提出面向资源弹性管理的分布式负载模拟方法。在大数据背景下,当前研究中缺少大规模高精度的负载模拟方法,大量的资源弹性管理策略仅能使用小规模负载来评测弹性策略的有效性。为此,本文提出一种分布式负载模拟方法。该方法基于开源并行化框架具有良好的通用性,通过同步策略可实现更高精度的负载模拟,通过并行化的测试数据收集和分析可有效缩短评测时间。 (4)针对流拓扑大量参数的调优问题,本文提出基于计算时延模拟的参数优化方法。该方法是一种折衷真实环境与仿真环境的优化方法,通过容器技术来还原目标集群的配置环境,通过时延拓扑来模拟目标拓扑的资源消耗。该方法可以使用更少的计算资源来完成近似真实系统的参数优化。

关键词： 织造车间   云边协同   数据采集   数据处理  

摘要： 受中美贸易战及新冠肺炎疫情的影响,我国纺织产业面临严峻挑战,国外订单锐减,疫情期间生产受阻,企业生产少人或无人化成为趋势,生产方式数字化转型迫在眉睫。我国纺织行业数字化进程虽然早在几年前就已开始,但目前仍存在由于织造设备多源异构,通信接口不统一,导致织造车间信息互通难度大,依靠传感器独立采集设备信息数据有限,车间管理功能单一等问题。针对上述问题,本文以兰溪市20多家织造企业生产车间为研究对象,深入分析多源异构设备通信状况和生产管理需求,提出了一种云边协同的数据采集与处理应用方案,研发了织造生产信息化管理系统,实现了织造车间全流程多种类型设备的数据采集与应用,并成功应用于多家纺织企业。主要完成工作概括如下:(1)分析中小型织造企业生产特征和生产管理需求,提出了一种面向织造车间的云边协同数据采集与处理总体方案,搭建了企业内部网络,并制定了边缘端和云计算端的通信标准、通信功能类型及安全交互机制。(2)研究设备通信方式及织造工艺流程,设计了三种不依赖传感器的数据采集方法,实现了异构织造设备的数据采集,构建了每种织造设备的通用数据属性模型,并根据数据属性特点设计了多种用于存储织造车间数据的分布式数据库集群。(3)结合织造生产数据研究大数据处理技术,提出了一种基于K均值算法改进的织机了机预测算法模型,通过算法求解各织机的了机预测时间帮助车间人员确定整条流水线的最佳排产策略,解决了现有织机了机时间主要依靠人工经验且难预测导致的排产不及时、不合理等问题。(4)针对企业的数字化转型需求,研发了运行在手机移动端及web端的应用软件,其中包含生产智能管理平台、织造生产监管看板、织造助手IOS客户端,实现了织造车间全流程设备监控与远程管理、报表统计、数据分析及生产优化等服务。经过在多家纺织企业织造车间内搭建本系统并进行长达6个月的试验,结果表明,该系统全面适应织造全流程多源异构设备的监控和管理,并为企业生产管理决策提供支持,实现了系统在企业稳定、高效运行,验证了系统的可行性,提高了织造车间生产效率,降低了企业对生产劳动力的依赖,提升了企业竞争力。

关键词： 自动化决策   合理分析义务   算法规制  

摘要： 以立法形式规定数据处理者的合理分析义务，是预防算法风险、推进算法规制的一条基本路径。基于元规制理念的合理分析义务设置，既是一种过程性规制，也是一种目的性规制。该义务要求数据处理者既应保证分析过程正当，还要确保分析结果合理。合理分析义务目前分散规定在我国个人信息保护法律体系中，按照自动化决策流程可将其类型化为三项内容：分析前的注意义务、分析过程中的控制义务、分析后的审查义务。合理分析义务的规范取向是防止算法歧视，公平对待公民个人或数据主体。数据处理者违反此种义务将面临行政责任和民事责任。当下主要的问责途径是惩治“大数据杀熟”“信息茧房”和“社会分选”现象。

关键词： 精密测量   相干测量   信号处理   点云数据处理  

摘要： 随着产品的高精度化,高精度制造和检测成为了必须解决的课题。管件内壁的状态对实际生产具有重大作用,内壁的裂痕、同轴度、圆柱度等误差关乎设备性能和操作安全。已成熟的管道内壁测量技术仅能获得管道内某截面的二维信息,无法测得管状工件的同轴度和圆柱度等误差,且测量结果不够直观。为了更加直观地展示测量结果,本文选用三维点云数据作为基本数据形式。为了得到高精度三维点云数据,本文建立了一套低相干干涉点云数据采集系统,研究了相应算法处理采集的点云数据,对处理完毕的点云数据进行曲面重建后得到了高精度内表面模型。首先,介绍了低相干干涉测距原理。总结了四类低相干干涉解调方法,对比各方法的优缺点,结合课题的解调需求,选用计算量较小的包络法进行解调。讨论了三种包络解调算法原理并仿真,对比三种算法的解调效果和解调精度,最终选择精度较高、计算量最小的Hilbert变换法作为课题的解调算法。其次,建立了一套低相干干涉点云数据采集系统。系统硬件由低相干光源、光纤耦合器、准直透镜、光电探测器、步进电机及其控制器、数据采集仪等组成。同时,为了处理采集系统所得到的高精度点云数据,编写了一个三维点云数据处理软件,研究三维点云的数据结构和文件格式,实现点云数据降噪滤波、配准、法向估算和降采样。再次,研究了相应算法处理采集系统采得的三维点云数据。吸收了半径滤波算法和点云均匀降采样算法,提出了基于体素栅格的主成分分析滤波算法和基于平面拟合的自适应栅格点云降采样算法,并在开源数据集上进行实验。实验结果证明,提出的滤波算法能够较好地处理随机噪声和表面噪声,降采样算法能够在较低的采样率下很好地保留点云数据的边缘特征。此外,引入了主轴偏离比和马氏距离的概念,完成了三维点云数据的配准和法向估算,与滤波算法和降采样算法一起,形成了完整的三维点云数据处理算法。最后,使用两个标准环规验证低相干干涉点云数据采集系统的精度,经过算法处理后得到了精度在20微米的内表面模型。使用该系统采集扩口管和阶梯管的内表面点云数据,实验结果表明,系统能够很好地处理圆柱和圆锥内表面,但无法完美处理内螺纹和阶梯孔。

关键词： 线结构光扫描   对缝测量   数据处理   特征识别   间隙测量   阶差测量  

摘要： 随着汽车、飞机等产品气动外形设计要求的不断提高,针对气动外形的对缝质量评价方法也需更高效与精确。传统评价方法采用二维测量方式,效率低,可重复性差。而三维线结构光测量因其非接触、精度高、抗干扰强等特点,广泛应用于数字化测量领域。然而扫描获取的点云数据通常没有拓扑结构,无法判断对缝类型,极大阻碍了对缝质量评价的数字化、自动化进程。因此,针对上述提出的问题,本文设计了基于线结构光的对缝扫描测量方案,实现了点云数据的获取及预处理;提出了基于高斯映射聚类的对缝类型自动评定方法,建立了对缝间隙阶差求解模型,并对自动评定功能进行了软件实现。具体研究内容如下:1)基于线结构光测量技术及点云滤波、去噪、分割算法,构建了对缝点云数据获取及预处理方案,定义并分析对缝类型结构特点,提出一种新的结合法向提取及高斯映射的对缝倒角识别方法。通过对高斯球上的数据进行聚类试验分析,得到阈值判定结果,从而实现对缝类型的自动评定过程。2)对不同对缝类型间隙阶差求解定义分析,改进平面拟合、边界点识别等特征提取方法,通过对提取特征法向夹角的定量分析,设计了适用于不同对缝类型的待测特征点识别方法,建立了对缝求解模型,实现了对缝间隙阶差的求解。3)开展基于对缝评定及求解的测量实验,采用对缝标准件为实验对象,通过设计软件实现了对缝自动评定的功能,对测量结果误差进行分析,并进行对比实验。基于自动评定的对缝间隙阶差测量实验表明:间隙测量误差不超过0.04 mm,阶差测量误差不超过0.03 mm,对比传统方式,其有效辅助了气动外形对缝质量评价工艺的自动化流程,增加了对缝分析直观程度,为后续外形设计精度的提升提供了数据支持。

关键词： 电力设备   基形变换   异常检测   多模态数据库  

摘要： 随着泛在电力物联网发展,电力设备也开始向智能化、信息化、自动化发展,电力设备在智能电网安全防护的重要性也日发凸显。传统电力设备信息化、数字化程度偏低,传感器、采集和传输设备受环境影响大,导致数据产生偏差,数据异常值种类繁多。设备异常数据的存在给电力系统状态估计和设备安全防护带来很大的难题。本文基于具体的电力设备监测数据的特征,研究数据预处理和分析技术,实现异常数据的清洗,还原电力设备本身运行真实状态,为电力设备安全防护提供决策依据。主要工作如下:针对电力设备的时序数据异常,设计数据采集和异常检测处理流程,包括数据特征归一化,模型训练评估;使用长短期记忆循环神经网络设计了长期、短期、甚至弱时间依赖性电力设备时间序列数据的异常检测算法;搭建电力设备监测实验平台,完成平台的通信和数据处理软件设计,验证了电力设备时间序列数据异常检测算法的有效性。基于配电网简化模型和设备相关性定义电力设备的电流负荷数据模型,通过基形变换和点弧变换分析相关性的变化,基于相关性检测数据异常并仿真验证。针对电力设备中存在的模拟量、数字量、开关量等多类型数据结构,构建多模态数据存储结构和数据库,完成电力设备多模态数据库操作的软件设计,通过设计逻辑线路表和设备节点表实现数据更改、删除、插入,通过相应的索引结构和字段特征存储不同模态的数据;设计具体的测试用例,完成数据库数据并行查询、存储、删除等功能验证,完成数据库系统大规模并发性操作时的性能测试。

关键词： 轴组式动态称重   EEMD   ADAMS   专家算法   波形补偿   数据处理  

摘要： 车辆的超限超载行为不但会破坏公路基础设施,而且还会损害民众的生命财产,严重影响了公共交通安全。长期以来,我国对于公路车辆的超限超载行为检测方式通常是在高速公路的入口设立超限检测站,并通过动态称重设备来对车辆进行超载行为的检测,但传统的动态称重设备往往存在着测量误差较大、轴型识别困难等问题。针对传统动态称重设备存在的弊端,本文提出了一种基于轴组秤的动态称重系统的设计方案,方案主要包括系统硬件的选型及设计、动态称重信号处理算法的设计及系统软件的设计。论文的主要内容如下:首先,结合传统称重设备的优点,设计了轴组式称重系统的硬件结构,系统的称重台面由一大一小秤台组成,选用体积较小的轴重秤作为副秤台,主秤台选用体积较大的轴组秤,其长度可容纳所测车辆的三联轴同时上秤,提高了测量精度和防作弊能力。同时完成了系统的硬件组成部分的选型和数据采集装置的硬件设计,实现了称重信号采集、A/D转换、数据传输等功能。其次,对比分析了动态称重常见滤波算法,采用EEMD算法对称重信号进行滤波,通过ADAMS软件对轴组式动态称重系统进行了仿真,并联合MATLAB平台验证了EEMD滤波算法的性能和在动态称重系统中应用的可行性;分析车辆轴重的数据分布特征,根据特征分析结果,设计了一种基于专家算法的车辆轴型识别算法,通过将所测车辆的轴数和轴重特征信息相结合匹配,实现了对车辆轴型的识别;针对轴组秤称重信号波形时序混乱的问题,设计了一种波形补偿的方法,使得称重信号波形工整易分析,降低计算复杂度,提高了系统的实时性。再次,完成了系统软件的设计,包括数据采集程序设计和上位机检测控制软件的设计。其中,检测控制软件使用C++语言和MFC类库在VS平台上进行了模块化的开发,完成了检测控制软件的监控抓拍、静态标定、数据存储等模块功能的设计与开发,并在软件中实现了滤波、轴型识别和波形补偿等软件算法。最后,对系统功能进行了测试。先通过建立独立的测试项目程序,对系统轴型识别算法的识别率进行了验证;随后选择较为常见的三种货车在某超限检测站进行了实际称量测试,并将三种车型在双秤台称重设备上进行相同次数的称量测试做为对比测试。最后的测试结果表明:轴型识别算法的识别率达到了97%;当车辆在低速状态通过秤台时,系统测量误差控制在了2%以内,相较于传统双秤台式动态称重设备的测量精度提升了1%左右。

关键词： 客户流失预测   不平衡数据   选择性集成   SC-MWOA   混合采样  

摘要： 通信技术的迅猛发展以及通信覆盖范围的日益扩大,电信业之间的竞争正在逐步加剧,电信企业之间的竞争本质上是对客户资源的竞争,而竞争本身必将带来一定的客户流失。若能提前预测客户流失情况,并及时采取挽留措施,企业将能实现对客户资源的有效巩固,从而提升市场竞争力。在实际应用中,数据集的不平衡特性是影响客户流失预测准确率的关键因素,因此,选择合适的不平衡数据处理方法是目前智能预测领域急需解决的难题。本课题主要面向类别不平衡数据分类问题,分别从数据层面和算法层面提出两种解决方法,并将理论方法应用于电信客户流失预测中。同时将客户价值与客户流失相结合,探讨流失客户挽留策略,本文主要的工作内容如下:(1)本文从数据采样层面对电信业客户流失预测中存在的类别不平衡问题进行分析与研究。考虑到客户数据集中存在异常值,提出了一种基于LOF算法的混合采样方法对不平衡数据进行处理,并同Border-line SMOTE、ADASYN、SMOTE等常用采样方法进行了对比。实验结果表明,针对类别不平衡问题,基于LOF算法混合采样客户流失预测模型比传统单一采样方法更具优势,模型的AUC值、F1-score均可达到85%以上。(2)针对单一模型识别流失客户能力较弱的问题,本文从算法层面对电信业客户流失预测中的类别不平衡问题进行研究,提出了一种基于选择性集成的分类方法,利用SCMWOA算法筛选出基分类器的最优组合,并构建客户流失预测模型,将模型与基于Bagging和基于遗传算法的集成模型的分类效果进行比较,结果表明,本文所提出的方法对流失客户的召回率可达到85%以上。(3)对客户关系管理进行研究,设计并建立基于K-means算法的客户细分模型。将客户进行分群,分析不同客户类型的消费行为习惯,定义不同类型客户的自身价值,便于后续运营人员制定针对性的流失客户挽留措施,为企业实现精准营销提供有效地理论支撑和数据依据。

关键词： 通信网络   数据处理   告警相关性分析   根源信息   根本原因  

摘要： 近年来,通信网络规模日趋复杂、日渐扩大,对网络告警进行深度分析与挖掘是目前的关键任务,基于大数据驱动的通信网络管理技术是未来研究网络告警的主要发展趋势,保证通信业务的高效运行和通信网络的高质量服务是未来通信网络发展的主要目的。结合目前关于网络管理的国内外研究现状来看,网络管理的研究步骤主要包括四步,即告警数据收集、告警数据预处理、告警相关性分析以及故障管理。对于大规模网络告警数据来说,故障管理中的溯源算法研究是目前面临的主要问题。本文主要研究内容如下:(1)本文首先对网络管理的步骤做出了概括性描述,之后针对广大研究者依据实际网络数据与问题在各阶段提出的相关研究方法及解决方案进行了分析和比较,并重点讨论和介绍了应用于网络告警分析中的数据挖掘关键技术。其次简单介绍了通信网络的架构以及告警数据的收集过程,然后对收集到的原始告警数据进行了多方面全方位的数据特点分析,并根据其数据特点进行了一对一的数据预处理步骤,最后给出了数据预处理的流程以及实验结果。(2)针对通信网络中网络异常源头定位问题,设计了一种基于故障树来确定通信网络根告警位置的方法。该方法首先采用聚类算法自适应地生成告警事务集,避免了采用滑动窗口时人为设置步长和窗口带来的随机性;针对DBSCAN聚类算法随着数据集增大计算量增加的问题,建立KD＿Tree来减少运行时间。然后采用序列模式挖掘算法来寻找强关联规则,并对规则出现频数设置阈值获取高频率序列模式,最后设计了一种故障树算法,通过计算每类告警的影响力及告警优先级来确定根源告警。通过对真实的告警数据实验可知,该方法在事务集生成阶段节约了时间的同时提高了告警事件间的相关性,关联规则算法阶段缩减了告警量,故障树的建立有效挖掘了高影响力告警。(3)针对通信网络中网络异常原因分析问题,提出了一种基于决策树进行告警数据特征分析的方法。由于通信网络设备每天产生万级量告警数据且多为无标记数据,为其添加标记是第一步的。该算法首先编码和多维化告警数据特征,然后基于地域和时间特征关联分析告警数据获得根源信息。进一步,采用决策树方法分析各类特征的重要度及对准确率的影响。最后,对真实世界的网络告警数据特征分析的结果表明,该研究方法在准确度和执行效率上有极大优势,在一定程度上可以帮助网络管理人员识别主要的告警数据特征。