关键词： 关系合同   数据处理活动   个人信息保护法   过程信息   剩余权利  

摘要： 数据处理活动符合时间范围长、涉众基数多、权利义务不断修正、内容随技术发展嬗变等特征，可借由“关系合同”的概念予以统摄。近年来，治理科技等新兴技术、东数西算等国家政策备受瞩目，有望通过数据处理的“扁平化”“去中心化”缓解数据流动和隐私保护的根本性矛盾，但因其导致目标失范、量化失效、权利失衡、责任虚置等问题，击穿了个人信息保护法兜底关系合同的静态格局。为应对数据处理活动的技术流变，个人信息保护法的多项机制也应与时偕行，通过过程信息的正确配置、数据处理的原则补强、剩余权利的实质均分和责任体系的深度重构，动态应对耦合多变的法律风险。坚守的底线是，数据价值的合规有序释放，不以关系合同稳定性的牺牲为代价。

关键词： 外辐射源雷达   信号处理   GPU+CPU+PCIE   并行计算   多线程  

摘要： 随着电子对抗技术的发展,传统雷达在抗干扰、抗隐身、抗反辐射摧毁和抗低空突防能力等方面存在较大的挑战,外辐射源雷达由于低频段工作和无源探测等特点,在“四抗”方面具有独特的优势,是近年来国内外研究的热点领域。但外辐射源雷达目标回波信号极其微弱且通常掩盖在强直达波和多径干扰背景之下,需要进行大规模的数据处理,运算量大,给外辐射信号和数据处理的实时实现带来了严峻的挑战。针对此,本文通过结合GPU的高并发能力、中央处理器的复杂逻辑处理能力和高速串行计算机扩展总线标准接口的数据高速传输能力,研究了一种采用GPU+CPU+PCIE高性能架构开发外辐射源雷达目标实时检测和跟踪技术,具体研究内容如下:(1)首先在分析外辐射源雷达探测原理和信号处理流程的基础上,设计了一种基于高性能架构的外辐射源雷达信号实时处理系统和软件架构。针对多通道外辐射源雷达系统数据吞吐量大问题,利用高带宽PCIE3.0×8作为传输接口,同时采用循环存储队列的快速存储方法,有效地减少了数据传输的耗时。在软件架构设计方面,通过将系统解耦细分为小模块化,实现从接收信号预处理到目标检测跟踪的模块化处理,便于系统升级维护。(2)在杂波干扰抑制并行处理方面,针对矩阵求逆过程中耗时比较大的问题,本文设计了一种基于LDLT分解的扩展杂波相消批处理段间并行算法。首先,基于GPU多线程并行处理技术并结合ECA-B算法各段相同子模块特性,通过分段并行处理提高ECA-B算法的时效性;然后,针对传统ECA-B算法求逆过程中数据传输耗时问题,利用自相关矩阵共轭对称特性提出一种基于LDLT的并行迭代求逆方法,通过两个CUDA核函数实现求逆处理,节省了矩阵求逆过程中数据传输的时间,进一步提升段间并行算法的实现效率。实验结果表明,与传统算法相比,本文提出的算法具有更高的时效性和有效性。(3)在目标检测与跟踪并行处理方面,针对距离-多普勒处理中,时延滑动矩阵构造的过程存在运算冗余问题和数据处理过程中需要单独补零操作问题,提出了一种并行处理的时延滑动矩阵构造和补零操作方法,可显著降低算法的耗时;提出了一种基于规约求和的恒虚警检测方法,通过对所有待检测单元并行检测,有效缩短了检测系数的求解时间,提高了恒虚警检测的效率。针对航迹跟踪的复杂实现过程以及耗时较大问题,本文基于CPU和GPU相互配合的思想,采用CPU管理航迹数据库的同时GPU加速目标点迹的航迹判断,成功实现了目标的实时跟踪。

关键词： Artificial intelligence   Chemical management   Meta-algorithmics   Occupational health   Safety  

摘要： In support of over 1000 military installations worldwide, the Department of Defense (DoD) has procured contracts with thousands of vendors that supply the military with hazardous materials constituting billions of dollars of defense expenses in support of facility and asset maintenance. These materials are used for a variety of purposes ranging from weapon system maintenance to industrial and facility operations. In order to comply with environmental, health, and safety (EHS) regulations, the vendors are contractually obligated to provide Safety Data Sheets (SDSs) listing EHS concerns compliant with the requirements set forth by the United Nations Globally Harmonized System of Classification and Labeling of Chemicals (GHS). Each year chemical vendors provide over 100 thousand SDSs in a PDF or hard copy format. These SDSs are then entered manually by data stewards into the DoD centralized SDS repository – the Hazardous Material Management Information System (HMIRS). In addition, the majority of these SDS are also loaded separately by separate data stewards into downstream environmental compliance systems that support specific military branches. The association between the vendor-provided SDSs and the materials themselves was then lost until the material reaches an installation at which point personnel must select the SDS associated to the hazardous material within the service-specific hazardous material tracking system. This research applied systems engineering principles in the analysis, modeling, and development of a DoD data processing system that could be used to increase efficiency, reduce costs, and provide an automated solution not only to data entry reduction but in transitioning and modernizing the hazard communication and data transfer towards a standardized approach. Research for the processing system covered a spectrum of modern analytics and data extraction techniques including optical character recognition, artificial neural networks, and meta-algorithm

ISBN: (纸本)9787121460760

关键词： 数据分析   数据处理   云原生   负载预测   弹性扩缩容  

摘要： 在国家“十四五”规划的纲要指导下,数字化转型成为众多传统企业的重要发展方向。我国粗钢产量在2022年正式超过10亿吨,钢铁企业的生产数据和业务数据快速增长,但企业数字化转型过程中并未充分挖掘数据的潜在价值。传统钢铁企业在数字化转型的过程中的重要目标是如何解决企业部门之间的数据隔阂的问题,以及进行数据分析时,如何高效并灵活地查询数据。 针对上述问题并结合企业实际需求,本文实现了一个基于云原生架构的钢铁企业大数据分析系统,该系统基于云原生、数据处理以及数据分析等技术,致力于解决企业部门之间的数据孤岛问题,为企业提供兼顾低延迟响应和高灵活性的数据查询分析能力。为方便系统的扩展开发,系统采用了可灵活扩展的架构。同时,为系统的性能满足业务需求以及保证系统的稳定性,本文对负载预测问题做出相应研究以支持集群主动弹性扩缩。论文的主要工作如下: (1)针对企业现状和实际业务需要对系统进行需求分析和数据交互分析,并对系统的总体需求进行详细分析。对系统的主要功能模块进行分解,采用UML用例图的方式对数据资源管理模块、数据处理模块、数据分析模块、用户管理模块和监控管理模块等系统主要功能模块的需求进行了详细介绍,并确定了系统的非功能性需求。 (2)为确保系统的性能满足业务需求以及保证系统的稳定性,本文给出一个基于集成学习的负载预测算法,首先根据不同的样本划分方式将样本进行两次划分,使用两次划分的样本对多个弱学习器进行两阶段训练,并使用训练得到的弱学习器进行并行预测。将预测结果根据权值进行聚合,以得到最终预测结果,使用负载预测结果为集群的动态扩缩提供支持。 (3)对钢铁企业大数据分析系统进行架构设计并实现了各个功能模块。将负载预测算法应用于集群的动态扩缩。对系统的主要功能模块的设计进行详细介绍,主要使用类图和时序图的方式介绍各个模块中主要功能的设计并给出系统的数据库设计。其中,数据处理模块使用Flink数据计算引擎实现了对数据的抽取、处理和加载;数据分析模块基于多维数据分析、预计算和多个数据计算引擎给出了一个数据分级存储和查询方案,实现兼顾低延迟响应和高灵活性的查询服务。系统设计与实现完成后,根据需求设计,对系统的主要功能进行测试,各个系统模块都给出了详细的测试用例。 经过完整的系统测试,系统的各个功能模块均符合需求,系统性能也满足非功能需求的指标。经验证,本文的钢铁企业大数据分析系统可正常投入使用。

关键词： 数据处理   联邦学习   非独立同分布   知识蒸馏   灾难性遗忘  

摘要： 联邦学习是一种受隐私保护的分布式机器学习，由一个服务端和多个客户端构成，其中客户端负责本地模型的训练，服务端负责将客户端的本地模型聚合成一个全局模型。医院数字化进程的推进发展，各大医院存储着海量医疗数据，同时便携式健康监测设备的推广应用，这些设备中也存储着大量个人居家监测数据，利用医院及个人数据构建疾病的预测模型对疾病的早发现和诊断效果评估具有重要作用。然而，由于医疗数据和个人健康数据的隐私性，无法将这些数据集中起来训练模型，联邦学习在这种场景下得到应用。由于医院的地域差异及个人健康状况差异，导致各医院之间、各便携式监测设备之间的数据呈非独立同分布，这导致联邦学习收敛缓慢，并增加模型训练所需的通信开销。对此，本文针对在医院心电监测和居家心电监测这两个应用场景，围绕非独立同分布数据下的联邦学习算法展开研究。主要研究工作如下:　　（1）在医院之间进行联邦学习的场景中，针对非独立同分布数据导致客户端模型发生灾难性遗忘的问题，提出了一个全局与本地知识融合的客户端模型优化算法FedKF。该算法在客户端训练一个生成器以拟合全局数据，并将生成的数据作为知识蒸馏数据，在客户端训练本地模型时利用知识蒸馏将全局知识传递给本地模型，使本地模型能够同时学习全局知识和本地知识，缓解灾难性遗忘，从而加快联邦学习的收敛速度。实验结果表明，当客户端算力足够时，相比其他同类客户端模型优化算法，FedKF在非独立同分布数据上收敛更快。　　（2）在居家监测设备之间进行联邦学习的场景中，针对因客户端算力低无法在本地进行知识蒸馏的问题，提出了一个全局方向监督下的客户端模型优化算法FedGD。该算法在本地模型训练时，利用全局更新方向修正本地模型的更新方向，从而加快联邦学习的收敛速度。实验结果表明，当客户端数量足够多时,相比其他同类客户端模型优化算法，FedGD在非独立同分布数据上收敛更快。　　（3）在服务端全局模型聚合阶段，针对因客户端数量不足导致全局模型的更新方向偏离全局最优方向的问题，提出了一个基于投影梯度下降的全局模型优化算法FedDC。该算法利用全局知识对全局模型的更新方向进行修正，使得全局模型的更新方向更接近全局最优方向，从而加快联邦学习的收敛速度。实验结果表明，当客户端数量较少时，相比其他同类全局模型优化算法，FedDC在非独立同分布数据上收敛更快。　　综上所述，本文围绕在医院心电监测和居家心电监测这两个应用场景，研究了非独立同分布数据下的联邦学习算法和应用，提出了两个客户端本地模型优化算法和一个服务端全局模型优化算法。针对医院之间进行联邦学习存在的问题提出了客户端模型优化算法FedKF,针对居家监测设备之间进行联邦学习存在的问题提出了客户端模型优化算法FedGD,针对客户端数量不足导致的问题提出了全局模型优化算法FedDC,以上算法都能有效加快非独立同分布数据下联邦学习的收敛速度。

关键词： 多光谱测温   光谱发射率模型   数据处理   无梯度优化算法  

摘要： 温度是工业生产过程检测与控制的重要技术参数。随着科技的不断发展,对测温手段和精度的要求更加严格。辐射测温作为一种新兴的测温技术,有着响应快速、无需接触被测物体和无温度测量上限的优点,已广泛应用于许多工业测温领域。多光谱测温是辐射测温中最具吸引力的方法之一,通过多个光谱通道下辐射信号的获取,在发射率模型已知的前提下,能够同时反演出物体的真实温度和发射率。然而发射率模型是未知的。实际的测量过程中,在不同的测量位置,物体的光谱发射率的变化往往不一致,准确的发射率模型难以获取。从而导致多光谱测温中的数据处理成为了一个极具挑战的问题。针对该问题,本文提出了一种不需要发射率模型的数据处理方法,主要工作如下:(1)将多光谱高温计的数据处理转化为优化问题,并构建优化问题的目标函数。通过对参考温度模型的变形及推导,得到了相邻波长的辐射信号比值与它们发射率之间的关系,并将其作为优化问题中的发射率约束条件。结合目标函数和约束条件建立了一种无需发射率模型的多光谱高温计数据处理模型。(2)引入了两种无梯度优化算法:遗传算法和随机轴收缩算法。在遗传算法的基础上增加种群数量、移民算子、人工选择算子,并对变异和交叉的规则进行改进,提出了一种能用于多光谱数据处理的多种群遗传算法。基于随机轴收缩算法,将批处理采样的模式改为顺序采样,实现了分类模型的实时更新,提出了一种能用于多光谱数据处理的序列随机轴收缩算法。并分别对它们进行性能测试。所提出的两种算法对函数形式没有特殊要求,为后续研究中提出更复杂可靠的多光谱测温模型提供了求解思路。(3)为测试所提出的方法在实际测温中是否适用,分别使用非金属碳化硅和金属钨的实测数据对其进行验证。实验结果表明,两种算法都能够高效且精确的计算出物体的光谱发射率和表面温度,证明所提出的数据处理方法有望用于工业领域的高精度实时温度测量。

关键词： 无砟轨道   小波分解   分段样条插值   多项式拟合   IGA-PSO算法  

摘要： 随着运营里程的不断增加,运行速度不断提升,对高速铁路无砟轨道的检测和维护提出了更高的要求。为了达到准确监控和精确测量,我国采用动静态检测相结合的方式来进行把控。一般通过轨检车动态检测总体上监控轨道的几何状态,确定出超限的区段;然后,利用静态测量的结果指导精调作业。传统的静态检测,虽检测精度尚可满足需求,但方法较为落后、效率低下,已经逐渐不适应高速铁路的发展要求。因此,开发轨检小车检测系统就具有很高的实用性。而其中的关键技术就是轨检小车的精测精调数据处理的方法,对其进行研究对轨道测量及精调作业具有重要意义。本文提出的精测精调数据处理的内容包含轨道中线偏差数据处理和轨道精调数据处理两部分。轨道中线偏差数据处理,首先,采用轨道检测小车动态测量所得到的棱镜坐标数据、检测小车结构的几何参数以及轨距和倾角传感器测量数据解算出轨道中线坐标,与设计参数进行对比,获得轨道中线原始偏差数据。然后,利用小波分解、分段样条插值对原始数据进行预处理,得到轨枕处轨道中线的偏差值。最后,通过轨道检测小车近、远站的动、静态检测结果构建修正函数,补正预处理后的原始数据,得到符合实际的检测数据。轨道精调数据处理,以检测数量为基础。首先,通过多项式拟合得到趋势线,以此为基准,筛选出问题区段。然后,建立问题区段的精调模型,利用IGA-PSO算法进行求解,得出轨道中线精调方案。之后,结合水平、轨距偏差,得到左右轨道的精调方案。最后,使用近似平顺度计算式对精调前后数据进行平顺度量化对比,表明精调数据处理可以恢复轨道平顺性。通过场地测试和某段在建高铁轨道上的多次实验;经过数据处理,轨检小车动态检测的结果与静态检测结果的偏差在0.25mm以内,并且可以节约2/3的检测时间,验证了轨道精测数据处理方法的准确性和适用性,同时也提高了检测的效率。在精调数据处理中,保证平顺度要求的前提下,调整超限阈值,可以降低总体调整量,节约材料和时间成本。

关键词： 地震勘探   深度学习   高分辨率成像算法   地震剖面预处理   逆时偏移成像   全波形反演  

摘要： 地震勘探作为地球物理学中的一个重要研究领域,旨在通过收集和分析地震数据,以揭示地下介质的物理参数分布,实现对地下结构的高清成像和深入解读。该技术在石油、天然气、煤炭、矿产等资源探查和开发过程中具有举足轻重的地位,对于社会经济的繁荣发展至关重要。为了进一步提升地震勘探的精度与效率,高分辨率地震探测成像算法应运而生。运用前沿的地震数据处理技术,能够充分挖掘地震数据中的丰富信息,提升地震勘探的分辨率与信噪比,还原更为精确的地下结构信息,进而达到更高精度地下成像的目标。 本文针对地震数据预处理和地震高分辨率成像提出了基于深度学习网络框架驱动的处理及成像算法,从地震数据预处理、地震逆时偏移成像和全波形反演成像三个方面进行了详细的研究和分析。 主要探讨了地震剖面预处理的高分辨率成像技术。首先,本文建立了一个针对地震剖面去噪的深度学习框架,并对其进行了优化,与传统主流算法的比较证实了该框架的有效性。其次,构建了一个用于地震剖面直达波分离的深度学习框架,为后续研究奠定了基础。接着,针对地震采集过程中可能出现的道缺失问题,建立了相应的深度学习框架并详细阐述了其具体流程和操作细节,通过与传统主流算法的对比证明了其优越性。最后,利用深度学习框架实现了地震剖面的超分辨率重建,提高了原始剖面的分辨率,避免了由于道集过少导致的同相轴不连续问题,为地震高分辨率成像奠定了基础。通过上述预处理流程,本文实现了地震剖面的预处理成像,为后续工作提供了有力支持。 针对传统逆时偏移成像算法在地震剖面处理中存在的串扰问题和成像效率问题,提出了改进方案并进行了逆时偏移处理。首先,利用Helmholtz分解和Poynting矢量分解等手段改善了传统逆时偏移算法中的串扰问题。接着,采用预处理后的地震剖面进行逆时偏移成像,并与传统算法对比,证实了新算法能够提高成像质量。为解决逆时偏移中存在的内存占用问题,本文提出了一种基于压缩感知的波场数据压缩策略,有效降低了物理内存的消耗。此外,为了进一步提升逆时偏移的成像质量,提出了一种增强后处理深度学习框架,实现了地震剖面逆时偏移成像分辨率的进一步提升。通过以上处理流程实现了地震剖面的高精度、高效率逆时偏移成像。 在预处理后的地震剖面基础上进行全波形反演成像,并对传统算法进行改进,旨在解决全波形反演算法中存在的低频缺失和成像效率问题。首先,针对全波形反演的计算效率问题,提出了随机震源和震源编码全波形反演策略,以改善计算效率。其次,为解决全波形反演中低频数据缺失问题,应用深度学习框架提出了低频数据预测策略。接着,针对全波形反演存在的效率低下问题,进一步提出了一种基于时空多尺度的全波形反演框架,充分利用数据关键信息,实现效率的极大提升。最后,为解决传统算法的不适定问题,本文提出了分辨率增强正则化的全波形反演策略,从而极大地提高了成像分辨率。通过这些处理流程建立了地震剖面高精度、高效率的全波形反演成像算法流程。 总体来说,本文在地震数据预处理和地震高分辨率成像领域中提出了一系列的技术与方法,这些成果对于提升地震勘探的成像分辨率与效率具有至关重要的作用。本文不仅为地球物理学与地震学领域贡献了新颖的技术手段,同时也为相关行业的资源勘查与开发提供了有力支持。此外,本文所涉及的方法与算法为其他领域的成像问题提供了新颖的思路与启示,具有广泛的应用潜力。 图183幅,表23个,参考文献221篇

关键词： 磁悬浮陀螺全站仪   陀螺寻北   受限空间   非平稳信号   周期误差   联合平差  

摘要： 随着国民经济建设发展的需要,越来越多的高铁隧道、矿山隧洞、城市地铁等受限空间内的大型工程项目相继涌现。由于受限空间内无法正常获取卫星信号,致使传统空间大地测量技术在其中难以发挥作用。为解决这一问题,长安大学-航天十六所惯性技术与智能测量工程研究中心研制了国内首台具有自主知识产权的高精度磁悬浮陀螺全站仪。该仪器基于无接触式力矩反馈以及自准直光电传感技术实现了连续模数信息转换和海量数据实时采集,通过敏感地球自转独立测定任意方向的真北方位,克服了传统空间大地测量技术在卫星拒止环境下无法进行自主定向的缺点,近年来被广泛的应用于多项国家重大隧道贯通工程。然而,受限空间内环境条件复杂,磁悬浮陀螺在进行寻北定向过程中常受到如施工或车辆通过引起的地面震动、通风设施风流等外界干扰因素的影响,寻北数据表现出周期性、时变性和非线性的特征,降低了陀螺寻北精度以及可靠性。因此,研究磁悬浮陀螺寻北数据在复杂环境下表现出非平稳特征的物理机制,设计陀螺动态寻北数据的自适应纠偏算法,建立探测并消除周期性系统误差的模型,提高仪器在外界干扰力矩影响下寻北结果的可靠性,进而为受限空间提供更高精度的方位基准,对保障我国重大隧道工程的精准贯通具有重要的理论支撑和工程应用价值。因此,本文基于磁悬浮陀螺的连续模数信息转换和海量数据实时采集技术,依托引汉济渭秦岭超长隧道等重大工程项目,围绕磁悬浮陀螺寻北非平稳数据处理关键技术展开研究。主要研究内容及成果如下:(1)提出了一种基于自相关图和小波谱的磁悬浮陀螺信号分析方法和评价体系,依托该体系分别从时域和频域角度对陀螺信号特征进行了研究,揭示了陀螺转子电流信号表现出非平稳特征的物理机制。(2)分析了磁悬浮陀螺阻尼力矩器转子周期误差的特征,提出了一种自适应探测陀螺信号周期误差的算法。该算法联合奇异谱分析与连续小波变换,实现了对陀螺信号中高频周期误差和低频周期误差的准确定位和分离。通过磁悬浮陀螺实测数据的处理验证了该方法能够有效提高陀螺寻北的外符合精度。(3)建立了一种基于启发式分割算法和双样本Kolmogorov-Smirnov检验的磁悬浮陀螺自适应纠偏模型,解决了陀螺寻北过程中受到外部瞬时干扰力矩影响而产生信号跳变的问题,通过引汉济渭秦岭超长隧道的实测数据验证了该模型能够自动探测并剔除跳变数据,进而提升了磁悬浮陀螺的寻北可靠性以及环境适应能力。(4)提出了一种基于迭代重加权最小二乘的非等精度磁悬浮陀螺方位角导线联合平差模型,解决了加测陀螺边的导线联合平差模型难以准确评估磁悬浮陀螺定向精度的问题。通过大型矿山隧道贯通工程项目的应用实例分析,与传统平差模型的结果对比验证了该模型能够优化磁悬浮陀螺方位角权值的分配,进而提高隧道的贯通精度。