关键词： 分布式并行计算   Spark   GPU   负载均衡   迭代计算   并行计算  

摘要： 在第三次信息化的建设和转型的过程中,现存的数据体量超线性的增加,数据被誉为计算的能源。使用传统的数据处理技术来解决超大规模的数据分析应用收效甚微。此时基于内存的分布式并行计算框架Spark顺势而生并在学术届和产业界中广泛应用。随着场景数据的极大丰富和算力的极大提升,人工智能的发展迎来了空前的爆发期。数据信息和计算能力是人工智能的核心要素,分布式计算框架Spark在数据预处理方面的优势显著,GPU突破了摩尔定律下传统CPU提升性能的瓶颈,在高性能计算和智能计算领域展现了压倒性的优势。因此,开发者开始关注如何优化分布式异构并行计算框架,将计算密集型操作卸载到GPU上,实现端到端的加速人工智能应用。在异构并行计算框架中,分布式计算框架负责输入数据的并行预处理,GPU负责计算密集型任务的高并发计算,二者相辅相成实现对人工智能应用的加速。然而现有的异构并行计算框架没有恰当的处理数据的偏态分布特征、硬件的协同并发特性和系统中增量计算问题,从而无法发挥系统整体的性能。本文的研究工作围绕CPU-GPU异构并行环境分别从负载均衡、迭代计算和并发计算三个方面展开研究,旨在减少算力浪费和提升系统整体算力的水平。本文的主要工作如下:(1)在负载均衡方面,针对分布式并行计算框架中经典的数据偏斜问题,通过分析分区粒度对系统性能的影响,本文提出了一种基于自适应分区粒度调整的均衡分区策略。针对不同频次key的抽样结果,采用加权轮循算法和高效哈希算法进行重分区,提出基于高频次key的分区策略和基于低频次key的分区策略。两种策略考虑key的比重使用差异化的处理方式可以更有效地应对数据偏斜。实验统计结果显示,本文的分区策略可以在实现并行任务间负载均衡的同时提高系统计算资源的使用率,从而提升任务的运行效率。(2)在迭代计算方面,针对大规模数据在迭代计算过程中冗余计算和内存数据的访问低效问题,造成系统性能不佳,本文提出了一种基于GPU加速的分布式增量迭代体系架构。通过设计一种面向迭代任务的增量迭代计算模型,着力解决迭代计算过程中存在的大量冗余计算问题。通过研究迭代过程中中间计算数据的访存机制,加速数据访问和迭代计算的过程。此外,本文设计了一种可变的滑动窗口机制来主动适应GPU高速内存空间大小的限制和线程级合并内存访问的特点。实验显示,相比于现有的优化并行计算框架和开源的并行计算框架,平均性能提升分别为2倍和5倍以上。(3)在并发计算方面,针对现有集成GPU的分布式并行计算框架中存在粗粒度任务并发的缺陷,提出了一种多GPU多流的协同并发执行机制。针对现实环境中系统硬件的性能差异及应用的属性各异,使得对运行时计算资源的需求不同,通过动态的调整运行时系统的网格级并发度,从而提高系统的资源利用率。此外,将系统中内核级并发调节问题建模成一个多臂赌博机问题,提出一种基于置信区间上界的算法,通过高并发内核线程提升任务执行的速度,实现系统的高效能。实验结果显示多流的协同并发执行机制可以充分利用流的并发能力来提升系统的整体效能,使得系统性能提升1.3倍到3.1倍之间。本文中的工作对使用集成GPU的异构并行计算框架来加速高性能科学计算和人工智能应用具有借鉴意义,相关理论和解决方案对实际生产工作具有理论和应用价值。

ISBN: (纸本)9787111703471

关键词： 非相干散射雷达   模糊函数   复合编码   数据处理  

摘要： 随着科技的发展,人类对地球的探索不仅限于地面和天空,也逐渐开始对电离层进行研究。而非相干散射雷达(Incoherent Scatter Radar,ISR)作为最强大的电离层探测的地基设备,正在飞速发展。ISR具有探测精度高、探测范围广以及距离分辨率高等优点。非相干散射雷达的探测原理就是接收电离层中粒子热起伏所散射回来的微弱信号,从而可以反演出电离层的许多参数,如电子密度、电子温度以及离子温度等等。由于散射回来的信号十分微弱,所以需要强大的信号处理手段以及各种各样的复杂的编码方案来满足实际使用的需求。所以本文基于已有的非相干散射雷达的三种编码方式和编码模糊函数理论,探索出了两种新的具有高距离分辨率的复合编码。最后,利用AMISR(The Advanced Modular Incoherent Scatter Radar)的实测数据对数据处理系统中的模糊函数模块进行调试。本文的主要工作内容如下:第一,介绍了国内外的非相干散射雷达及其编码技术的发展现状。随后介绍了非相干散射雷达的探测原理并推导了四种模糊函数的表达式及其之间的转换关系。第二,以编码模糊函数理论为基础,首先对三种传统编码(长脉冲、巴克码以及交替码)的二维模糊函数进行建模,并分析其性能。随后,测试了多种复合编码性能,最后探索出了两种性能优异的复合编码(互补码调制强交替码和m序列调制强交替码),也对其二维模糊函数进行建模并分析性能。最后对这几种编码的探测距离、距离分辨率和抗噪性能进行对比分析,得出结论。第三,介绍了非相干散射雷达的数据处理系统的主要模块功能,并且利用AMISR实测数据对该数据处理系统中的模糊函数部分进行调试。在数据处理系统中替换不同的模糊函数处理AMISR的实测数据并反演出电离层参数,与Madrigal官网的数据和IRI(International Reference Ionosphere)模型进行对比,以挑选出一种误差最小的模糊函数应用于数据处理系统。

关键词： 盾构隧道   地表沉降   数据处理   掘进参数  

摘要： 近年来,随着社会的发展,人们出行需求的提高,交通拥堵日益严重,挖隧道、建地铁是解决地上空间不足的良策。但由于地下情况复杂加之施工水平限制,地表沉降成为了隧道施工的一大难题,合理控制地表沉降是地下工程建设中急需解决的问题,盾构掘进施工对地表沉降的影响和预测是地下工程研究的热点。本文以济南市轨道交通R2线历山北路站～二环东路站区间为工程背景,基于Python语言对施工数据进行数据挖掘,分析了横、纵断面的沉降规律,对掘进参数进行统计分析,建立了BP神经网络、随机森林、支持向量机三种模型对施工沉降数据进行分析预测,主要研究内容及结论如下:（1）从经验公式法、数值模拟法和大数据分析法三个角度总结归纳了相关学者在地表沉降方面的研究现状和成果,分析了横断面和纵断面的沉降规律,利用Peck公式拟合沉降曲线,发现了横向沉降规律接近正态分布,隧道轴线上的监测点沉降值最大,越往两侧沉降量越小。利用Peck公式预测的最大沉降值都略大于实际沉降值,但很接近,说明Peck公式适用于此区间的横断面沉降值预测。（2）以现场实际数据为例介绍了盾构数据的处理过程,通过统计分析确定了环平均值可以作为环代表值,分析了掘进参数沿工程纵向的变化规律与地层之间的关系,使用Pearson相关系数对掘进参数进行分析,研究了掘进参数之间以及掘进参数与沉降值之间的关联程度。（3）建立了BP神经网络、随机森林、支持向量机三种模型预测地表沉降,以R2、RMSE、MAE和平均误差作为模型评估指标对模型精度进行评价,最后引入贝叶斯算法优化支持向量机,结果表明支持向量机平均误差有明显降低,达到了工程使用标准,预测模型对实际工程有一定指导意义。

关键词： 方位伽马   快速正演   快速采样   灵敏因子   成像深度   地层界面  

摘要： 随钻方位伽马测井技术在地质导向和地层评价中发挥着重要作用。随钻方位伽马测井的正演是其导向和地层评价功能的重要基础,而对随钻方位伽马测井采样数据的处理和地层参数的计算直接影响着其导向作用的准确性。因此,开展基于正演模拟的随钻方位伽马测井数据处理方法的研究,对于实现实时精准的地质导向具有重要的意义。 本文首先通过蒙特卡罗正演模拟方法,分别研究了随钻方位伽马测井仪器对地层的径向和纵向二维响应特性。然后,进一步研究了其三维空间响应特性,利用得到的空间响应灵敏度函数形成了方位伽马测井的快速正演方法。在此基础上,正演模拟了随钻方位伽马测井仪器钻遇不同地层或地质模型时的响应规律。另外,为了提高方位伽马测井的方位响应及地层参数求解的精准度,分别开展了基于正演和实验结果的数据快速采集和处理方法、基于方位灵敏因子的方位对比提高方法、基于探测深度的地层倾角计算改进方法等研究,有效提高了方位伽马测井的扇区采集、响应及处理精度。最后通过Tikhonov正则化,研究了根据正演响应和观测数据在地质导向过程中实时确定地层界面的方法。 研究结果表明:使用快速正演方法计算的结果与蒙特卡罗正演方法计算的结果吻合,但快速正演计算时间仅约为蒙特卡罗正演方法的0.11%,可以大大提高地质导向过程中的实时处理。对方位数据快速采样及处理得到的扇区响应,能增强原始采集数据的方位特性。另外,根据方位灵敏因子计算的地层放射性强度与地层真实值更接近,能有效提高方位伽马测井的测量准确度。结合成像深度(DI)求取的地层倾角比传统方法得到的地层倾角更加接近实际地层、误差更小。通过对正演响应和观测数据的对比分析,选用正则化方法计算的地层界面符合实际地层模型,为随钻方位伽马测井的研究和应用提供了方法支持。

关键词： 噪声烦恼度   听觉实验   变电站噪声   数据校准   声学因素   个体因素   社会因素  

摘要： 噪声烦恼度是确定环境噪声暴露可接受程度和制定环境噪声标准的重要依据。为满足统计学要求,通过实验室听觉实验确定噪声烦恼度时,需有偿招募大量志愿者,投入的人力、物力和时间成本均较大,建立噪声烦恼度预测模型,可通过模型计算直接获取噪声烦恼度。目前,国际标准化组织(ISO)尚未制定噪声烦恼度听觉实验技术规范,不同研究对听觉实验烦恼度数据的处理方法不尽相同。实验中被试充当着噪声烦恼度“测量仪器”的角色,不同被试对同一声样本、同一被试对不同实验声样本组中同一声样本的感知烦恼度,都可能因被试心理尺度不同而存在差异。为准确获取噪声烦恼度,有必要通过研究筛选适用于听觉实验的最佳烦恼度数据校准、量化等方法。同时,为提高噪声烦恼度预测模型精度,除声学因素外,需进一步识别影响烦恼度的个体和社会等因素,建立涵盖声学和非声学因素的烦恼度预测模型。 本研究以变电站噪声为例,招募1342名被试,开展一系列噪声烦恼度听觉实验,对比研究了不同数据剔除、数据校准、烦恼度量化等方法对声样本烦恼度的影响,分析了不同烦恼度拟合模型精度差异。在此基础上,定量研究了声学因素(20个声学参量)、视觉因素(声场景呈现方式)、个体因素(性别、年龄、学历、收入、噪声敏感性)、社会因素(工作场所声环境嘈杂度)对噪声烦恼度(MA)和高烦恼率(%HA)的影响,建立了涵盖声学和非声学因素的烦恼度预测模型。主要创新点和贡献如下: (1)明晰了听觉实验数据不同校准方法对统一被试噪声感知烦恼度的心理尺度的效果。结果表明,在个体烦恼数据校准、声样本烦恼数据校准、烦恼数据二次校准方法中,以个体烦恼数据校准效果为最佳,校准后不同实验声样本组中同一声样本的MA组间差值均小于1,噪声样本心理声学烦恼度(PA)与MA间Logistic函数拟合曲线的决定系数由校准前的0.73提高至校准后的0.96。 (2)探明了视觉因素(不同声场景呈现方式)对噪声感知烦恼度的影响。结果表明,被试通过耳机接受噪声刺激时,基于虚拟现实或现场照片向被试呈现声场景,噪声烦恼度听觉实验结果(MA和%HA)与现场评价结果间无显著差异(p>0.05),无视觉刺激(即无声场景呈现)时听觉实验结果低于现场评价结果。 (3)提出了噪声敏感人群识别方法。利用Weinstein噪声敏感性量表获取被试的噪声敏感性值(NSS),结合粉红噪声烦恼度听觉实验,确定个体噪声敏感性值110可作为识别噪声高敏感(NSS≥110)和低敏感人群(NSS<110)的阈值,通过变电站噪声烦恼度听觉实验结果验证了这一阈值的合理性。 (4)明晰了显著影响噪声烦恼度的个体和社会因素,其包括年龄、噪声敏感性、收入、学历和工作场所声环境嘈杂度,对烦恼度的影响权重分别为7.8%、4.3%、3.4%、1.7%和1.7%。 (5)建立了涵盖声学和非声学因素的变电站噪声烦恼度预测模型,探明了声学和非声学因素对变电站噪声烦恼度的影响权重分别为81.0%和19.0%。

关键词： 星载实时系统   目标检测   感兴趣区域   FPGA  

摘要： 论文涉及一种针对卫星图像的多模态数据处理系统的设计与实现。针对星载红外目标监视图像数据率高与星地数传带宽有限的矛盾,以及星载资源受限下的数据实时处理传输难题,论文研究了多模态数据处理传输方法及其FPGA实现技术,提出基于弱小目标检测的动态感兴趣区域提取、静态感兴趣提取、抽帧全域/静态区域/动态区域数据调度下传技术,完成了基于FPGA的硬件设计与实现,具体内容如下: 首先,针对数据传输带宽有限的难题,设计在轨疑似目标区域提取处理模态,显著降低下传数据率。基于多尺度块对比度弱小目标检测算法(Multiscale Patch-based Contrast Measure,MPCM),提出基于像素邻域的高亮盲元检测与补偿方法,逐像素检测过预置门限点并抽取其所在图像子块,生成包含疑似目标的动态感兴趣区域;进一步,提出结合帧间位置关联性与过阈值点强度的目标区域置信度估计方法,衡量动态感兴趣区域包含目标概率。实验结果表明,输入数据率为134Mbps,疑似目标区域提取后输出数据率降低至7Kbps,过目标置信度门限子块包含目标概率达97%。 其次,设计抽帧全域数据压缩、参数上注静态感兴趣区域压缩模态,形成抽帧全域/静态区域/动态区域多数据处理模态。针对星载计算资源受限约束,提出基于全流水线并行的多模态处理FPGA硬件架构;针对有限带宽约束下的多模态处理数据传输难题,提出一种静态-动态结合调度的带宽分配方法,实现基于检测的动态阈值自适应调控,能够完成星地数传带宽分配情况的动态调整。系统验证结果表明,像素吞吐率达43.01Mpixel/s,各模态数据传输时延均小于2ms,各种资源使用量控制在80%以下,满足在资源受限情况下数据实时下传的要求。

关键词： 单层联想记忆网络   双层联想记忆网络   多数据集联想记忆网络   非线性变换   自编码器   模糊C均值  

摘要： 近年来,随着科技水平和生活水平的发展提高,人类追求事件物质的精细程度越来越高,大量的数据记录随之而来。人们在享受科技带来的便利时,面临着大量繁琐的数据处理。如今,数据集之间不仅仅是高维度的数据集,还存在着各种相互作用的关系,这样就对于人类处理数据的能力、速度、效率提出了更高的要求。对数据处理方法的研究日益受到重视,如何高效地记录数据、处理数据、分析数据一直是数据处理领域中活跃的前沿研究课题。研究过程采用粒子群优化算法、梯度下降法等优化算法对一系列联想记忆网络机制进行了理论研究,并利用数据空间转换、自编码器、模糊聚类处理等方法对一些数据联想记忆机制进行逻辑优化,以期通过提出联想记忆网络的逻辑扩展结构进一步改善这些联想记忆机制,使得可以对数据进行更快速、高效、准确地存储、恢复和处理,为深入了解和发展大数据处理方法提供理论基础,为进一步的实验研究提供理论依据。主要内容概括如下:1、联想记忆网络是在两个数据集之间,建立一个记忆矩阵,通过输入集与记忆矩阵的逻辑运算得到输出集。在考虑单层数据联想记忆网络的结构时,引入数据空间转换的概念(非线性分段函数映射)对输入输出集分别进行处理。数据集先被数据空间转换到一个新的空间域,其次再以联想记忆矩阵的形式进行存储,回忆数据时利用数据空间转换函数的逆变换得到原数据集的回忆集。数据空间转换模式主要存在三种模式——输入空间转换、输出空间转换以及同时对输入和输出空间转换。具体实验里采用了非线性分段函数处理输入集和输出集,而分段函数的参数,即分段函数的截点数(如何分段),主要通过以回忆数据集与原数据集的误差为目标函数的粒子群算法优化而得到。实验中重点针对几种常见的数据联想记忆网络——相关联想记忆网络、模糊联想记忆网络和形态联想记忆网络来论证非线性变换的处理能有效地提高数据存储记忆能力。这部分实验揭示了分段函数的截点数的选择与不同的联想记忆网络回忆误差之间的关系,分段函数的截点数越多,数据集回忆的误差越小。证明了非线性变换的引入有助于提高单层数据联想记忆网络的回忆能力。2、双层联想记忆网络是在单层联想记忆网络中添加了一个隐藏层矩阵,原数据集都与这个隐藏层的数据集进行逻辑运算,即得到两个联想记忆矩阵。在研究双层数据联想记忆网络结构时,引入多层神经网络——数据自编码处理方法对数据集进行处理,提出了基于自编码器接口的双层联想记忆网络结构模型。这个模型由两部分单元组成。第一部分利用自编码器对原高维度数据集进行有效地降维处理,得到输入集的良好表示,这个新表达有助于第二部分的面向逻辑的联想记忆网络实现存储和回忆数据,最后利用解码器得到原数据集的回忆集。在这部分实验中,分别利用粒子群优化算法、差分进化法和梯度下降法对自编码参数设置进行优化。实验表明,随着自编码器中的隐藏层层数的增加和每一层的维数选择不同,可以不同程度地提高数据存储回忆能力。对比结果可知,基于自编码器接口的双层数据联想记忆网络比原双层联想记忆网络、单层联想记忆网络能更有效地存储回忆数据。3、多个数据集需要同时存储记忆时,需要存储的记忆矩阵就是一个庞大的高维数据,在多数据集联想记忆网络(即张量联想记忆网络)中,引入模糊聚类分析方法——模糊C均值方法对多个数据集进行聚类处理,联想记忆网络的存储对象由原先多个原数据的整体存储记忆矩阵变为多个数据集的聚类中心和隶属度的存储记忆矩阵,减少了联想记忆矩阵的数据存储量和计算量,最后利用聚类中心和隶属度函数还原多个数据集的回忆集。在这部分实验中,主要利用粒子群优化算法和梯度下降法对模糊C均值方法参数进行优化选择。在选择到合适的聚类分析法参数时,对基于模糊C均值的张量联想记忆网络进行了大量的数据实验。计算结果表明,基于模糊C均值的张量联想记忆网络可以有效地提高数据存储能力和减少回忆数据的误差。

ISBN: (纸本)9787111697411

关键词： 不平衡数据   T分布   数据分区   采样  

摘要： 不平衡数据集的分类问题,如欺诈检测、医疗诊断、网络入侵检测等经常出现在很多实际领域中,得到了大量研究者的关注。在这种类型的数据集中,每个类的样本量是不相等的。传统的分类器只适用于平衡数据集,它们在不平衡数据集上偏向于多数类,对少数类的识别常常不尽如人意。目前,处理不平衡数据集的方法主要有两种:数据层面和算法层面。由于数据层面的方法更具有通用性,因而被广泛使用。数据层面的方法有过采样、欠采样和混合采样三种。目前,这些方法主要是针对整个数据集进行重采样,其中涉及较多的SMOTE采样由于利用线性插值的方式生成新样本,易产生干扰性实例,从而影响最终的分类结果。另外,不同区域的数据往往拥有不同的特征,将数据进行区域划分,在各个区域上根据数据的真实分布进行重采样的方法较少,且已有的方法主要集中在高斯分布。因此,数据层面的方法还有待进一步深入研究。 为了尽可能避免干扰性实例的产生,进一步扩充不平衡数据分类问题中数据层面的方法,使经典分类器适用于不平衡数据集,我们首次将T分布引入到采样算法中。论文给出了3种基于T分布的采样方法,分别是基于T分布的过采样（TDO）、基于T分布的混合采样（TDHS）以及将数据分区和混合采样相结合而形成的基于数据分区的T分布混合采样（DP-TDHS）。另外,当DP-TDHS方法中的T分布变换为高斯分布时,我们得到了基于数据分区的高斯分布混合采样（DP-GDHS）。 为了从上述的4种算法中选出最优的算法,我们在25个实验数据集上使用Wilcoxon符号秩检验进行比较。经假设检验得到基于数据分区的T分布混合采样（DP-TDHS）在AUC和F1上的表现较好。最终,将本文提出的DP-TDHS算法与目前使用较多、较新颖的8种采样算法在25个数据集上进行F检验和Wilcoxon符号秩检验。实验结果表明,DP-TDHS方法在主要评价指标AUC和F1上优于其他方法,在辅助评价指标Accuracy和Recall上表现较好,但该方法的时间复杂度较高,运行时间比较长。