关键词： 三维点云   滤波去噪   点云简化   点云配准   边缘提取  

摘要： 随着现代工业制造、计算机等技术的发展,激光扫描的点云数据以其对物体曲面信息的准确表达,在各行业中被广泛采用。实际采集的点云数据存在数据量庞大、特征信息不完整,并且混杂噪声点的问题。在对点云数据系统分析的基础上,本文研究了点云滤波去噪、简化、配准拼接及边缘提取方法,并通过实际测量实验进行了验证。 在建立点间拓扑关系的基础上,用自适应统计滤波与改进的双边滤波算法完成对原始三维点云的滤波去噪。自适应统计滤波去噪算法根据统计的点与点间的欧氏距离分布情况实现阈值的自适应,去除掉大尺度离群噪声点;改进的双边滤波算法通过改进滤波因子,更新点的位置实现小尺度噪声点的光顺。基于包围盒的点云简化算法通过引入信息熵,根据采样点邻域曲率信息实现特征区域与非特征区域的划分,对非特征区域进行包围盒简化处理。实验结果表明,预处理算法均能保持特征信息,且噪声点去除率达97%,精简率达66%。 在处理大量点云数据时,配准过程通常会变得耗时且容易陷入局部最优解。为了解决这两个问题,本文对配准过程进行了改进。首先提取出点云数据的内在形状特征(Intrinsic shape signatures,ISS)关键点,利用快速点特征直方图对关键点进行特征描述。利用点到平面的最小距离代替传统迭代最近点(Iterative Closest Point,ICP)算法中点到点的欧式距离,通过引入随机采样一致性算法去除错误点对以改进传统ICP算法。实验结果表明,该方法均方根误差比传统ICP算法低2.37mm,运行时间缩短60%。 通过结合采样点邻域质心偏差和邻域点矢量和,基于微切平面的三维点云边缘提取算法实现了对具有边界特征的点集群的快速初步筛选。利用微切平面上邻域点向量最大夹角阈值,对初步筛选出的具有边界特征的点集群进行进一步精确定位,从而实现了对边界点云的完整提取。实验结果表明,与传统方法相比,本方法的算法精度有所提高、运行时间缩短2%～14%,为后续的处理和分析提供了可靠的基础。 使用三维激光扫描设备对机械零件进行数据采集,利用点云数据处理方法对所采集的数据进行去噪、简化、配准、边缘提取,将最终的边缘提取结果与接触式测量获得的零件局部测量数据配准比较,处理后的平均误差在0.057mm。合成数据点云和实测点云的实验结果表明,该方法可以很好地保留特征信息,满足后续点云数据处理的需求。

关键词： 分布式流式数据处理系统   受限环境   静态任务分配   动态拓扑调整  

摘要： 随着互联网技术的迅猛发展、数字化转型步伐的加快以及物联网技术的普及，我们见证了数据量的爆炸式增长。这一增长催生了多种流式数据处理框架。尽管如此，这些框架在一些资源受限的场景下，表现得仍不尽如人意。受限环境下，合理利用集群资源，使用灵活的任务分配策略和拓扑调整策略，是改善分布式流式数据处理系统性能的主要研究方向。　　针对这一挑战，本研究分析了受限环境中流式数据处理系统所面临的问题。提出了两种创新的任务分配和拓扑调整策略，并利用Storm框架验证了策略的可行性。在受限环境下，这两种策略可以减轻集群的资源倾斜，提升系统的吞吐量和资源利用率。此外，本文还针对资源受限环境，设计并实现了受限环境下的分布式流式数据处理系统，并为用户提供了良好的交互界面。论文的研究内容如下：　　1. 基于优化的离散粒子群的静态任务分配策略。为应对资源受限环境中，任务实体分配的局限性，提出了一种基于优化的离散粒子群算法的静态任务分配策略。该策略通过综合考虑当前系统的CPU、内存、网络等资源状况，为流式数据处理作业中的任务实体智能分配运行节点。该策略能有效降低系统资源配置的不平衡度，缓解资源利用的倾斜问题，从而在有限的资源条件下提升整个数据处理系统的运行效率和稳定性。　　2. 基于强化学习的动态拓扑调整策略。为了解决传统分布式流式数据处理系统在受限环境下，因无法动态调整拓扑结构所带来的性能损耗，本研究提出了一种新的基于强化学习的动态拓扑调整策略。该策略能够动态的调整流式数据处理作业的拓扑结构，并且智能地调整各组件的并行度，确保资源分配的灵活性和系统处理能力的最优化。该策略可以有效提高系统的吞吐量和资源利用率。　　3. 面向受限环境的流式数据处理系统设计与实现。为了满足受限环境下实际的流式数据处理需求，本文基于Storm流数据处理框架，采取了前后端分离的架构策略，设计并实施了一个适应受限环境的分布式流数据处理系统。该系统提供了全面的管理功能，包括规则管理、数据流管理、资源监控和用户管理等，旨在实现高效的数据处理和资源利用，以及提供灵活的用户交互界面。

关键词： 乳腺癌   癌症预诊断   不平衡数据   多组学数据   数据处理   随机森林   深度学习  

摘要： 乳腺癌作为全球范围内女性最常见的恶性肿瘤之一,其诊断与治疗已成为医学研究的重点。在乳腺癌的预诊断过程中,准确性和早期发现对于提高患者的生存率至关重要。随着机器学习的飞速发展,二分类和亚型多分类算法被广泛应用于乳腺癌的早期诊断和分型。二分类算法主要用于区分乳腺癌患者和健康个体,这对于早期发现乳腺癌患者并进行干预至关重要。而亚型多分类算法则进一步在乳腺癌恶性肿瘤中进行细分,根据肿瘤的分子特征将其分类为不同的亚型,从而为患者提供更为精准的治疗方案。尽管机器学习技术的应用前景广阔,但乳腺癌数据的天然不平衡特性及该疾病的生物学复杂度仍然为当前的诊断方法带来了一系列的挑战,对此,本研究主要研究结果如下: （1）乳腺癌的早期发现会大大提高治疗的成功率。在乳腺癌的早期筛查中,数据往往呈现出不平衡的特点,即健康样本的数量远远大于患病样本的数量,但准确识别患病样本却非常重要。因此,提出了一种基于聚类和双层过采样的不平衡乳腺癌数据处理方法（CDLS）。通过聚类将数据分成不同的簇,并在簇内和簇间进行新的少数类样本的合成,并且对于簇边缘上重叠不可分的样本对进行删除,以此来平衡数据。实验结果表明,该方法提高了乳腺癌不平衡数据的分类准确率,在公开的 Breast Cancer Wisconsin、Breast Cancer Coimbra 和 Mammography三个乳腺癌数据集,23352个乳腺癌样本上取得了最好的分类结果。三个数据集的 Sensitivity 指标分别为 100%、89.5%和 78.9%,F1 score 指标分别为 97.1%、90.3%和 63.1%,AUC 指标分别为 98.1%、91.1%和 88.2%。 （2）基于乳腺癌早筛数据的不平衡处理,对从常规血液分析中收集的参数（葡萄糖、胰岛素、瘦素、脂联素、抵抗素等）进行了进一步的分类研究。为了进一步提高乳腺癌分类的准确率,提出了一种基于随机森林和粒子群算法的乳腺癌二分类方法（RFPS）,通过优化所提方法的性能,实现了更高的分类精度。该方法通过粒子群优化算法,初始化粒子群代表随机森林超参数组合,通过迭代更新寻找最优组合,提高模型适应度。在11600个乳腺癌数据样本中进行方法的实验,在 Accuracy、F1 score 和 AUC 指标上分别达到了 92.6%、93.3%和 94.8%,相比于随机森林提升了 9.7%、14.7%和12.6%,有效提升了随机森林的分类准确性,并且该方法在其他20个数据集上的表现也十分优异。 （3）近年来,随着基因组学、表观遗传学、转录组学等多组学研究的快速发展,乳腺癌亚型分类研究成为了解乳腺癌异质性、指导精准治疗的关键环节。因此,提出了一种基于深度神经注意力网络的乳腺癌亚型多分类方法（DNAM）,通过整合TCGA数据库中的mRNA、DNA甲基化和CNV组学数据对乳腺癌的亚型进行准确划分。利用特征选择和降维技术,从复杂的组学数据中提取关键基因表达信息,并通过神经聚焦注意力模块赋予关键特征更高的权重,进一步通过特征融合模块对来自不同组学信息通路的数据进行高维特征表示,最后通过前馈神经网络进行亚型的分类。实验结果表明,相较于其他多分类方法,本方法在Accuracy、F1macro和F1weighted这三个关键性能指标上均达到了优越的表现,分别为89.6%、86.5%及79.5%,显著优于其他方法,有效地提高了乳腺癌亚型分类的性能。此外,通过结合特征选择和神经聚焦注意力模块,能显著改善乳腺癌亚型的分类性能。进一步分析显示,通过结合多种组学数据进行分析,与单独使用mRNA、DNA甲基化和CNV组学数据相比,Accuracy指标分别提升了 9.0%、5.7%和21.8%。这一结果凸显了多组学数据在乳腺癌诊断和治疗领域中潜在的重要价值。 综上所述,本文提出的三个方法有效提高乳腺癌不平衡数据处理水平及早期诊断和亚型分类的准确度。这不仅为乳腺癌的早期筛查和精准治疗提供了新的思路,而且展现了人工智能技术在处理复杂医学数据方面的潜力。未来,这些方法的进一步优化和应用将对乳腺癌的管理产生更深远的影响。

关键词： 边缘计算   微服务部署   多智能体深度强化学习   图神经网络  

摘要： 在物联网技术的推动下,大量的终端设备接入互联网中并持续生产出数量庞大的数据帮助人们更好的生产和生活,许多新的流式数据处理应用如智能管理,实时监控分析,实时娱乐等对基础网络设施提出了更高的要求。由于云计算遭遇的带宽瓶颈,靠近终端设备提供算力支持的边缘计算逐渐成为了提供低延迟服务的一个范式。同时,由于微服务应用架构具有易于开发测试维护,易于部署扩展,高容错性和服务隔离性等众多良好的特性,将服务程序拆分为一组独立自治的微服务成为了在边缘计算场景中开发应用的不二选择。流式数据处理服务通常被拆分为多个微服务并组成一条微服务链,如何将这些微服务链放置到资源有限且异构的边缘服务器上才能充分利用边缘计算网络的资源以降低用户感知时延是十分重要的问题。针对该问题,本文研究了边缘计算场景下流式数据处理服务的放置算法,包括如下两部分: (1)在同构微服务链放置场景中,建立了最小化全局微服务链平均时延的问题模型。考虑到场景复杂且不断变化,将放置过程建模为马尔科夫决策过程,并基于深度强化学习提出了SP-SCP(Single controller placement algorithm of streaming data processing service)算法。基于要放置的微服务链结构和边缘计算网络的资源使用情况,以及使用图神经网络提取的边缘计算网络空间信息,将微服务放置到边缘服务器上,以期最小化全局微服务链的时延。仿真实验表明,该算法具有良好的收敛性,相比于其它算法能够有效降低全局微服务链的平均时延。 (2)在更加复杂的异构微服务链放置场景中,将结构近似的微服务链分到同一组,为了针对不同组的微服务链同时进行有效的放置,基于多智能体深度强化学习提出了SP-MCP(Multi controller placement algorithm of streaming data processing service)算法,将多智能体对应为多个控制器,每个控制器负责放置一组微服务链。每个智能体都基于各自要放置的微服务链结构和边缘计算网络的资源使用情况,以及使用图神经网络提取的边缘计算网络空间信息,并发地将微服务放置到边缘服务器上,以期最小化全局微服务链的时延。仿真实验表明,该算法具有良好的收敛性,与其它算法相比,能够有效降低全局微服务链的平均时延。

关键词： 多时相遥感影像   城市变化监测   数据处理   配准精度   智能分析  

摘要： 多时相遥感影像在城市变化监测中具有关键作用。当前，其应用可精确获取城市土地利用类型转变、建筑扩张与收缩等信息，分辨率和光谱信息的提升增强了监测能力。然而，存在多时相影像配准精度待提高、数据处理效率低、云层遮挡影响等不足。该技术的意义在于为城市规划、资源管理、灾害评估等提供科学依据。本文旨在改进影像配准算法、优化数据处理流程，采用多源数据融合与智能分析技术，以提升城市变化监测的准确性和时效性，更好地服务于城市发展相关决策。

关键词： 噪声测井技术   数据处理   漏窜识别   机器学习   软件实现  

摘要： 部分油田存在开采条件差,地质条件复杂,地下断层较多,地层水矿化度较高的情况,以及对油水井进行压裂、酸化及射孔等措施作业,会造成油水井套管及油管出现破损,油水井出现“窜漏”的情况越来越多,严重影响注水效果,无法实现精细注水。因此,油水井找漏测井成为当务之急。利用测井技术进行油水井找漏,可以找准漏失位置并采取相应措施,不仅可以提高注水开发效果,提高水驱动用储量,减少无效注水,而且还可以及时恢复油水井的正常生产。针对国内外先进的水泥胶结测井RIB八扇区测井技术[1],开展了一些井下水泥胶结测井分析工作,但由于仪器本身的设计缺陷、仪器的适用范围较小、以及测井解释欠缺等多种原因,最终都无法实现在生产情况下进行检漏找窜。因此我们急需引进一种新的测井技术来完善现有的找窜测井工艺系列,解决这一生产难题。目前国内油水井找漏测井技术主要有井温、流量、放射性同位素、噪声、氧活化、中子寿命测井等,这些测井方法只能定性分析漏失大概位置,对于漏失原因、注入水所到位置无法准确判断,而噪声测井可以识别水泥环窜槽、储层吸水情况,便于直观明了的分析判断水流去向。 本文采用噪声测井数据,将噪声数据根据不同的噪声道,分为高、中高、中、中低、低频五个频率段,方便进一步的计算与处理。每个频率段代表了50个噪声道所累加得到的数据。再进一步对这些数据进行定量计算,最终得到所选层段的相对流量。利用不同方法分别对储层高频率噪声和漏窜中频率噪声进行半定量分析,以估计射孔层段相对流量和单相流体注入量。分层段分频率对噪声数据进行处理,可以很好的弥补各个计算方法的不足之处。用不同方法处理之后,比较其不同之处,选取最优方法作为相对流量计算结果。对噪声频谱测井资料进行数据处理并完成井下噪声的定量评价,基于噪声数据每个深度点的噪声信号特征的不同,确定各深度点或井段的流量比例,并基于求出的流量比例对总流量进行流量分配,并根据每个层所选频率段的相对注入量是否存在较大差值,判断该层段的漏窜情况。利用机器学习方法,对管中流动、储层流动、漏窜噪声等处在不同频率段的噪声研究分析,进一步缩小其频率范围。最终编写软件,方便后续观察噪声图像和减少计算相对注入量的工作量。

摘要： 一、教材分析“数据处理与应用”是继“认识数据与大数据”“算法与程序实现”后兼具应用性以及实践操作性的内容。该模块主要讲述了数据处理的概念内涵、提炼数据的方式以及处理数据的原理等，着重培养学生利用各类技术工具分析并处理数据的能力，进而完成分析报告，有效提高学生的数据安全意识以及可视化表达技能。二、学情分析高一学生具有较强的思维能力与自主探究能力，更倾向于在真实体验中学习理论知识。