ISBN: (纸本)9787121444531

ISBN: (纸本)9787300311463

关键词： 数据处理   研究  

ISBN: (纸本)9787519297695

摘要： 本书总共有八章。第一章用一个学界和一个业界的故事作为开篇，让读者了解另类数据产生的背景和重要意义。第二章将介绍另类数据这个概念以及相关的行业现状，其中特别说明了另类数据和大数据之间的区别和联系。第三章从不同角度对另类数据进行了分类，考虑到另类数据这个概念的内涵和外延是在不断变化的，所以另类数据的分类也将是与时俱进的。第四章介绍了在应用另类数据中遇到的挑战和风险，包括个人隐私、重大非公开信息这些法律问题，处理另类数据需要解决的实体匹配等技术问题，以及在应用另类数据方面领先者和落后者所面对的不同风险。第五章讨论了把另类数据应用到决策过程时的流程，这一章对于资产管理团队在引进另类数据时具有很强的实操含义。第六章讨论了各种对另类数据进行估值的方法，它可以帮助金融机构在引进另类数据时进行合理有效的价值评估。第七章对当前已经得到应用的另类数据按照类别进行了介绍。考虑到环境、社会和治理（ESG）这个概念的重要性，我们把涉及ESG的另类数据单独放到第八章进行了讨论。

关键词： 毁伤效应预测   数据处理   混合密度网络   贝叶斯优化   特征优选  

摘要： 随着机器学习技术的发展和毁伤效应数据的充实完善，支持向量机、随机森林、神经网络等机器学习方法由于能够从大量毁伤数据中建立精度高、适用性强的连续毁伤谱，在毁伤效应预测中得到了广泛应用。但是，在使用机器学习方法开展毁伤效应预测时，还存在两个难点问题:1）受复杂战场环境和武器性能差异的影响，毁伤效应预测结果往往具有一定的不确定性，常见的机器学习方法难以量化这种不确定性;2）针对大量的“武器-目标”组合，常规方法难以快速地根据毁伤效应数据，选择合适的算法及其超参数构建相应毁伤效应模型。　　针对上述问题，本文开展的主要工作如下:　　1）针对现有机器学习模型难以量化效应预测目标函数的不确定性，无法适应效应预测结果中存在的多峰分布情况，提出了一种基于改进混合密度神经网络的毁伤效应预测方法。该方法能够根据效应数据进行建模，通过改进混合密度网络，生成可以量化效应预测目标函数不确定性的概率密度函数，并根据给定置信水平，通过所得密度函数得到相应置信区间。改进混合密度网络采用鲁棒性更好的T分布作为混合分量，解决了基于高斯核的混合密度网络鲁棒性较差的问题，并对T分布做截断处理以防止密度泄露。仿真实验表明，基于T分布的改进混合密度网络生成的密度函数较基于高斯核的同类方法有更好的鲁棒性，可以较为准确地拟合蒙特卡洛仿真结果，能够量化目标函数的不确定性;较之其他基于机器学习的毁伤效应预测方法，可以为概率性决策提供有效支撑。　　2）针对毁伤效应预测过程中的算法选择及超参数优化问题，提出了一种基于特征优选和连续折半贝叶斯优化（SHBO）的毁伤效应预测方法。该方法采用交叉递归特征消除（REFCV）进行特征优选，提取高维数据中的关键特征,并利用SHBO根据算法评估指标进行优选得到候选算法集，使用基于TPE的贝叶斯优化方法优化相应候选算法的超参数，最后经训练获得优选模型。仿真实验表明，REFCV可以剔除冗余特征，消除与目标无关特征的干扰，降低数据维度，加快后续算法优选和超参数优化的速度;SHBO可以根据毁伤数据的实际情况快速选择合适算法得到候选算法集，并通过基于TPE的贝叶斯优化方法有效优化相应超参数。相较于常见优化算法，本文所提方法在准确性和效率方面具有一定优势。

关键词： 深度学习   地震数据   高分辨率处理   同步压缩小波变换   波阻抗预测  

摘要： 我国对于油气资源的勘探和开发逐渐转向深层、薄层、复杂地质构造,对地震勘探相关技术提出更高的要求,高分辨率、高精度的地震数据处理与解释方法成为研究热点之一。现有地震数据高分辨率处理技术能在一定程度上拓宽频带、提高主频,但对薄储层的精细刻画能力有限。地震反演技术根据常规的地震属性计算能够反映地层岩性特征的物理参数。采用测井约束的地震反演能够引入测井高频信息,反演结果具有较高的纵向分辨率,但存在多解性问题。本文研究一种地震数据高分辨率处理方法以及基于深度学习的波阻抗反演方法。论文主要工作如下:1.实现基于同步压缩小波变换(SSWT)的地震数据高分辨处理方法。SSWT作为小波变换(WT)的一种改进,具有更好的时频聚焦性,能够更精确地定位地震信号在时频谱中的能量分布情况。根据SSWT和谐波分解原理,在原始地震数据有效频段基础上补偿高频与低频信息,拓宽频带、提高主频。可以将地震数据纵向分辨率提高到20m以内,为后续工作提供良好的数据基础,是提高波阻抗反演分辨率的重要因素之一。2.提出基于深度学习方法实现波阻抗的高分辨率反演。高分辨率来源于宽频带的地震数据输入与测井阻抗的模型约束。利用井旁原始地震道、SSWT拓频地震道、波形指示反演阻抗与测井阻抗曲线构成井震多尺度特征数据集,丰富特征集利于模型的学习。分别提出高分辨率阻抗预测模型(1D-Dense Net)与超分辨率阻抗预测模型(1D-SR Dense Net),模型基于一维卷积神经网络(1D-CNN),引入Dense Net的密集连接模块,实现浅层与深层多尺度特征融合。进一步引入像素重排(Pixel Shuffle)对输入特征进行上采样,阻抗预测结果包含更多测井层位细节信息,纵向分辨率进一步提升。3.在AM地区某气田展开阻抗的高分辨率三维预测实验。利用基于SSWT的拓频方法对初始地震数据进行拓频处理。提取目标层位地震数据与优选测井数据,构建井震多尺度特征数据集,展开阻抗预测网络模型的训练与调优。阻抗预测结果显示,纵向分辨率得到显著提升,有效融合了地震数据的横向趋势与测井层位细节信息。预测结果与测井解释成果吻合度较高,储层-隔夹层厚度预测准确,可以较好地解决该工区薄储层-隔夹层的识别问题。

关键词： 流处理   算子部署   云边架构   DAG分割   吞吐量预测   强化学习  

摘要： 随着物联网技术的不断发展,越来越多的数据在终端设备上产生,传统的基于云端设计的流数据处理系统在处理来自终端的数据时,会面临吞吐量降低,延迟变大等问题。本文通过结合云边架构,把传统部署在云端的流处理系统扩展到边缘端,设计实现了云边架构下流数据处理任务部署方案,通过该方案实现任务在云边架构下的部署与运行。 本文提出的流数据处理任务的部署方案分为三个部分,包括对任务对应的有向无环图进行分割、基于注意力机制的算子部署和Flink下任务的执行。首先是任务对应的有向无环图进行分割,通过分割使得有向无环图分为两个子图,分别部署到云端和边缘端。在进行分割时,本文通过对有向无环图中节点对应算子在不同的系统资源和不同的元组大小下进行采样,利用回归分析和资源预分配实现了对任务的吞吐量预测算法,通过预测不同分割方式下任务的吞吐量,并结合云边带宽找到最大化吞吐量的分割方案。其次,在得到分割方案后,本文提出了一种基于注意力机制的深度强化学习部署算法,利用一个编码器-解码器模型对有向无环图的拓扑序列进行处理,最后得到算子的部署结果,并利用强化学习中的策略梯度方法进行模型参数的更新,优化部署结果。最后根据部署结果,本文基于Flink实现了一个云边架构下的流处理平台,该平台通过对Flink源码进行修改,使得Flink能够按照本文提出的部署算法进行算子部署并执行。 本文通过实验分别对有向无环图的分割算法和算子部署算法进行验证,并与Flink原生部署算法和另外两个基于云边协同的部署算法进行比较,根据实验结果证明了本文提出的算法能够解决云边场景下流数据处理任务的部署问题,相比Flink原生算法在略微增加延迟的基础上极大提升吞吐量,相比另外两个基于云边协同的算法在吞吐量和延迟上均能取得较大优势。

关键词： 异构数据处理平台   服务器集群   最优匹配   负载均衡  

摘要： 随着物联网技术的高速发展，在各行各业中出现了越来越多的物联网设备，由于物联网设备间存在着不同的接入协议，导致接入物联网平台的数据种类也逐渐复杂化，从物联网感知层所采集的数据呈现出多源异构的形态。为了统一处理来自不同厂商、不同接入协议的物联网设备所产生的异构数据，需要一个支持多源异构数据统一接入处理的物联网平台来打通数据互通的壁垒。　　与此同时，用户数量的迅速增加所带来的高并发式请求对平台服务器的处理能力也提出了巨大挑战。为此，行业多采用服务器集群技术将多台服务器虚拟为一台服务器统一对外处理用户请求。负载均衡技术则是保障服务器集群高效稳定运行的关键技术之一，而传统的负载均衡策略通常是固定参数的静态调度，无法根据各节点负载的动态变换实时调整分配策略。为了应对服务器间负载不均衡所产生的负载倾斜等问题对集群性能的限制，需要一种合适的动态负载均衡策略来处理集群中服务器间的请求调度。　　因此，本文针对多源异构数据处理平台设计和高并发请求下的负载均衡机制进行研究，主要的研究内容和工作包括以下四个方面：　　（1）分析物联网多源异构数据的产生、接入和处理问题;对物联网的概念和应用进行了介绍，总结分析了当前常用的物联网接入协议，指出了融合网关是实现多源异构数据接入的关键;详细介绍了服务器集群的分类和架构，指出负载均衡技术是服务器集群的关键技术之一，并对负载均衡算法进行了对比分析。　　（2）针对服务器集群中任务调度不合理所导致的负载均衡问题，提出一种基于赋权二分图最优匹配的动态负载均衡算法。首先构建以服务器和任务为顶点的二分图，使用服务器的实时处理速度作为负载指标，将各任务量与各服务器负载能力的匹配度定义为权值矩阵，并采用Kuhn-Munkres算法求解赋权二分图的最优匹配，按最优匹配的结果实现任务到服务器的最优指派，充分考虑各请求的任务量和各服务器的负载能力之间的差异化。　　（3）针对服务器集群中在处理请求时所面临的负载倾斜等问题，提出一种基于人工蜂群算法融合负载均衡的请求迁移算法。首先通过负载阈值上下限的设计将集群中的服务器进行划分，对于超过负载阈值上限的服务器则激发请求迁移策略。算法设置了在负载均衡限制下的最小时间损耗作为最优迁移目标服务器的选择评判指标;通过人工蜂群算法在轻载服务器中选择最优迁移目标服务器;最终按照最短迁移步数将请求迁移至最优目标服务器执行。　　（4）针对物联网平台多源异构数据的统一接入和高并发请求的调度等问题，提出一种多源异构数据处理平台的设计方案。通过融合网关设计实现了多种接入协议的物联网终端设备的统一接入，引入四层和七层融合的负载均衡机制实现平台高并发请求的调度，并以智能宠物家居为实例进行介绍。

关键词： 电子病历   危重病早期预测   数据处理   机器学习   ICU患者  

摘要： 电子病历的积累为基于机器学习算法的辅助医疗诊断提供了数据支持，进而提高了临床诊断的准确性。在ICU病房中，患者面临着极高的危重病发病风险。ICU患者具有病情发展快、死亡风险高等特点。因此，对ICU患者危重病发病风险的实时检测、早期识别和及时干预可以提高患者生存率，改善患者生理结局，具有重要的临床意义。目前在临床上，仍使用基于患者的各项检查数据生成的风险评分系统来辅助诊断，但其诊断流程复杂，耗时长，不能达到提前预警的效果。为此，本文旨在提出基于机器学习的危重病早期预测模型，从而实现更精准、有效的早期识别。本文以脓毒症预测为例，基于电子病历数据针对患者危重病早期预测问题展开研究。针对电子病历中的数据不均衡问题，提出了基于遗传算法的危重病早期预测模型;针对现有危重病早期预测模型忽略误警率和漏报率权衡、忽略患者之间的异质性等问题，提出了基于双目标优化的患者危重病早期预测模型，并对模型结果进行可解释分析。具体研究内容如下：　　第一，为解决由于电子病历数据不均衡对危重病早期预测模型性能的影响，本文提出了一种基于遗传算法的数据不均衡处理算法（ADataImbalanceProcessingAlgorithmBasedonGeneticAlgorithm，DIGA）。该方法通过K-means聚类算法将未发病患者多数类样本根据生理指标相似性聚成多个簇，并基于遗传算法选择能够实现最佳预测性能的子簇，将发病患者数据与未发病患者最优子簇合并为训练集训练分类器，最后在患者测试集上进行模型的评估。为验证DIGA的有效性，本文基于ICU中脓毒症的相关数据进行了实验，选择了流行的数据不均衡处理算法进行对比实验，实验结果体现该算法的优越性。　　第二，为充分考虑患者之间的个性化差异以及评价指标误警率和漏报率之间的权衡，本文提出了一种基于双目标优化的动态集成选择算法（ADynamicEnsembleSelectionAlgorithmBasedonBi-Objectives，DES-BO）用于患者危重病早期预测。该算法利用基于元学习的动态集成学习方法生成异质集成模型，并使用遗传算法优化集成模型的基模型参数，实现动态预测的同时降低了模型的误警率与漏报率。为验证提出的DES-BO算法的优越性，选择主流的分类器进行对比实验，实验结果表明了该算法的有效性。最后，基于知识蒸馏的思想，将复杂动态集成模型中的知识迁移到可解释的机器学习模型中，使用SHAP框架对模型结果进行可解释分析。分析结果表明吸入氧浓度（FiO2）、收缩压（SBP）等指标的波动和异常表明患者有很大的概率在4小时后患有脓毒症。

关键词： 航测遥感   内业数据   关键技术  

摘要： 在科学技术水平日益提高的今天，航测遥感技术在各领域中都得到了广泛的应用，为我们的生活工作提供了更多有效且准确的数据支持。航测遥感技术为人类探索地表提供了一种重要途径，而数据处理工作贯穿于航测遥感的全过程，数据处理是十分关键的，对于测量结果具有最为直接的作用。本文就航测遥感内业数据处理的关键技术展开了简要分析，并提供有效的解决措施，促进航测数据处理的能力提升，仅供参考。

关键词： 结构监测系统   云平台   传感器   数据处理   数据分析  

摘要： 大跨度钢结构具有跨度范围大、造型优美等优点,广泛应用于公共建筑的建造中。但是大跨度钢结构受力复杂,尤其是在施工阶段,其受力和变形与竣工后正常服役状态有很大的不同。大跨度空间钢结构受施工方法和施工过程及环境变化的影响很大。若不及时关注和监控钢结构的健康状态,将会导致钢结构出现一定程度的质量问题,严重时甚至会造成钢结构建筑出现坍塌和人员生命受到威胁。若在工程施工期间通过结构监测系统实时监测钢结构,就可以通过监测到参数数据来对建筑钢结构的健康情况进行分析和评估。 本文以儋州市体育中心体育场馆为监测对象,建立了基于云平台的钢结构建筑实时监测系统,从而实现钢结构的各类监测参数数据实时获取、无线远程传输和数据存储,为用户提供真实的监测数据,以便于对建筑物的健康状态进行分析。论文研究内容主要如下: 在对国内外结构健康监测技术进行了解和分析之后,对云平台钢结构监测系统整体架构进行设计;对各钢结构监测参数所用传感器进行了简述,并对其工作原理作了深入的研究;对数据传输设备和数据传输过程进行分析归纳。 针对钢结构建筑安全问题,搭建了云平台钢结构建筑监测系统。在数据交互方面,云平台监测系统实现了与多台数据传输设备的连接;在监测数据的显示和存储方面,云平台监测系统完成了钢结构监测点各类监测参数数据可视化显示、各类参数历史数据存储与提取;在突发状况下的阈值预警方面,云平台监测系统可以通过平台短信预警和微信报警。因此,该系统能对钢结构安全状况进行有效监测。 针对系统采集到的应力原始数据出现数据点异常以及平滑滤波问题,利用拉依达准则剔除数据异常点,结果表明,该方法可以有效剔除数据异常点。通过移动平均法以及Savitzky-Golay滤波方法对数据集中存在的噪声进行平滑滤波处理,结果表明,相比于Savitzky-Golay滤波方法,移动平均法效果更佳。最后通过计算从而确定钢结构应力预警等级并对体育场钢罩棚在卸载后一个月内的安全状态进行评估分析。