关键词： 数据处理软件  

ISBN: (纸本)9787563568239

摘要： 本书介绍了大数据基础理论和Hadoop生态系统主流的大数据开发技术。全书共分9章，第1章介绍大数据的发展历程、概念和特点、关键技术和应用；第2章介绍Hadoop的起源、发展历程、特性、版本及应用；第3章介绍HDFS的概念、原理和应用；第4章介绍HBase的概念、原理和应用；第5章介绍Hive的概念、原理、架构和应用；第6章介绍分布式计算模型MapReduce的概念、工作流程和应用；第7章介绍Spark基本内容、Spark的生态系统及运行架构和Spark安装部署及编程实践；第8章介绍数据可视化的相关知识、数据可视化工具和应用；第9章介绍爬虫及词频统计的代码实现。

ISBN: (纸本)9787121444531

ISBN: (纸本)9787300311463

关键词： 数据处理   研究  

ISBN: (纸本)9787519297695

摘要： 本书总共有八章。第一章用一个学界和一个业界的故事作为开篇，让读者了解另类数据产生的背景和重要意义。第二章将介绍另类数据这个概念以及相关的行业现状，其中特别说明了另类数据和大数据之间的区别和联系。第三章从不同角度对另类数据进行了分类，考虑到另类数据这个概念的内涵和外延是在不断变化的，所以另类数据的分类也将是与时俱进的。第四章介绍了在应用另类数据中遇到的挑战和风险，包括个人隐私、重大非公开信息这些法律问题，处理另类数据需要解决的实体匹配等技术问题，以及在应用另类数据方面领先者和落后者所面对的不同风险。第五章讨论了把另类数据应用到决策过程时的流程，这一章对于资产管理团队在引进另类数据时具有很强的实操含义。第六章讨论了各种对另类数据进行估值的方法，它可以帮助金融机构在引进另类数据时进行合理有效的价值评估。第七章对当前已经得到应用的另类数据按照类别进行了介绍。考虑到环境、社会和治理（ESG）这个概念的重要性，我们把涉及ESG的另类数据单独放到第八章进行了讨论。

关键词： 微惯性测量元件   捷联惯导系统   姿态解算   测试标定   误差建模  

摘要： 得益于微机电系统(MEMS)技术的突破,微型惯性测量单元(MIMU)近年来得到了飞速的发展,MIMU以其轻量化、微型化、自主性的优点,广泛应用在消费电子、自动驾驶、机器人等领域。然而对于一些需要极高精度的场景,如军事领域、精密导航等,当前的MIMU仍无法完全满足其高精度要求,因而研究如何提高MIMU的精度成为了一个具有现实意义的重大课题。本论文从MIMU研究现状出发,通过建立误差模型,研究提高MIMU精度的数据处理和测试标定方法。其主要内容如下: 首先,针对MIMU的误差建模问题,基于MIMU的结构组成和工作机理,将确定性误差和随机误差分别分析,建立了MIMU的测量和误差模型,并引入Allan方差分析,对MIMU的主要性能指标进行了参数估计,为后续的姿态解算与测试标定奠定理论基础。 其次,基于MIMU常见的应用场景捷联惯导系统平台,分析捷联惯导系统姿态解算的数学原理,以此为基础研究基于MIMU的惯导系统的姿态解算算法,通过对比传统卡尔曼滤波算法与互补滤波算法的优劣势,针对实际应用中系统振动明显和加减速频繁的情况,引入自适应滤波算法,提出了基于MIMU数据的修正型自适应互补滤波来解决该情况下的惯导系统姿态解算精度问题,接着通过仿真实验对比三种算法的效果,证实了新算法的有效性。 最后,通过分析现实情况下的标定条件,面对分立标定对标定设备精度的高要求,研究了MIMU的系统级标定方法,以MIMU误差模型为基础,建立了MIMU标定模型,并推导了基于MIMU的捷联惯导系统的误差方程,基于转台使用该方法标定MIMU,通过实验结果,说明了该方法可以有效提高MIMU的精度,能够满足本文的实际应用需要。

关键词： 冰雷达   数据处理   深度学习   冰底过程   自动图像识别  

摘要： 近几十年来,格陵兰岛和南极洲冰盖加速融化导致海平面上升,这已成为科学、环境和政治领域的一个重要问题。研究冰下目标的特性对于可靠分析冰盖的未来演变趋势尤为重要,冰底特征结构是存在于冰盖-基底界面上方的明显不同于正常冰层的结构,其可以提供冰下过程和冰盖演变的丰富信息,同时也会对周围冰的流动产生显著的影响,因而成为极地研究人员关注的重点特征之一。本文研究基于深度学习的冰底特征结构自动识别的方法,相较于传统的基于人工提取特征的机器学习的方法,该算法可以实现雷达图中冰底特征结构的全自动检测和识别。论文基于哥伦比亚大学地球研究所极地地球物理研究团队采集的南极洲雷达数据自制了冰底特征结构数据集,分别针对冰底特征结构的精准识别及在移动端设备上实时识别两种不同的场景设计了不同的深度学习算法。论文选择ResNet和ASPP模块组成的神经网络结构进行冰底特征结构的精准识别,ResNet网络可以通过增加网络层数来提取更深层次特征,同时实现网络快速收敛;ASPP模块可以通过调整扩张率来改变特征图的感受野,实现不同大小图片不同尺寸特征的识别。实验结果证明该算法在小批量数据集上同样具有较高的识别准确度,适用于在雷达数据中检索冰盖内部的罕见特征;同时使用RealESRGAN超分技术对数据集进行了预处理,以达到提高识别准确度的目的。适应国内雷达数据采集设备的小体积、轻负荷和快移动速度的特点,本文提出了一种更加高效的深度学习方法,该方法采用轻量级网络MoblieNet V3代替ResNet网络作为网络结构的backbone。MobileNet网络在准确率小幅度降低的前提下可大大减少模型参数与运算量,实现时间消耗与性能的平衡,适用于移动端设备实时检测的场景。与基于ResNet网络的识别算法相比,该算法可节省81.9%的内存占用空间和92.2%的推理时间,同时具有较高的识别准确度,为移动设备实时识别雷达图片特征提供了一种可能。

关键词： 深度学习   地震数据   高分辨率处理   同步压缩小波变换   波阻抗预测  

摘要： 我国对于油气资源的勘探和开发逐渐转向深层、薄层、复杂地质构造,对地震勘探相关技术提出更高的要求,高分辨率、高精度的地震数据处理与解释方法成为研究热点之一。现有地震数据高分辨率处理技术能在一定程度上拓宽频带、提高主频,但对薄储层的精细刻画能力有限。地震反演技术根据常规的地震属性计算能够反映地层岩性特征的物理参数。采用测井约束的地震反演能够引入测井高频信息,反演结果具有较高的纵向分辨率,但存在多解性问题。本文研究一种地震数据高分辨率处理方法以及基于深度学习的波阻抗反演方法。论文主要工作如下:1.实现基于同步压缩小波变换(SSWT)的地震数据高分辨处理方法。SSWT作为小波变换(WT)的一种改进,具有更好的时频聚焦性,能够更精确地定位地震信号在时频谱中的能量分布情况。根据SSWT和谐波分解原理,在原始地震数据有效频段基础上补偿高频与低频信息,拓宽频带、提高主频。可以将地震数据纵向分辨率提高到20m以内,为后续工作提供良好的数据基础,是提高波阻抗反演分辨率的重要因素之一。2.提出基于深度学习方法实现波阻抗的高分辨率反演。高分辨率来源于宽频带的地震数据输入与测井阻抗的模型约束。利用井旁原始地震道、SSWT拓频地震道、波形指示反演阻抗与测井阻抗曲线构成井震多尺度特征数据集,丰富特征集利于模型的学习。分别提出高分辨率阻抗预测模型(1D-Dense Net)与超分辨率阻抗预测模型(1D-SR Dense Net),模型基于一维卷积神经网络(1D-CNN),引入Dense Net的密集连接模块,实现浅层与深层多尺度特征融合。进一步引入像素重排(Pixel Shuffle)对输入特征进行上采样,阻抗预测结果包含更多测井层位细节信息,纵向分辨率进一步提升。3.在AM地区某气田展开阻抗的高分辨率三维预测实验。利用基于SSWT的拓频方法对初始地震数据进行拓频处理。提取目标层位地震数据与优选测井数据,构建井震多尺度特征数据集,展开阻抗预测网络模型的训练与调优。阻抗预测结果显示,纵向分辨率得到显著提升,有效融合了地震数据的横向趋势与测井层位细节信息。预测结果与测井解释成果吻合度较高,储层-隔夹层厚度预测准确,可以较好地解决该工区薄储层-隔夹层的识别问题。

关键词： 流处理   算子部署   云边架构   DAG分割   吞吐量预测   强化学习  

摘要： 随着物联网技术的不断发展,越来越多的数据在终端设备上产生,传统的基于云端设计的流数据处理系统在处理来自终端的数据时,会面临吞吐量降低,延迟变大等问题。本文通过结合云边架构,把传统部署在云端的流处理系统扩展到边缘端,设计实现了云边架构下流数据处理任务部署方案,通过该方案实现任务在云边架构下的部署与运行。 本文提出的流数据处理任务的部署方案分为三个部分,包括对任务对应的有向无环图进行分割、基于注意力机制的算子部署和Flink下任务的执行。首先是任务对应的有向无环图进行分割,通过分割使得有向无环图分为两个子图,分别部署到云端和边缘端。在进行分割时,本文通过对有向无环图中节点对应算子在不同的系统资源和不同的元组大小下进行采样,利用回归分析和资源预分配实现了对任务的吞吐量预测算法,通过预测不同分割方式下任务的吞吐量,并结合云边带宽找到最大化吞吐量的分割方案。其次,在得到分割方案后,本文提出了一种基于注意力机制的深度强化学习部署算法,利用一个编码器-解码器模型对有向无环图的拓扑序列进行处理,最后得到算子的部署结果,并利用强化学习中的策略梯度方法进行模型参数的更新,优化部署结果。最后根据部署结果,本文基于Flink实现了一个云边架构下的流处理平台,该平台通过对Flink源码进行修改,使得Flink能够按照本文提出的部署算法进行算子部署并执行。 本文通过实验分别对有向无环图的分割算法和算子部署算法进行验证,并与Flink原生部署算法和另外两个基于云边协同的部署算法进行比较,根据实验结果证明了本文提出的算法能够解决云边场景下流数据处理任务的部署问题,相比Flink原生算法在略微增加延迟的基础上极大提升吞吐量,相比另外两个基于云边协同的算法在吞吐量和延迟上均能取得较大优势。

关键词： 异构数据处理平台   服务器集群   最优匹配   负载均衡  

摘要： 随着物联网技术的高速发展，在各行各业中出现了越来越多的物联网设备，由于物联网设备间存在着不同的接入协议，导致接入物联网平台的数据种类也逐渐复杂化，从物联网感知层所采集的数据呈现出多源异构的形态。为了统一处理来自不同厂商、不同接入协议的物联网设备所产生的异构数据，需要一个支持多源异构数据统一接入处理的物联网平台来打通数据互通的壁垒。　　与此同时，用户数量的迅速增加所带来的高并发式请求对平台服务器的处理能力也提出了巨大挑战。为此，行业多采用服务器集群技术将多台服务器虚拟为一台服务器统一对外处理用户请求。负载均衡技术则是保障服务器集群高效稳定运行的关键技术之一，而传统的负载均衡策略通常是固定参数的静态调度，无法根据各节点负载的动态变换实时调整分配策略。为了应对服务器间负载不均衡所产生的负载倾斜等问题对集群性能的限制，需要一种合适的动态负载均衡策略来处理集群中服务器间的请求调度。　　因此，本文针对多源异构数据处理平台设计和高并发请求下的负载均衡机制进行研究，主要的研究内容和工作包括以下四个方面：　　（1）分析物联网多源异构数据的产生、接入和处理问题;对物联网的概念和应用进行了介绍，总结分析了当前常用的物联网接入协议，指出了融合网关是实现多源异构数据接入的关键;详细介绍了服务器集群的分类和架构，指出负载均衡技术是服务器集群的关键技术之一，并对负载均衡算法进行了对比分析。　　（2）针对服务器集群中任务调度不合理所导致的负载均衡问题，提出一种基于赋权二分图最优匹配的动态负载均衡算法。首先构建以服务器和任务为顶点的二分图，使用服务器的实时处理速度作为负载指标，将各任务量与各服务器负载能力的匹配度定义为权值矩阵，并采用Kuhn-Munkres算法求解赋权二分图的最优匹配，按最优匹配的结果实现任务到服务器的最优指派，充分考虑各请求的任务量和各服务器的负载能力之间的差异化。　　（3）针对服务器集群中在处理请求时所面临的负载倾斜等问题，提出一种基于人工蜂群算法融合负载均衡的请求迁移算法。首先通过负载阈值上下限的设计将集群中的服务器进行划分，对于超过负载阈值上限的服务器则激发请求迁移策略。算法设置了在负载均衡限制下的最小时间损耗作为最优迁移目标服务器的选择评判指标;通过人工蜂群算法在轻载服务器中选择最优迁移目标服务器;最终按照最短迁移步数将请求迁移至最优目标服务器执行。　　（4）针对物联网平台多源异构数据的统一接入和高并发请求的调度等问题，提出一种多源异构数据处理平台的设计方案。通过融合网关设计实现了多种接入协议的物联网终端设备的统一接入，引入四层和七层融合的负载均衡机制实现平台高并发请求的调度，并以智能宠物家居为实例进行介绍。

关键词： 微纳卫星   数传分系统   建模仿真   效能评估  

摘要： 微纳卫星研制成本低、发射速度快、集成度高,广泛应用于通信、遥感、电子侦察等方面。卫星数据处理与传输分系统(数传分系统)作为微纳卫星的重要组成部分,承担着有效载荷数据记录及下传的通信任务。然而,微纳卫星体积小,采集的信息难以冗余备份,受地面站数量和接收覆盖范围的限制,每天通信时间有限,单次可传输数据的时间较短,因此,为保证卫星在轨运行期间通信任务的顺利完成,应开展卫星数传分系统建模仿真和效能评估等关键技术的研究。本文以微纳卫星数传分系统为研究对象,将卫星轨道运动与数传分系统性能仿真相结合,建立数据传输性能动态仿真模型与方法。针对不同评估指标,结合层次分析法和模糊综合评价法,科学量化处理卫星复杂多层次的评估问题。在此基础上,研制出一套基于仿真模型驱动的微纳卫星数传状态仿真与效能评估的可视化系统。主要研究工作由以下三部分组成:(1)研究基于数值计算的卫星数传分系统建模与动态仿真方法。首先建立卫星在轨运动模型,依据卫星轨道基本特点及星站位置的几何关系,对链路连通性进行判断。在此基础上,综合考虑传输时链路的影响因素,实现了卫星从数据采集、处理、传输、链路传输损耗到数据接收等一系列仿真过程,建立较为完善的卫星数传分系统性能动态仿真模型,通过输入仿真参数,对仿真结果进行分析与讨论。(2)提出基于模糊层次分析法的数传分系统效能评估方法。针对卫星数传分系统功能复杂,难以获取实际参数进行客观评估的问题,依据数传分系统结构与效能之间的关系,通过层次分析法确定系统各个指标的权重向量。以模糊理论为基础,结合模糊综合评价法评估系统效能,有利于卫星数传分系统设计和研制的优化工作。(3)研制一套基于模型驱动的卫星数传状态仿真与效能评估的可视化系统。本文通过Spring Boot框架等相关技术,搭建卫星数传状态仿真与效能评估的可视化系统。通过设计产品、任务、项目,进行系统仿真,动态计算卫星数传分系统状态信息并完成效能评估,并以可视化的方式展示仿真结果。本文建立的仿真模型、算法分析的结果能够合理地反映微纳卫星数传分系统在轨期间性能指标的实时变化情况,有利于构建不同层次的指标体系开展系统效能评估,为卫星数传分系统设计策略和工作模式提供参考。