关键词： 数据处理   研究  

ISBN: (纸本)9787519297695

摘要： 本书总共有八章。第一章用一个学界和一个业界的故事作为开篇，让读者了解另类数据产生的背景和重要意义。第二章将介绍另类数据这个概念以及相关的行业现状，其中特别说明了另类数据和大数据之间的区别和联系。第三章从不同角度对另类数据进行了分类，考虑到另类数据这个概念的内涵和外延是在不断变化的，所以另类数据的分类也将是与时俱进的。第四章介绍了在应用另类数据中遇到的挑战和风险，包括个人隐私、重大非公开信息这些法律问题，处理另类数据需要解决的实体匹配等技术问题，以及在应用另类数据方面领先者和落后者所面对的不同风险。第五章讨论了把另类数据应用到决策过程时的流程，这一章对于资产管理团队在引进另类数据时具有很强的实操含义。第六章讨论了各种对另类数据进行估值的方法，它可以帮助金融机构在引进另类数据时进行合理有效的价值评估。第七章对当前已经得到应用的另类数据按照类别进行了介绍。考虑到环境、社会和治理（ESG）这个概念的重要性，我们把涉及ESG的另类数据单独放到第八章进行了讨论。

关键词： 微惯性测量元件   捷联惯导系统   姿态解算   测试标定   误差建模  

摘要： 得益于微机电系统(MEMS)技术的突破,微型惯性测量单元(MIMU)近年来得到了飞速的发展,MIMU以其轻量化、微型化、自主性的优点,广泛应用在消费电子、自动驾驶、机器人等领域。然而对于一些需要极高精度的场景,如军事领域、精密导航等,当前的MIMU仍无法完全满足其高精度要求,因而研究如何提高MIMU的精度成为了一个具有现实意义的重大课题。本论文从MIMU研究现状出发,通过建立误差模型,研究提高MIMU精度的数据处理和测试标定方法。其主要内容如下: 首先,针对MIMU的误差建模问题,基于MIMU的结构组成和工作机理,将确定性误差和随机误差分别分析,建立了MIMU的测量和误差模型,并引入Allan方差分析,对MIMU的主要性能指标进行了参数估计,为后续的姿态解算与测试标定奠定理论基础。 其次,基于MIMU常见的应用场景捷联惯导系统平台,分析捷联惯导系统姿态解算的数学原理,以此为基础研究基于MIMU的惯导系统的姿态解算算法,通过对比传统卡尔曼滤波算法与互补滤波算法的优劣势,针对实际应用中系统振动明显和加减速频繁的情况,引入自适应滤波算法,提出了基于MIMU数据的修正型自适应互补滤波来解决该情况下的惯导系统姿态解算精度问题,接着通过仿真实验对比三种算法的效果,证实了新算法的有效性。 最后,通过分析现实情况下的标定条件,面对分立标定对标定设备精度的高要求,研究了MIMU的系统级标定方法,以MIMU误差模型为基础,建立了MIMU标定模型,并推导了基于MIMU的捷联惯导系统的误差方程,基于转台使用该方法标定MIMU,通过实验结果,说明了该方法可以有效提高MIMU的精度,能够满足本文的实际应用需要。

关键词： 冰雷达   数据处理   深度学习   冰底过程   自动图像识别  

摘要： 近几十年来,格陵兰岛和南极洲冰盖加速融化导致海平面上升,这已成为科学、环境和政治领域的一个重要问题。研究冰下目标的特性对于可靠分析冰盖的未来演变趋势尤为重要,冰底特征结构是存在于冰盖-基底界面上方的明显不同于正常冰层的结构,其可以提供冰下过程和冰盖演变的丰富信息,同时也会对周围冰的流动产生显著的影响,因而成为极地研究人员关注的重点特征之一。本文研究基于深度学习的冰底特征结构自动识别的方法,相较于传统的基于人工提取特征的机器学习的方法,该算法可以实现雷达图中冰底特征结构的全自动检测和识别。论文基于哥伦比亚大学地球研究所极地地球物理研究团队采集的南极洲雷达数据自制了冰底特征结构数据集,分别针对冰底特征结构的精准识别及在移动端设备上实时识别两种不同的场景设计了不同的深度学习算法。论文选择ResNet和ASPP模块组成的神经网络结构进行冰底特征结构的精准识别,ResNet网络可以通过增加网络层数来提取更深层次特征,同时实现网络快速收敛;ASPP模块可以通过调整扩张率来改变特征图的感受野,实现不同大小图片不同尺寸特征的识别。实验结果证明该算法在小批量数据集上同样具有较高的识别准确度,适用于在雷达数据中检索冰盖内部的罕见特征;同时使用RealESRGAN超分技术对数据集进行了预处理,以达到提高识别准确度的目的。适应国内雷达数据采集设备的小体积、轻负荷和快移动速度的特点,本文提出了一种更加高效的深度学习方法,该方法采用轻量级网络MoblieNet V3代替ResNet网络作为网络结构的backbone。MobileNet网络在准确率小幅度降低的前提下可大大减少模型参数与运算量,实现时间消耗与性能的平衡,适用于移动端设备实时检测的场景。与基于ResNet网络的识别算法相比,该算法可节省81.9%的内存占用空间和92.2%的推理时间,同时具有较高的识别准确度,为移动设备实时识别雷达图片特征提供了一种可能。

关键词： 深度学习   地震数据   高分辨率处理   同步压缩小波变换   波阻抗预测  

摘要： 我国对于油气资源的勘探和开发逐渐转向深层、薄层、复杂地质构造,对地震勘探相关技术提出更高的要求,高分辨率、高精度的地震数据处理与解释方法成为研究热点之一。现有地震数据高分辨率处理技术能在一定程度上拓宽频带、提高主频,但对薄储层的精细刻画能力有限。地震反演技术根据常规的地震属性计算能够反映地层岩性特征的物理参数。采用测井约束的地震反演能够引入测井高频信息,反演结果具有较高的纵向分辨率,但存在多解性问题。本文研究一种地震数据高分辨率处理方法以及基于深度学习的波阻抗反演方法。论文主要工作如下:1.实现基于同步压缩小波变换(SSWT)的地震数据高分辨处理方法。SSWT作为小波变换(WT)的一种改进,具有更好的时频聚焦性,能够更精确地定位地震信号在时频谱中的能量分布情况。根据SSWT和谐波分解原理,在原始地震数据有效频段基础上补偿高频与低频信息,拓宽频带、提高主频。可以将地震数据纵向分辨率提高到20m以内,为后续工作提供良好的数据基础,是提高波阻抗反演分辨率的重要因素之一。2.提出基于深度学习方法实现波阻抗的高分辨率反演。高分辨率来源于宽频带的地震数据输入与测井阻抗的模型约束。利用井旁原始地震道、SSWT拓频地震道、波形指示反演阻抗与测井阻抗曲线构成井震多尺度特征数据集,丰富特征集利于模型的学习。分别提出高分辨率阻抗预测模型(1D-Dense Net)与超分辨率阻抗预测模型(1D-SR Dense Net),模型基于一维卷积神经网络(1D-CNN),引入Dense Net的密集连接模块,实现浅层与深层多尺度特征融合。进一步引入像素重排(Pixel Shuffle)对输入特征进行上采样,阻抗预测结果包含更多测井层位细节信息,纵向分辨率进一步提升。3.在AM地区某气田展开阻抗的高分辨率三维预测实验。利用基于SSWT的拓频方法对初始地震数据进行拓频处理。提取目标层位地震数据与优选测井数据,构建井震多尺度特征数据集,展开阻抗预测网络模型的训练与调优。阻抗预测结果显示,纵向分辨率得到显著提升,有效融合了地震数据的横向趋势与测井层位细节信息。预测结果与测井解释成果吻合度较高,储层-隔夹层厚度预测准确,可以较好地解决该工区薄储层-隔夹层的识别问题。

关键词： 流处理   算子部署   云边架构   DAG分割   吞吐量预测   强化学习  

摘要： 随着物联网技术的不断发展,越来越多的数据在终端设备上产生,传统的基于云端设计的流数据处理系统在处理来自终端的数据时,会面临吞吐量降低,延迟变大等问题。本文通过结合云边架构,把传统部署在云端的流处理系统扩展到边缘端,设计实现了云边架构下流数据处理任务部署方案,通过该方案实现任务在云边架构下的部署与运行。 本文提出的流数据处理任务的部署方案分为三个部分,包括对任务对应的有向无环图进行分割、基于注意力机制的算子部署和Flink下任务的执行。首先是任务对应的有向无环图进行分割,通过分割使得有向无环图分为两个子图,分别部署到云端和边缘端。在进行分割时,本文通过对有向无环图中节点对应算子在不同的系统资源和不同的元组大小下进行采样,利用回归分析和资源预分配实现了对任务的吞吐量预测算法,通过预测不同分割方式下任务的吞吐量,并结合云边带宽找到最大化吞吐量的分割方案。其次,在得到分割方案后,本文提出了一种基于注意力机制的深度强化学习部署算法,利用一个编码器-解码器模型对有向无环图的拓扑序列进行处理,最后得到算子的部署结果,并利用强化学习中的策略梯度方法进行模型参数的更新,优化部署结果。最后根据部署结果,本文基于Flink实现了一个云边架构下的流处理平台,该平台通过对Flink源码进行修改,使得Flink能够按照本文提出的部署算法进行算子部署并执行。 本文通过实验分别对有向无环图的分割算法和算子部署算法进行验证,并与Flink原生部署算法和另外两个基于云边协同的部署算法进行比较,根据实验结果证明了本文提出的算法能够解决云边场景下流数据处理任务的部署问题,相比Flink原生算法在略微增加延迟的基础上极大提升吞吐量,相比另外两个基于云边协同的算法在吞吐量和延迟上均能取得较大优势。

关键词： 异构数据处理平台   服务器集群   最优匹配   负载均衡  

摘要： 随着物联网技术的高速发展，在各行各业中出现了越来越多的物联网设备，由于物联网设备间存在着不同的接入协议，导致接入物联网平台的数据种类也逐渐复杂化，从物联网感知层所采集的数据呈现出多源异构的形态。为了统一处理来自不同厂商、不同接入协议的物联网设备所产生的异构数据，需要一个支持多源异构数据统一接入处理的物联网平台来打通数据互通的壁垒。　　与此同时，用户数量的迅速增加所带来的高并发式请求对平台服务器的处理能力也提出了巨大挑战。为此，行业多采用服务器集群技术将多台服务器虚拟为一台服务器统一对外处理用户请求。负载均衡技术则是保障服务器集群高效稳定运行的关键技术之一，而传统的负载均衡策略通常是固定参数的静态调度，无法根据各节点负载的动态变换实时调整分配策略。为了应对服务器间负载不均衡所产生的负载倾斜等问题对集群性能的限制，需要一种合适的动态负载均衡策略来处理集群中服务器间的请求调度。　　因此，本文针对多源异构数据处理平台设计和高并发请求下的负载均衡机制进行研究，主要的研究内容和工作包括以下四个方面：　　（1）分析物联网多源异构数据的产生、接入和处理问题;对物联网的概念和应用进行了介绍，总结分析了当前常用的物联网接入协议，指出了融合网关是实现多源异构数据接入的关键;详细介绍了服务器集群的分类和架构，指出负载均衡技术是服务器集群的关键技术之一，并对负载均衡算法进行了对比分析。　　（2）针对服务器集群中任务调度不合理所导致的负载均衡问题，提出一种基于赋权二分图最优匹配的动态负载均衡算法。首先构建以服务器和任务为顶点的二分图，使用服务器的实时处理速度作为负载指标，将各任务量与各服务器负载能力的匹配度定义为权值矩阵，并采用Kuhn-Munkres算法求解赋权二分图的最优匹配，按最优匹配的结果实现任务到服务器的最优指派，充分考虑各请求的任务量和各服务器的负载能力之间的差异化。　　（3）针对服务器集群中在处理请求时所面临的负载倾斜等问题，提出一种基于人工蜂群算法融合负载均衡的请求迁移算法。首先通过负载阈值上下限的设计将集群中的服务器进行划分，对于超过负载阈值上限的服务器则激发请求迁移策略。算法设置了在负载均衡限制下的最小时间损耗作为最优迁移目标服务器的选择评判指标;通过人工蜂群算法在轻载服务器中选择最优迁移目标服务器;最终按照最短迁移步数将请求迁移至最优目标服务器执行。　　（4）针对物联网平台多源异构数据的统一接入和高并发请求的调度等问题，提出一种多源异构数据处理平台的设计方案。通过融合网关设计实现了多种接入协议的物联网终端设备的统一接入，引入四层和七层融合的负载均衡机制实现平台高并发请求的调度，并以智能宠物家居为实例进行介绍。

关键词： 微纳卫星   数传分系统   建模仿真   效能评估  

摘要： 微纳卫星研制成本低、发射速度快、集成度高,广泛应用于通信、遥感、电子侦察等方面。卫星数据处理与传输分系统(数传分系统)作为微纳卫星的重要组成部分,承担着有效载荷数据记录及下传的通信任务。然而,微纳卫星体积小,采集的信息难以冗余备份,受地面站数量和接收覆盖范围的限制,每天通信时间有限,单次可传输数据的时间较短,因此,为保证卫星在轨运行期间通信任务的顺利完成,应开展卫星数传分系统建模仿真和效能评估等关键技术的研究。本文以微纳卫星数传分系统为研究对象,将卫星轨道运动与数传分系统性能仿真相结合,建立数据传输性能动态仿真模型与方法。针对不同评估指标,结合层次分析法和模糊综合评价法,科学量化处理卫星复杂多层次的评估问题。在此基础上,研制出一套基于仿真模型驱动的微纳卫星数传状态仿真与效能评估的可视化系统。主要研究工作由以下三部分组成:(1)研究基于数值计算的卫星数传分系统建模与动态仿真方法。首先建立卫星在轨运动模型,依据卫星轨道基本特点及星站位置的几何关系,对链路连通性进行判断。在此基础上,综合考虑传输时链路的影响因素,实现了卫星从数据采集、处理、传输、链路传输损耗到数据接收等一系列仿真过程,建立较为完善的卫星数传分系统性能动态仿真模型,通过输入仿真参数,对仿真结果进行分析与讨论。(2)提出基于模糊层次分析法的数传分系统效能评估方法。针对卫星数传分系统功能复杂,难以获取实际参数进行客观评估的问题,依据数传分系统结构与效能之间的关系,通过层次分析法确定系统各个指标的权重向量。以模糊理论为基础,结合模糊综合评价法评估系统效能,有利于卫星数传分系统设计和研制的优化工作。(3)研制一套基于模型驱动的卫星数传状态仿真与效能评估的可视化系统。本文通过Spring Boot框架等相关技术,搭建卫星数传状态仿真与效能评估的可视化系统。通过设计产品、任务、项目,进行系统仿真,动态计算卫星数传分系统状态信息并完成效能评估,并以可视化的方式展示仿真结果。本文建立的仿真模型、算法分析的结果能够合理地反映微纳卫星数传分系统在轨期间性能指标的实时变化情况,有利于构建不同层次的指标体系开展系统效能评估,为卫星数传分系统设计策略和工作模式提供参考。

关键词： 航测遥感   内业数据   关键技术  

摘要： 在科学技术水平日益提高的今天，航测遥感技术在各领域中都得到了广泛的应用，为我们的生活工作提供了更多有效且准确的数据支持。航测遥感技术为人类探索地表提供了一种重要途径，而数据处理工作贯穿于航测遥感的全过程，数据处理是十分关键的，对于测量结果具有最为直接的作用。本文就航测遥感内业数据处理的关键技术展开了简要分析，并提供有效的解决措施，促进航测数据处理的能力提升，仅供参考。

关键词： 结构监测系统   云平台   传感器   数据处理   数据分析  

摘要： 大跨度钢结构具有跨度范围大、造型优美等优点,广泛应用于公共建筑的建造中。但是大跨度钢结构受力复杂,尤其是在施工阶段,其受力和变形与竣工后正常服役状态有很大的不同。大跨度空间钢结构受施工方法和施工过程及环境变化的影响很大。若不及时关注和监控钢结构的健康状态,将会导致钢结构出现一定程度的质量问题,严重时甚至会造成钢结构建筑出现坍塌和人员生命受到威胁。若在工程施工期间通过结构监测系统实时监测钢结构,就可以通过监测到参数数据来对建筑钢结构的健康情况进行分析和评估。 本文以儋州市体育中心体育场馆为监测对象,建立了基于云平台的钢结构建筑实时监测系统,从而实现钢结构的各类监测参数数据实时获取、无线远程传输和数据存储,为用户提供真实的监测数据,以便于对建筑物的健康状态进行分析。论文研究内容主要如下: 在对国内外结构健康监测技术进行了解和分析之后,对云平台钢结构监测系统整体架构进行设计;对各钢结构监测参数所用传感器进行了简述,并对其工作原理作了深入的研究;对数据传输设备和数据传输过程进行分析归纳。 针对钢结构建筑安全问题,搭建了云平台钢结构建筑监测系统。在数据交互方面,云平台监测系统实现了与多台数据传输设备的连接;在监测数据的显示和存储方面,云平台监测系统完成了钢结构监测点各类监测参数数据可视化显示、各类参数历史数据存储与提取;在突发状况下的阈值预警方面,云平台监测系统可以通过平台短信预警和微信报警。因此,该系统能对钢结构安全状况进行有效监测。 针对系统采集到的应力原始数据出现数据点异常以及平滑滤波问题,利用拉依达准则剔除数据异常点,结果表明,该方法可以有效剔除数据异常点。通过移动平均法以及Savitzky-Golay滤波方法对数据集中存在的噪声进行平滑滤波处理,结果表明,相比于Savitzky-Golay滤波方法,移动平均法效果更佳。最后通过计算从而确定钢结构应力预警等级并对体育场钢罩棚在卸载后一个月内的安全状态进行评估分析。

关键词： 无人机探测雷达   杂波抑制   点迹凝聚   雷达数据处理   显示终端  

摘要： 随着无人机技术在民用领域的逐渐普及,无人机在发挥重要作用的同时,也威胁着低空安全,因此对无人机探测雷达的研究成为热点。由于现代雷达技术的不断发展,无人机探测雷达的信号处理能力得到优化与提升,雷达数据率大幅提高,雷达数据处理系统处理的点迹具有数据率高和数据量大的特点,因此对数据处理系统实时性和准确性有了更高的要求。 本文对无人机探测雷达背景和研究现状进行了调研,对数据处理技术的发展进行阐述,突出了数据处理技术在无人机探测雷达系统中的重要意义。针对目前无人机飞行的低空环境复杂、剩余杂波较多的问题,本文在雷达信号处理后的点迹预处理阶段,采用基于动态幅度杂波图算法和基于BP神经网络的剩余杂波抑制方法,有效改进剩余杂波点迹对后续航迹起始和跟踪的影响;采用基于DBSCAN聚类算法的点迹凝聚算法,与“回溯”算法相结合,利用多普勒信息约束邻域集的大小,并对凝聚后非目标的点迹进行剔除。 对经过点迹预处理的数据进行目标跟踪,涉及到航迹起始、数据关联算法、滤波算法和航迹管理。针对逻辑法起始航迹算法中波门重叠问题,采用了基于距离-多普勒-方位共同约束的航迹起始方法,提高在杂波环境中对目标航迹起始的正确率;数据互联算法主要分为单目标和多目标互联算法,并在不同杂波密度环境下,进行仿真分析,对比单目标下的最近邻域算法和概率数据互联算法的目标关联性能,以及验证多目标下的联合概率数据互联算法的关联效果;滤波跟踪算法主要研究了卡尔曼滤波和扩展卡尔曼滤波的区别以及交互多模型算法原理,并基于算法的适用情况进行仿真分析;最后对不同数据处理阶段的点迹和航迹进行状态更新,为新产生的航迹分配编号,回收消亡航迹编号。 本文基于雷达数据处理算法理论设计无人机探测雷达数据处理及终端软件,根据具体功能对软件进行模块化,搭建各个模块的实现方案,并基于24GHz雷达系统,进行测试,验证数据处理及终端软件的实时性,通过对比终端显示界面的航迹与MATLAB试验结果,验证了数据处理算法的正确性以及显示终端的功能完整性,实现了无人机目标的实时准确跟踪,符合无人机探测雷达系统的要求。