关键词： 离线数据处理   数据处理平台   作业引擎   Hadoop  

摘要： 随着分布式技术的发展,大数据商业价值与科研价值日益彰显,分布式运算与存储的需求不断提升,企业通过租借或购置大型服务器集群,为大数据处理任务和业务应用服务提供硬件支持。其中大数据处理任务通常分为离线(批处理)运算与实时(流式)运算两类任务,离线数据处理任务对应大规模并行运算海量数据的使用场景,广泛应用于搜索引擎、推荐系统等业务场景。若利用分布式集群部署离线数据处理作业,需要开发者学习并使用批处理运算框架,在原有应用程序的基础上进行额外开发,这一过程增加了公司业务的软件开发与维护成本,也不利于不同部门之间分布式技术使用标准的统一。搭建离线数据处理平台,可以为业务部门与集群硬件之间搭建桥梁,简化开发者离线数据处理作业的部署流程,统一有效地管理分布式集群,提高业务程序迭代推新的效率。本文采用Hadoop框架设计并实现了离线数据处理平台,论文工作主要集中于离线数据处理平台的底层及后端模块的设计与实现。本文设计并实现了基于Hadoop框架的作业引擎,用于该平台的底层任务调度功能,是平台的关键模块。作业引擎基于Yarn的应用状态和容器状态设计并实现了作业级别和任务级别两种状态机,作业通过Yarn与作业引擎的协同工作从初始状态驱动至结束状态,通过为作业引擎各子模块设计恢复流程,避免了作业引擎因意外或升级导致的服务中断给用户作业带来的影响。对于该平台模组层,本文设计并实现了深度学习离线运算模组和交互式开发服务模组。深度学习离线运算模组采用Spark框架为深度学习运算任务进行数据并行化加速。交互式开发服务模组使用Jupyter、Spark Magic和Livy为用户提供了可自定义配置、灵活部署的容器化交互式开发服务,平台设计并实现了自动配置、云备份、服务监控等扩展功能以提升用户交互式开发体验。此外,本文设计并实现了平台门户与用户进行交互,门户服务端提供了任务管理、模组管理、平台鉴权等必要功能,降低了用户使用模组、管理集群任务的复杂度。离线数据处理平台自投入公司搜索引擎业务线使用以来,支撑了搜索引擎多个业务部门的离线数据处理工作,为有关部门开发者提供了稳定、高效的分布式算力,为公司节省了大量人力、物力,有效促进了搜索引擎业务的发展。

关键词： 数字带宽交织   频率交叠带误差   全通带相频响应失真   误差校正   中断状态寄存  

摘要： 随着电子信息技术的飞速发展,数据采集系统在电子信息工程中扮演着至关重要的角色,目前已被广泛应用在测试、通信、军工等众多领域。目前信号的瞬态特性和复杂程度愈发突出,对采集系统的带宽和采样率等指标提出了更高的要求,但现有的模数转换芯片已无法满足单通道采集系统带宽和采样率的研制需求,基于并行采样架构的采集系统逐渐成为研究热点。为了提升系统带宽和采样率,本文以数字带宽交织（Digital Bandwidth Interleaved,DBI）采样技术和时间交织采样技术为基础实现了超宽带高速数据采集系统,并重点研究了采集系统中的频率交叠带误差和全通带相频响应失真误差,分别设计了误差校正的硬件实现结构。本文的重点研究内容主要包括:1.研究并分析了数字带宽交织技术的数学模型,推导出输入信号的完美重构条件;并基于该技术成功搭建出四子带的数字带宽交织采集系统,介绍了该系统中的数字信号处理模块;为了满足数据采集与处理的需求,详细介绍了本系统的系统时钟同步方案,并分析了系统内两类不同数据流的特点。2.研究并分析了数字带宽交织采集系统中的频率交叠带误差。结合该误差的数学模型,研究了该误差对系统的影响,确定了交叠带频率边界;根据交叠带误差的特点,设计了非线性相位和线性相位误差的校正模块,主要包括有分数延时滤波器的设计,四子带整数延时值的同步计算和全通补偿滤波器的设计。3.研究并分析了全通带相频响应失真误差,介绍了系统全通带相频响应失真误差的测量方法;结合该误差的非线性特点,设计了基于二阶节级联的相位误差补偿模块,并介绍了全通补偿滤波器参数的设计方法。4.根据系统内两类不同数据流的特点,设计了一种中断状态寄存机制,分别应用于分数延时滤波器、整数延时和二阶节级联全通滤波器的硬件实现结构中;同时分析了这些结构的资源消耗以及滤波器的系数量化误差。通过对以上内容的研究,成功实现了带宽为20 GHz,采样率为80 GSa/s的数字带宽交织采集系统。最终测试并验证了本系统的采样率、带宽等指标;通过对比交叠带和全通带相频响应的校正前后的效果,验证了校正模块的正确性,进而实现了输入信号的完美重构。

关键词： 非透明平面薄壁构件   平行度测量   厚度测量   数据处理   测量不确定度  

摘要： 随着现代制造技术向着高精度、高可靠性的方向发展,用于检测零部件加工精度的测量技术也显得越来越重要。为了满足现代制造业发展需求,需要具有更高精度的测量技术来检测关键零部件的加工精度,以指导后续的加工工艺,提高加工质量。平面薄壁构件广泛应用于高端装备制造、航空航天、光学等领域,其对平行度的要求很高。工件的形位公差是反映被测要素功能要求的重要指标,对零部件的加工质量具有重要影响。新一代产品几何技术规范规定了面对面平行度评定基本原则-定向最小区域法,但是由于被测工件结构、尺寸、透明性等性质以及基准建立方法的不同,平行度的测量方法并不统一?本文所研究的非透明平面薄壁构件尺寸较大、径厚比大、刚性弱,现有的平行度测量方法难以满足测量要求?因此,针对非透明平面薄壁构件开发一套经济高效的平行度高精度测量系统是一个亟待进行的工作。本文的主要研究内容如下:提出一种非透明平面薄壁件平行度高精度测量方法,该方法通过光学非接触的测量形式分别测取工件的厚度数据和平面度数据。通过数据的筛选、拼接、统一基准、比对、叠加处理,对工件进行面形重构。进而,选择平面度较好的工件表面作为基准平面的拟合对象,利用粒子群优化算法拟合出满足最小条件的基准平面,最后根据定向最小区域原则建立平行度评定数学模型,以计算出工件两表面间面对面的平行度误差?基于所提平行度测量方法,开发了一套针对非透明平面薄壁件的平行度测量系统,主要包括运动单元、测量单元、控制单元、数据处理单元等。运动单元为精密三轴运动平台;测量单元包括同轴激光位移传感器、平面度仪、传感器专用夹具、测量专用夹具;控制单元包括运动控制软件和数据采集软件;数据处理单元是基于Matlab软件开发的数据处理算法。在平行度测量系统的开发过程中进行了结构设计、软件开发、装置搭建、几何精度检测、关键零部件静力学仿真分析等工作。在开发的平行度测量系统上对被测工件（纯铜平面薄壁件）进行了平行度测量实验,验证了测量系统的可行性、稳定性和适用性。利用数据处理算法对数据进行了处理,重构出同一基准下工件两表面的三维面形,并将重构面形与测量面形进行比较,得出最大面形重构误差为0.46μm。根据建立的平行度数学模型计算出工件的平行度为7.41μm,最后,对平行度测量系统进行了不确定度分析,得出平行度测量系统的扩展不确定度U_t为±0.34μm,k=2,即平行度测量结果为f=（7.41±0.34）μm。

关键词： 油气勘探   随钻方位电磁波电阻率测井   数据处理   反演精度  

摘要： 随着大规模油气开发殆尽，油气勘探开发难度日益增大，水平井、大斜度井日益增多。随钻测井技术作为油气勘探开发必不可少的手段，能够极大地提高钻井的成功率，增加采收率，具有重大的经济效益。随钻方位电磁波电阻率测井具有地质导向和实时地层评价功能，是获取大斜度井或水平井测井资料的重要方法。随钻方位电磁波仪器数据处理及可视化展示是仪器应用的前提。　　论文首先研究了随钻方位电磁波电阻率仪器的采样技术。结合数字相敏检波原理，给出了采样频率的选取范围。结合仪器双频信号特征，为简化固件编写，分析了使用一种欠采样频率采集双高频信号获得相同频率的恢复信号可行性，并提出了一种校正方法。为了固件后续计算方便，研究了方波作为参考信号时，使用数字相敏检波计算振幅、相位算法，并给定了方波作为参考信号时计算振幅和相位的校正因子。　　论文论述了随钻方位电磁波电阻率仪器校正、标定的方法及技术指标的验证方法。针对补偿天线特征，详细说明吊空校正和温度校正的意义，并给出了吊空校正和温度校正详细的过程、数据处理方法及校正数据应用方法。针对方位天线信号特征，提出基于海平面作为反射界面的仪器标定方法。此外，结合空气-海水测试环境，提出了一种仪器技术指标验证方法。　　论文论述了随钻方位电磁波电阻率仪器信号预处理方法。数据处理包括补偿信号的处理和方位信号的处理。针对补偿信号特征给出振幅比、相位差与视电阻率的转换表。通过分析补偿信号和方位信号特征，给出补偿信号吊空校正及温度校正流程，以及方位信号标定流程。实测数据显示补偿信号预处理方法能够反映真实地层电性特征，可提供直观的视电阻率曲线。　　论文详细介绍了随钻方位电磁波电阻率测井仪器参数化快速反演方法。首先研究一维层状各向异性介质正演方法，以及Levenberg-Marquardt参数化反演算法。通过设置多初值及强制跳跃，避免局部极小值问题的发生。分析不同测量数据的反演精度。提出反演参数的优选方案。并通过实测数据处理验证快速反演算法的实用性。

关键词： 激光跟踪仪   变形监测   三维监测网   统一空间测量网络   测量误差  

摘要： 航空航天、加速器、飞机制造以及一些科研基础设施等精密工业产品的结构越来越复杂，对设备安装和运营阶段的条件及质量控制的精度要求越来越高，也对设备安装和运营阶段的微变形监测提出了较高的要求。近年来，随着激光跟踪测量技术的发展及应用，因其具备测量精度高、设站灵活、可直接获取三维坐标等技术优势，为构建高精度三维监测网提供了重要手段。本文依托于某市肿瘤医院的质子治疗系统微变形监测项目，围绕激光跟踪三维监测网的布设、数据采集、数据处理等关键问题展开研究。开展的主要研究工作及成果有:　　(1)介绍了激光跟踪三维监测网的基本构成与网形，从激光跟踪仪测量原理出发，根据误差传播定律，对激光跟踪仪的点位测量误差进行分析。重点分析了测角误差、点位误差随距离的变化规律，探讨了提高激光跟踪仪测量精度的措施。针对狭长受限空间监测网的数据采集，分析了公共点数量和空间分布对测量精度的影响。实验表明，为确保三维监测网的可靠性，公共点应分布均匀且数量不得少于6个。　　(2)对于三维监测网中坐标系和多测站数据转换统一问题，探讨了罗德里格矩阵法、奇异值分解法、四元数法等坐标转换模型及其优缺点，介绍了统一空间测量网络(USMN)数据处理理论和方法。针对微变形监测网基准构建问题，探讨了以重心为原点的虚拟重心基准、固定基准点的经典基准等两种基准建立方式，分析了经典基准建立微变形监测网基准过程。实验表明，构建虚拟重心基准适合于监测点分布密集且较为规则的测量现场，不适用于监测点分布狭长且不均匀的情况。　　(3)分析了微变形计算分析的基本原理，对相关算法逻辑和数据库进行详细设计，编写了微变形监测数据处理软件，实现了项目管理、沉降数据处理、差异沉降数据处理、微位移数据处理等功能。　　(4)开展了某市质子加速器微变形三维监测工程应用实践，根据工程实际构建了微变形三维监测网，并进行多周期变形监测。使用统一空间测量网络(USMN)实现多测站数据统一，利用所编写的软件进行微变形数据处理，为质子加速器安装与运行提供了必要保障。

关键词： 步态分析   视觉传感器   惯性测量单元   数据处理  

摘要： 传统的步态分析需要专门的实验室和昂贵的设备，因而限制了其应用范围。随着科技的进步，越来越多可靠、经济的步态分析传感器出现，它们能够在实验室环境之外以及日常活动中使用。视觉传感器和惯性测量单元（IMU）是两种低成本传感器，近年来越来越多地被应用于步态分析系统进行家庭康复运动。　　Kinect 是目前市面上流行的一种基于视觉的传感器，因其成本低、用途多且功能强等优点，在许多领域被广泛使用。然而Kinect在作为骨骼跟踪系统的时候，时常会因遮挡等问题而丢失骨骼数据，因此需要对其进行修正和技术突破。IMU具有轻巧、节能、低成本等优点，被广泛应用于在步态分析领域。而单独使用 IMU 进行的测量往往会随时间而产生漂移，影响计算精度。针对以上问题，本文设计了一种基于Kinect和IMU融合的关节角度计算方法用于步态分析，具体内容如下：　　（1）设计 Kinect 数据采集系统，采集得到人体骨骼信息和运动数据，并对数据进行滤波等处理，用处理后的数据计算得到人体的步态相关参数以及关节角度，并对测得的结果进行验证;（2）使用 IMU采集加速度和角速度信号，并对数据进行处理，用得到的数据进行关节位置估计，分析已有关节位置估计算法的不足之处并在其基础上进行算法改进，再用互补滤波器将加速度计和陀螺仪数据进行融合，解算出关节角度，减少了漂移带来的误差，提高了计算精确度;（3）设计一种基于四元数的扩展卡尔曼滤波算法来融合Kinect和IMU的方向数据，在检测到测量误差较大的运动时，使用 Kinect 和 IMU 融合计算关节角度，在不降低操作效率的情况下提高了计算精度;（4）通过三维运动分析系统（Qualisys）来对 Kinect、IMU 关节角度计算精度以及两种传感器融合后的有效性进行实验验证。实验结果表明所提出的融合方法提高了测量精度，因此采用Kinect和IMU融合的方法来解决人体运动中Kinect的关节遮挡和骨骼失踪问题以及 IMU 的抖动问题具有一定的有效性，在步态分析应用中具有良好的前景和价值。

关键词： 流批一体   用户画像   数据处理   标签预测  

摘要： 高效快速地构建用户画像有利于电商业务实现精准营销及个性化实时服务。离线批数据和实时流数据共同组成用户画像的数据基础,对应用户稳定的静态属性和不断变化的行为信息。因此,用户画像系统要求具备流和批两种数据处理能力,流批一体是指将流处理与批处理两种不同的数据处理方法融合到一起,对混合的有界数据流和无界数据流进行统一支持。论文侧重研究电商业务场景下用户画像构建过程中的流批一体数据处理方案及其实现,并应用流批一体数据处理生成用户画像特征,设计基于特征组合的算法模型实现用户画像的标签预测,完成用户画像系统构建。具体工作包括:(1)流批一体化电商用户画像系统需求分析与概要设计:综合用户画像原始数据多源、海量的特点,从功能性与非功能性两方面对用户画像系统进行需求分析。然后根据流数据与批数据的定义与分析,形式化流批一体计算模式。围绕流批一体计算模式,设计流批一体处理架构和系统模块分层,并定义用户画像数据存储结构。(2)用户画像流批一体数据处理方案:用户画像数据处理的核心是对流批数据的计算与存储,分析用户画像系统的数据处理过程,从计算和存储两方面设计并实现用户画像流批一体数据处理方案。针对现有计算方案的准确性与数据一致性问题,通过统一计算引擎和数据一致性保障策略,设计并实现流批一体的计算方案;针对现有存储方案的重复存储和转换问题,通过对数据逻辑分层,在统一元数据基础上进行分区同步,设计并实现流批一体的存储方案。通过实验证明了流批一体数据处理方案的有效性。(3)基于用户画像特征的标签预测方案:分析用户画像场景的特征类型与约束,梳理标签预测流程,从用户画像特征生成与标签预测模型两部分设计标签预测方案。针对特征生成过程中的准确性与完整性问题,通过应用流批一体数据处理方案,实现特征流实时拼接与离线实时特征关联融合;针对现有算法模型的噪声问题,基于特征组合思想设计标签预测模型DeepBiFFM,充分挖掘特征间的潜在关联,实验表明该模型在商业数据集上相比于基准模型取得更好的性能。(4)流批一体化电商用户画像系统实现与测试:结合流批一体数据处理方案和标签预测方案,以电商相关业务为基础,利用前后端相关开发框架构建电商用户画像系统,并对系统进行功能性测试和性能测试。测试结果表明该系统具有实时性,满足实际业务需要。

关键词： 数据仓库   Hive   数据处理   数据管理   数据分析  

摘要： 近年来,我国保险行业的市场规模在不断扩大,竞争也变得愈加的激烈。同时,随着保险企业信息化建设的不断深入,已经积累了大量的业务数据,但是传统的关系型数据库已经无法满足海量历史数据的存储和分析,而且伴随着企业的规模越来越大,各个部门的数据自成体系,没有统一的管理和规划,使得数据之间的联通性很差,造成数据开发冗余、数据使用效率低和数据孤岛现象越发严重。在当今的数据时代,如何有效的整合分散在各个业务系统中的数据,并从海量数据中获取有价值的信息,帮助企业迅速作出决策,保持核心竞争力,已经成为保险企业经营发展面临的一个急于解决的问题,基于大数据技术的数据仓库系统为这个问题提供了一种较好的解决方案。本文结合某保险企业的实际项目阐述和分析了基于Hive的保险数据仓库系统的设计和实现。本文以某保险企业的实际业务需求和企业目前存在的问题为出发点,对保险数据仓库系统进行了详细的需求分析,并在此基础之上,从数据仓库建模、数据处理、数据管理、数据分析和权限管理五个方面对数据仓库系统进行了设计和实现。在数据仓库建模方面,通过维度建模结合公司业务完成了数据主题划分、业务总线矩阵设计、数据分层设计和数据模型设计。在数据处理方面,通过采用Hadoop、Flume和Sqoop等大数据技术完成数据采集、转换和装载,把数据从业务系统同步到Hive数据仓库中。在数据管理方面,通过数据标准管理、元数据管理和数据质量管理功能减少数据仓库重复建设、提高开发效率、保持数据口径一致和提升数据质量。在数据分析方面,通过OLAP引擎Impala完成Hive数据仓库中数据的快速查询分析,并利用Django和Echarts实现了数据的图形化展示。在权限管理方面,通过用户管理和角色管理实现系统权限隔离,保证数据的安全性。最终,通过编写测试用例进行测试验证,确保了系统功能满足需求。目前,基于Hive的保险数据仓库系统已经在企业中正式应用,有效的解决了数据处理能力不足、数据不规范和数据分析形式单一等问题,实现了企业内全域数据汇集及统一管理,并通过多种图表对数据仓库中的数据进行可视化展示和分析,为业务部门和高层领导的企业管理和决策提供依据。

关键词： 海洋重力测量   插值   低通滤波   精度分析   软件设计  

摘要： 随着海洋重力测量技术的日趋成熟,海洋重力场数据分析对水下导航、海洋资源勘探、地球物理科学等方面的研究具有重大的意义。本文围绕捷联式海洋重力仪测量数据的处理方法开展了深入研究,主要工作和研究成果如下:研究了重力图双线性插值、双三次插值、双三次样条插值、基于球面模型和基于指数模型的克里金插值方法,通过插值误差的统计结果评估插值的效果,总结出双三次样条插值的精度更高,其标准差优于0.1m Gal。对不同窗函数的FIR低通滤波器进行了研究,结合两组实测数据,对三角窗、汉宁窗、海明窗和布莱克曼窗进行了分析和比较,汉宁窗FIR低通滤波器处理海洋重力测量数据效果最好。对海洋重力处理数据的结果进行了精度分析,计算出汉宁窗FIR低通滤波器处理结果的重复线内符合精度为0.32m Gal。给出了快速计算交叉点坐标以及交叉点不符值的方法,通过对两组试验测区交叉点不符值的统计分析,对其数据处理方法进行了验证。编制了海洋重力数据处理的软件,设计了软件模块的界面、插件菜单、底层逻辑等,通过实验分析验证了该软件平台具有良好的可维护性和可扩展性。本文的研究工作对海洋重力数据的处理以及水下导航技术的研究都具有重要的参考价值。

关键词： 海洋遥感   激光雷达   布里渊散射   温度   盐度  

摘要： 激光遥感具有空间分辨率率高、测量范围大、穿透性强的优势在海洋遥感中有着越来越重要的价值。其中,基于布里渊散射的激光雷达能够实现海洋次表层温盐遥感而受到广泛关注。在现有的布里渊激光雷达技术中,基于多边缘技术的测量方式具备大规模遥感海洋温盐垂直剖面分布的能力。目前该测量方法已经完成了理论构建和仿真实验分析,本文的目的是进一步推进该方法从理论向实际应用的发展。 为了将该布里渊温盐测量理论推进到实际应用阶段,本文基于理论和仿真实验,搭建了布里渊温盐测量系统。在已有光学系统基础之上,研究了激光器频率抖动对测量结果的影响;设计了电子学系统,通过温度控制模块维持了系统工作稳定,完成了基于光电倍增管的光电转换模块;基于Ot开发了系统软件,实现了实验系统的控制及温盐测量回波数据采集。回波数据采集完成之后需要对数据进行分析,因此引出了对数据分析和处理的工作。 由于实验系统处于非理想条件下,探测器等非线性器件会引起回波数据的非线性失真,实验环境中的杂散光会产生线性噪声,为了提高测量精度,本文分析了回波数据特征,提出了温盐测量回波数据处理方法。针对回波数据中的线性噪声问题,提出了基于统计特征的线性优化滤波方法;针对实测数据和理论模型间的匹配问题,提出以先验数据为基础的非线性数据校正方法,实现了对温盐测量系统偏差的校正和补偿;通过这些处理方法使系统有了更高的温盐测量准确性。 在完成温盐测量系统搭建和数据处理方法的基础上,为了测试本方法在实际环境中的性能,本文通过水槽实验,分析了温度测量精度、盐度测量精度和垂直分辨率等结果。考虑到未来大规模应用的需求,本文从实验结果和系统参数出发,推导了本方法在船载、机载和星载平台上的最大测深能力,为今后其在大规模海洋遥感方面的应用奠定了基础。