关键词： Alluxio   HDFS   分布式文件系统   脉冲星   数据处理  

摘要： 随着世界各地天文观测设施的不断升级,各种分布式技术在天文领域当中出现了广泛应用。我国的500米口径球面射电望远镜巡天扫描的数据量不断增加,对用于观测数据处理的硬件和软件也提出了越来越高的要求。其中,现有分布式计算集群所采用的文件存储系统技术逐渐成为限制计算速度的瓶颈之一。本文通过对分布式脉冲星搜索计算集群的整体架构、各个模块的具体实现以及脉冲星计算任务的整体执行流程进行研究分析,详细介绍了其中各种文件存储系统的实现方式,从中得出其中存在由于集群架构和文件存储系统下载带宽限制所导致的网络传输时延较长、冗余磁盘I/O开销较大和计算节点资源利用不充分的问题。通过对当前流行的分布式文件系统技术进行研究比较,结合在计算集群中出现的三个问题以及可行性和拓展性分析,最终选择在各个节点上重新搭建Alluxio和HDFS以实现集群的文件存储系统,设计存算一体的计算集群架构并逐步实现搭建Alluxio+HDFS文件存储系统,其中Alluxio用作共享临时文件目录,HDFS用作数据存储目录。并结合文件系统机制和具体脉冲星搜索任务,利用缓存机制和数据局部性设计计算任务和任务分配方法。最后实验验证了Alluxio+HDFS文件存储系统的缓存加速效果和增加集群整体带宽的效果,实验结果表明本文所提出的文件存储系统能够在一定程度上提高分布式脉冲星搜索计算集群的整体计算效率。最后本文所使用的分布式文件系统技术也能够为后续使用分布式计算进一步改进脉冲星搜索算法和进行脉冲星候选体的识别和筛选打下一定的基础。

关键词： 高速数据处理   数字触发   触发存储控制   傅里叶插值  

摘要： 科学始于测量,示波器作为电子测量领域的关键性仪器,肩负着推动电子信息技术进一步发展的重任。如今,针对高频域、高带宽、复杂化、多样化的现实需求,传统基于指令顺序执行的软件处理方式难以满足高实时性要求,因此基于数字逻辑的高速数据处理设计实现对电子测量领域发展有重要的实际意义。本课题依托12.8GSPS数字采集模块,借助FPGA强大并行处理能力,对量化后采样数据所涉及的单双通道数据拼合、多种采样模式下的数据处理、多种触发功能、存储控制及触发地址查找、多倍率插值等模块进行逻辑设计,并对最终结果进行测试和验证。主要研究内容如下:（1）多种采样模式下数据处理。为减少数据冗余以提升处理速度,分别设计实时、峰值、高分辨三种采样模式对降频拼合后的单/双通道高速采样数据进行抽取处理。在实时采样模式下基于M路均匀抽点法实现;在高分辨、峰值采样模式下,采用多级串行流水线结构实现M路数据点处理。针对高分辨采样方式下部分采样点累加求和截取低位计算平均值易造成误差的问题,引入近似寻找法降低误差影响。（2）数字触发及触发存储控制模块设计。为了抑制噪声,减少误触发情况的发生,引入迟滞比较区间代替单电平判断方式实现数字边沿触发。在此基础上设计实现脉宽触发、窗口触发等高级触发功能,实现对异常信号的有效捕获。在触发控制模块中完成普通、自动等触发方式,存储控制模块主要完成预触发、后触发存储控制以及触发地址查找等逻辑设计。（3）多倍率硬件插值模块设计。本文引入基于频域处理的傅里叶插值法实现多倍率数据插值。本文首先对线性插值、正弦内插、傅里叶插值算法仿真结果进行对比分析,在保证插值效果的基础上引入资源消耗更少、复用性更好的傅里叶插值法进行逻辑设计,然后在逻辑设计过程中针对非周期截断导致的频谱泄漏以及IFFT变换长度非2M所引起的数据误差,分别采用“重叠帧”、“滑动平均抽点”的方式对插值数据进行处理并取得最终插值结果。通过对各个数据处理模块进行测试与验证,本课题设计的多种数据处理模块各项功能正常,符合要求。

关键词： 边缘计算   容器技术   深度强化学习   物联网平台  

摘要： 边缘计算作为一种新兴的计算范式,旨在靠近物联网终端一侧,构建一个相对完整的、具备计算和存储等核心能力的应用平台,能够充分利用终端上报的实时物联网数据进行快速处理与分析,降低云端物联网数据计算和存储成本,并提供多种智能化应用服务给边缘侧用户。随着物联网与机器学习、大数据计算等新一代信息技术的融合,物联网应用需要处理大量的实时数据流。同时,用户对实时物联网数据处理的延迟要求和物联网应用智能化的需求为传统的边缘计算平台带来了挑战。由于边缘计算集群资源有限,需要构建分布式并行数据处理流程来充分地利用有限的集群资源,同时应对任务进行有效的调度编排,提升边缘应用的整体运行效率。本文使用容器化编排技术,构建了五层分布式边缘物联网数据处理平台软件架构,结合主流的实时大数据计算和人工智能框架,实现边缘侧实时计算和在线机器学习应用,并为平台中的在线机器学习任务开发了智能调度流程与系统。本文的主要工作总结如下:1.提出了基于容器编排框架Kubernetes的边缘物联网数据处理平台五层软件架构,设计了一套完整的物联网实时数据处理流程。软件架构主要分为物联网数据接入层、数据转发层、大数据处理层、在线机器学习应用层、数据存储与可视化层。2.在异构边缘服务器节点上对本文所设计的分布式边缘计算软件平台进行了部署实现。将软件平台应用于实际的电力物联网场景,实现了大数据实时电力功率流计算和基于LSTM模型的在线功率预测应用,并对物联网数据处理延迟、计算资源使用情况和平台扩展性能等方面进行了测试。3.基于深度强化学习设计并实现了边缘机器学习任务的动态编排系统。首先,设计了基于Deep Q Network(DQN)的离线任务调度算法,对算法的收敛性进行了验证。其次,开发了一套基于Kubernetes控制器模式的调度控制平面组件,结合DQN强化学习调度算法和Kafka消息中间件实现了周期性动态编排控制流程。通过任务编排对比实验,进一步验证了编排系统可以有效缩短在线机器学习任务的平均完成时间。最后,实现了调度信息管理平台。

关键词： 极低频电场透地通信   数据处理   奇异值分解  

摘要： 在极低频电场透地通信中，通常同步采集2个互相垂直的电场水平分量。当收发距较大时，采集获得的电场数据往往具有较小的信噪比，接收信号严重受到噪声的干扰，所传递的信息不清晰甚至错误。因此，当在极低频电场透地通信数据信噪比较低时，需要对其进行滤波处理，压制噪声成分，提高数据的质量。提出了一种两步奇异值分解滤波方法，该方法第1步压制极低频电场透地通信数据中较强的噪声，第2步在第1步的基础上继续压制数据中残留的噪声。将该方法应用到某湖上极低频电场透地通信数据中，处理结果表明，该方法可以有效改善各接收点电场数据的质量，极大地提高了数据的信噪比。

关键词： 水下无人航行器   数据处理   神经网络   注意力机制  

摘要： 水下无人航行器在复杂多变的海洋环境行驶过程中,安全性是其正常行驶的重要保障。推进器作为水下无人航行器的动力源,其可靠性与安全性对水下无人航行器的正常行驶有至关重要的作用。本文针对推进器的弱缠绕、强缠绕、单叶破损、双叶破损、单叶变形、双叶变形、桨叶脱落以及完全堵转八种故障状态与正常行驶一共九种状态进行了分类识别诊断研究:针对水下无人航行器运行数据的预处理方法;基于滑动窗口与卷积神经网络的故障诊断方法;基于注意力机制改进的故障诊断方法开展了研究;搭建了基于故障诊断方法的水下无人航行器故障诊断平台,并基于平台开展了航行故障状态诊断试验。本文的主要研究内容如下:(1)针对水下无人航行器运行数据的缺失与异常问题,开展了数据预处理方法的研究。对于异常数据,根据时间序列数据之间的相关性构建时序数据的格拉姆角场,以格拉姆角场为基础计算相关性的均值与幅值,然后采用3δ原则设置阈值进行异常值的剔除。对于缺失数据,首先通过改进的格拉姆角场确定时序数据的关联序列,然后经KNN算法求解关联性最强的两个序列,最后用均值差的方式对其进行缺失值的修补。(2)针对基于数据驱动的故障诊断方法中单尺度变化难以反应故障状态特征的问题,开展了基于滑动窗口与卷积神经网络的水下无人航行器推进器故障诊断方法研究。本文提取了时间序列维度与传感器维度两个维度的综合特征进行故障的诊断。首先将传感器采集的多维时间序列数据通过滑动窗口的处理,将采集到的数据转变为二维张量,接着通过卷积降噪自编码器进行数据的降噪以及数据特征提取的工作,然后通过卷积神经网络进一步提取时间序列与传感器维度的关联特征,最后通过全连接层以及softmax层进行数据的分类诊断工作。(3)针对水下无人航行器推进器故障诊断模型中特征分布不均匀的问题,开展了强化其特征分布方法的研究。通过引入时域自适应模块,采用二分支的处理方式,对局部的特征与全局特征进行特征加权处理。在卷积特征模块中,对时间序列方向上的数据进行压缩,提取注意力权重,从而加强对时间序列变化数据的关注,增强模块的识别效率。(4)针对水下无人航行器推进器的实时故障诊断问题,搭建水下无人航行器推进器的故障诊断平台。通过PYQT构建GUI界面,并在后端实现包含数据采集、数据储存、数据处理,故障诊断以及结果可视化的各个算法,最终实现水下无人航行器推进器的在线诊断以及离线诊断。(5)针对水下无人航行器故障诊断算法模型及诊断平台的有效性,进行了水下无人航行器故障诊断的测试试验。试验从已知故障状态和未知故障状态两个角度出发,对水下无人航行器的故障诊断算法及平台进行了验证。

关键词： 数据处理   GPU   并行计算   三维重建  

摘要： 数据处理是科学研究任务中的重要一环,在科学发展的历史进程中,前人已经总结出了许多数据处理的工具和方法。随着信息时代到来,科学研究需要处理的数据量陡然增加,传统的串行的处理方法面对海量数据往往是效率低下的。近年来兴起的基于单指令多数据流架构(Single Instruction Multiple Data,简称SIMD)的通用计算图形处理器(General Purpose Graphics Processing Units,简称GPGPU)作为传统意义上图形处理器的一种新升级,能够高通量地运行一些具有数据并行性的科学计算任务,具有广泛的科学计算应用前景。然而,许多数据处理任务直接应用于GPGPU上会遇到一些问题:1)数据处理流程本身具有高度的相互依赖性,其拓扑结构几乎不具有并行度;2)现有的算法一般基于通用中央处理器(Central Processing Unit,简称CPU)进行工程实现,其中的变量设计、执行逻辑是以CPU的最优编程方式进行的实现,并不能适应GPU的硬件架构;3)少数使用CPU实现的并行化算法,其并行能力来源于CPU的多核心,这是一种粗粒度层面的并行方式,而GPU强大的数据处理能力需要通过细粒度层面的并行来展现;4)成熟的商业软件对算法有着极其细致的优化,能够充分利用CPU和GPU的算力,从而在异构计算平台上达到较高的运行效率,但这些商业软件是闭源的,无法满足科学研究中有针对性的算法修改需求。对于上述几个问题,本文将通过例举两种科学计算场景来回答。本文分别展示了线性数据经过近似化处理之后的GPU并行算法应用,以及冷冻电镜三维重建算法中的三维数据的并行应用。这两者分别体现了改变算法拓扑结构增加并行度和充分利用现有并行度在工程上进行加速优化的方法。本文章的创新点包括:处理用DTW处理的线性数据时提出了一种分段的并行DTW近似算法,在保证精确性的前提下,将线性数据拆解成多段后并行的算法既能在粗粒度层面进行高度并行,也能在细粒度层面以斜对角线的方向并行计算,从而令GPU能够大规模吞吐;处理冷冻电镜三维重建数据时,充分利用了数据的不依赖关系,令每一个CUDA逻辑线程能够对应一个数据点,在多个层次实现了多粒度并行,且对显存限制的情况提出了修改后的内存节约算法,充分利用了 GPU的并行能力。

关键词： MATLAB   自由网平差   变形预测   系统设计   系统实现  

摘要： 近年来,伴随着社会的需求以及科学技术的发展,我国大力进行基础设施建设,使各种工程项目的数目与日俱增。在这些工程项目建设过程中测绘工程这一重要性的专业,有着不可替代的作用,它是许多工程项目得以实施的基石。在建筑施工过程中,为保障工程的安全和稳定,需进行变形监测,进而为其制定施工计划,优化施工方案。变形监测数据处理一般是利用先进的测量仪器与设备将观测数据进行处理与分析。观测数据处理需要平差计算,平差计算是施工测量中的重要部分,它是测量的主要组成部分,是对测量成果进行全面分析、判断的重要依据。在工程建设中,变形预测也是一项非常重要的工作,它对工程建设和运行都有很大的影响。本文以自由网平差理论为基础,结合现有常用的传统预测方法。以水准网的高程数据和GNSS网的坐标数据为研究对象,运用MATLAB软件设计开发了平差计算、变形量计算、变形预测基于一体的程序系统,并详细设计了软件的层次结构和操作流程。该系统能够实现数据录入、平差计算、变形量计算、变形预测、数据输出及可视化等一体化功能,数据录入是以Excel表格形式的数据进行自动录入。平差计算功能可以让使用者选择秩亏自由网伪逆解法、伪观测法、直接法、消去条件法或者选择拟稳平差基本解法、附加条件法进行计算去除误差,提高数据质量。变形数据预处理之后,变形预测功能可以让使用者根据实际的需求选择回归分析法、灰色理论方法、人工神经网络法、时间序列法来进行预测,方便使用者后续研究与使用。数据输出是将数据处理后的结果以Excel表格形式输出,数据结果以柱状图或曲线图的形式进行可视化。最后运用实例对系统进行了测试,达到了预期的目的。从数据结果对比和精度评定来看,该系统具有实用性,高效性且功能较为齐全,方便使用者使用。

关键词： BDS-3   地壳形变   中国地震科学实验场   川滇地区   同震位移场   滑动分布模型  

摘要： 北斗卫星导航系统(BDS)是我国自主建设运行的卫星导航系统,遵循“三步走”战略。BDS-3卫星导航系统已于2020年7月建成并向全球用户提供服务。充分挖掘北斗系统的优势并使其为各行各业提供高效优质的GNSS服务是必然发展趋势。高精度地壳形变和构造运动研究一直是GNSS应用的重要领域,以美国GPS为代表的GNSS系统已经在该领域中取得了丰硕的成果,由于BDS-3组网完成时间较短、外部参考模型不够完善、地面跟踪站数量处于增加部署阶段,BDS相对定位及其在地壳形变中应用的研究相对薄弱。随着接收设备的升级,中国大陆构造环境监测网络(简称:陆态网络)及中国地震科学实验场(简称“实验场”)的部分测站已经积累了2年以上的BDS数据,这为BDS在地学领域的研究和应用提供了重要的平台和充分的观测数据保障。为探究BDS数据定位结果的精度及其在地壳形变研究中的表现,本文开展了以下几个方面的研究:1)对中国地震科学实验场的BDS-3数据进行质量评估;2)使用相对定位的方法处理实验场BDS-3和GPS数据,得到ITRF14框架下的测站坐标时间序列,并对比分析定位结果的精度;3)通过测站坐标时间序列模型拟合实验场区域内BDS三维速度场以及时间序列的周期信号,并与GPS结果比较;4)针对2022年9月5日的泸定地震,使用震中200km范围内的BDS数据进行同震位移的提取,并基于位移场反演滑动破裂分布模型。主要得到以下几点认识和结论:(1)实验场区域内BDS-3数据与GPS质量相当,在设定合适的截止高度角后,能够独立用于高精度形变监测,其在ITRF14框架下的定位结果水平精度约4～5mm,垂向精度约为8～10mm,相比GPS结果偏大。主要原因是北斗系统的轨道产品精度有待提高、经验型太阳光压及卫星天线相位中心改正等模型的不完善。(2)BDS-3获得的测站坐标时间序列中可以识别出明显的趋势信号和周期信号,其中,由BDS-3和GPS获得的三维速度场仅在E方向存在约2mm/yr的系统差异,但速度场和周期信号差异不存在明显的区域分布特征。造成速度场差异的原因主要是BDS与GPS定位结果存在区域性误差和尺度差异,导致参考框架基准不统一。(3)利用2022年9月5日泸定地震震中200km内的BDS数据能够获取该地震精确的同震位移场,同时能够清晰地揭示该地震左旋走滑的特征。BDS获取的同震位移场与GPS的结果一致,但利用BDS同震位移场反演的滑动破裂分布模型尚不能与GPS和地震波反演的结果良好吻合。受限于实验场及陆态网络中可接收BDS数据的测站数量远少于GPS测站,BDS测站分布对震源滑动分布的分辨率低于GPS测站分布的分辨率。

关键词： 无线传感器网络   数据采集系统   传感器节点   数据处理  

摘要： 本文针对基于无线传感器网络的数据采集系统展开研究，旨在探索无线传感器网络在数据采集领域的应用。通过设计系统架构、优化传输协议和算法，实现数据采集、处理和管理的高效性与可靠性。通过实验验证系统设计的有效性，并对实验结果进行分析，为无线传感器网络数据采集系统的设计和应用提供理论和实践支持。

关键词： GPS   形变监测   小波包   温度变化   有限元分析  

摘要： 高层建筑物在长期的运营管理中,由于某些外界因素的作用致使建筑结构产生损伤,随着时间的推移,结构损伤逐渐累积可能会造成建筑物处于危险状态。因此,如何实时、准确、高效的掌握高层建筑物的健康状况具有非常重要的社会效益。目前,GPS(global positioning system)技术由于其众多的优势(高精度、全天候监测、不受视线条件限制等)成为高层建筑物形变监测中最常用的方法之一,但其也存在一些不足之处。例如,GPS对建筑物进行监测时,会受到卫星星历、电离层及对流层延迟、卫星及接收机钟差等误差的影响,导致其定位精度降低;差分技术虽然可以有效消除上述系统测量误差,但受到测站周围环境影响,GPS形变监测数据中会存在多路径误差,从而影响建筑物形变信息的精确提取;同时GPS技术仅可以获取监测对象的几何形变信息,为了更加合理可靠的掌握高层建筑物的健康状况还需结合影响形变的外界因素进行科学地解释和分析。基于上述问题,本文详细阐述了GPS的基本误差源与载波相位差分模型;研究了GPS多路径误差的特性,提出了一种抗多路径误差的方法;研究了温度变化与高层建筑物形变间的相互关系。本文的主要研究内容与成果如下: (1)本文提出了一种基于小波包(wavelet packet,WPT)分解重构算法的GPS抗多路径误差方法。利用实测GPS数据,确定了算法的最优参数,包括小波基函数、分解尺度、阈值法则以及阈值函数等,并与经验模态分解法(empirical mode decomposition,EMD)、小波变换(wavelet transform,WT)方法相比较,验证了本文WPT算法在去噪、抗差以及提取多路径误差序列方面具有一定优越性。实验结果表明,采用本文方法对实测GPS数据进行处理后,N、E、U三个方向上的精度分别提升23.5%、39.2%、18.5%,有效提高了GPS的定位精度。 (2)本文以某一高层建筑物(58m)为研究对象,研究建立了一套基于GPS进行高层建筑物动态特性监测以及形变规律分析的技术方法。采用GPS静态相对定位技术监测楼顶固定点的几何位移信息,并基于抗多路径误差方法,以及时序分析法提取了监测点的形变幅度、水平与高程方向位移、水平位移轨迹等动态特性信息。研究时段内可以发现随着气温的升高,监测点的形变幅度会逐渐增大;同时当气温达到最大值时,水平与高程方向的位移量达到最大值,分别为3.2mm与3.8mm;同时获取了大楼楼顶监测点的水平位移轨迹情况,发现温度变化会导致监测点产生短期的形变趋势,当气温上升时,监测点可能朝某一方向发生形变,但随着气温的下降,又回到初始位置。研究结果表明,正常的温度变化会造成建筑物结构的微小形变,但这种形变是在可允许的范围之内。 (3)本文基于ANSYS软件对温度场中建筑物的结构形变进行了有限元数值模拟分析,研究了温度变化与建筑物形变间的相互关系。数值仿真结果与实测数据结果一致,验证了本文结论的可靠性,为掌握高层建筑物的健康状况提供了重要的数据支持。图38幅,表19个,参考文献63篇。