关键词： 异构数据   ETL   数据集成  

摘要： 根据Statista数据统计,2035年全球数据存储量有机会接近2142 ZB(1ZB=10GB)。计算机技术与人工智能的快速发展,使企业信息化与智能制造已经取得了巨大的进步。信息化主要依托计算机网络技术来实现,传统线下依赖人工产生的重复业务流程,在使用软件工具实现记录存储和查询,能够得到大幅度提高操作效率、节省人力资源。由于不同企业各类应用系统对异构数据量的处理正在迅速增长,系统之间的数据交换也逐渐显露出效率低下、耦合性大等问题。在数据应用阶段,最为重要的就是如何对数据进行有效整合。目前常用的数据同步和整合工具,不管是其功能、还是性能及其延展性等上,都还有很多的不足之处。因此对于数据集成,还有很长的路需要探索。本文以国内某供应链集团IT信息中心为依托,根据企业决策层的需求,分析企业的系统应用基本情况,提出一种基于DataX改进的系统异构数据处理方案,并构建了适合于供应链环境资源管理任务调度中心平台的ETL作业调度算法,开发出的原型系统具有一定的实用价值。针对以上问题,本文进行了创新性研究,主要工作成果如下:(1)提出了一种基于DataX改进的系统异构数据处理方案,该方案基于DataX采用分布式架构Master-Worker主从范式,对数据同步任务的执行过程和任务构建进行了设计。实验证明,改进的DataX方案执行任务结束所消耗的平均时间优于原生DataX。(2)在对FCFS调度算法、FS调度算法和CS调度算法进行研究的基础上,提出了基于任务时序的SBOTS调度算法。SBOTS调度算法在处理作业时间和资源利用率方面,能明显缩短作业处理时间、提高中央处理器和内存利用率。(3)ETL任务调度中心平台原型研发,基于开源框架XXL-JOB开发ETL部署任务调度中心平台,针对系统异构数据集成提供了统一的开发环境标准,设计并实现了五大模块功能:运行报表、任务管理、执行器管理、用户管理和调度日志。(4)对本文所设计的一种基于DataX改进的系统异构数据处理方案、基于任务时序的SBOTS调度算法集成于ETL任务调度中心平台进行实验和测试,验证了所开发系统的有效性。

关键词： 深度学习   点云数据处理   地铁隧道   裂缝定量提取  

摘要： 隧道衬砌表观裂缝的提取是目前隧道施工和运营养护期定期检测的必要检测指标,对于评价隧道衬砌结构安全程度、规避运营风险起到至关重要的作用。然而,目前严重依靠人工检查的方法不仅引入主观和不可靠的人为因素,效率低下,日常巡检成本高,而且难以满足隧道数字化运维的迫切需求,隧道运营维护中各类病害参数的集成采集提取和综合评估问题日益凸显。本文尝试采用结合机器视觉技术和点云数据处理提出一种能够智能定位并提取隧道衬砌表观裂缝几何信息的客观方法,以便提高隧道定期检查的效率和准确度。本文首先以隧道裂缝评价的特征以及基于机器视觉和点云处理的相互关系为视角,考虑隧道运营定期检查的实际情况,提出隧道衬砌表观健康度概念,研究了基于快速检测的隧道衬砌表观健康度的因素属性指标和目标提取隧道衬砌裂缝指标,并阐述了图像实例分割和点云数据处理在裂缝定位与定量提取中的相关理论。其次,从隧道衬砌裂缝快速定位的角度出发,设计了提高标注效率的半自动裂缝图像实例分割标注程序;并以实例分割算法Mask R-CNN为基础,针对隧道衬砌表观裂缝定位检测任务的特点,集成实例分割假设打分、自底向上路径增强的网络增强模块,提高隧道衬砌表观裂缝识别准确率。最后,利用三维激光扫描设备采集的点云数据,针对裂缝指标属性因子,构建散乱点云在改进栅格法下的空间拓扑关系,通过柱面展开将三维点云投影至二维平面,基于质心分析算法、单向生长算法和分治法思想对点云裂缝的轮廓特征点进行提取、排序和区分,定量提取裂缝的长度、最大宽度和分形维数。在上述研究的基础上,通过厦门地铁二号线隧道实例计算实验验证本文方法的可行性。结果表明,本文所提出的基于图像和点云数据的隧道衬砌表观裂缝智能提取方法具有较好的效率和准确度。该方法不仅挖掘了图像和点云数据中蕴含的数据价值,并且实现了隧道表观裂缝的智能化识别和几何信息提取,为我国隧道表观病害自动化和智能化提取提供了新的方法。

关键词： 蛋白质糖基化   疾病   肿瘤标志物  

摘要： 蛋白质糖基化与疾病的发生发展密切相关，临床上使用的大多数肿瘤标志物是糖基化蛋白质。在组学层次上进行位点特异性糖型的分析对发现新型疾病标志物、提高基于蛋白质糖基化的精准医学研究水平等具有重要作用。色谱-质谱联用技术在糖蛋白的分离分析研究中得到了广泛的应用。基于液相色谱-串联质谱（liquid chromatography-tandem mass spectrometry,LC-MS/MS）的完整糖肽鉴定已成为研究蛋白质上位点特异性糖链修饰的主要手段，其主要优势在于分析过程中可以同时揭示蛋白位点与糖链修饰的信息，从而在组学层次实现规模化的蛋白糖基化分析。

关键词： 电动自行车管理   交通流量预测   轨迹数据   地图匹配   图卷积网络  

摘要： 近年来,我国的电动自行车行业发展十分迅速,庞大的电动自行车保有量为城市管理带来了诸多挑战。道路流量预测是智能交通系统的重要应用之一,道路级电动自行车流量数据分析与准确预测可以帮助城市规划者做出科学决策,进而减轻电动自行车造成的诸多城市管理难题,例如交通拥堵、充电站选址、违章停车等等。机动车的流量数据可通过卡口记录、轨迹数据提取、摄像头记录等多种方式获取,然而目前电动自行车交通流量只能通过轨迹数据间接获取,方式较为单一。此外,电动自行车轨迹数据存在以下特点:1)存在大量停留点,2)高采样频率导致相邻轨迹点的距离较短,3)电动自行车可行驶的路段更多。上述特点导致轨迹难以被快速、准确地匹配到路网,无法为流量预测提供可靠的数据源。另一方面,现有的交通流量预测方法致力于解决高速公路场景下的机动车流量预测问题,没有为复杂城市路网下的电动自行车流量问题提出针对性解决方案。本文从电动自行车轨迹数据的处理与道路级电动自行车流量预测两方面展开研究,电动自行车轨迹数据的处理过程中的地图匹配步骤是提取道路电动自行车流量数据的必要前提,具体内容如下:(1)针对电动自行车轨迹数据存在的特点,本文提出了一种可自适应路网精度的电动自行车轨迹地图匹配方法KFTS-AMM,该方法融合了基于分段卡尔曼滤波算法的轨迹简化算法(KFTS),和分段隐马尔可夫模型的地图匹配算法(AMM)。首先,利用卡尔曼滤波算法可用于最优状态估计的特性,KFTS能够在轨迹简化过程中对轨迹点进行自动修正,使轨迹曲线变得平滑并减少了异常点对于地图匹配准确率的影响。同时,使用基于分段隐马尔可夫模型的地图匹配算法AMM,避免了部分无效轨迹对整条轨迹匹配的影响。此外,在轨迹数据的处理过程加入了停留点的识别与合并,进一步提升了匹配准确率。在郑州市真实电动自行车轨迹数据上的实验结果表明,KFTS-AMM在准确率上相对于已有的对比算法有较大的提升,并可通过使用简化后的轨迹数据显著提升匹配效率。(2)针对现有交通流量预测方法多聚焦于高速公路场景下的机动车数据预测,因此无法有效利用轨迹数据作为流量预测数据源,并且忽略了道路间动态变化的空间相关性的问题,本文提出了一种基于动态时空图卷积的深度学习网络模型(DSTGCN),本模型由道路级转移流量嵌入模块、动态空间注意力模块、动态时空卷积模块和最终输出层组成。DSTGCN模型可以捕获复杂城市路网上电动自行车流量的时空动态,对道路间的动态时空相关性进行精细建模,从而对道路上电动自行车流量进行细粒度预测。在郑州市真实电动自行车轨迹数据上的实验结果表明,本文提出的DSTGCN模型相比于基准方法拥有更高的预测准确度。

关键词： 轻小型无人机   无人机雷达   雷达数据预处理   超分辨率成像   植被高度  

摘要： 轻小型无人机雷达系统具有低成本、高机动性、高分辨率等优势,其独特的目标高度维探测能力可以为林地监测、规划和管理提供高效的数据获取手段。然而,轻小型无人机雷达的研究刚刚起步,在探测植被高度方面的效果仍有待进一步探索。与传统雷达成像不同,无人机雷达成像属于近场条件,且受到微型雷达尺寸、功率等方面的限制,对杂波和干扰更加敏感。针对上述问题,本文基于一种自行研制的轻小型无人机雷达系统,在数据预处理、时域成像和超分辨成像三个方面进行了深入研究,并选取两种不同的树种开展机-地观测实验,验证了所发展的数据处理方法的有效性。主要研究内容与结果如下:(1)研究无人机雷达数据预处理中直耦波去除和噪声抑制方法,提出了基于剩余图像熵的自适应主元分析降噪法。无人机雷达系统成像场景复杂,回波数据容易受到噪声和干扰的影响,本文从直耦波去除和噪声抑制两个方面对无人机雷达数据预处理方法展开研究。首先,介绍了平均抵消法和主元分析法两种直耦波去除算法的原理,并分析了两种算法在轻小型无人机雷达系统成像场景下的适用性。然后,分析了三种主流的信号去噪方法,提出基于剩余图像熵的自适应主元分析降噪法,解决了传统方法中主元选择不稳定的问题,有效提高了去噪效果。(2)研究时域后向反投影(BP)成像算法,提出了一种联合窗函数和互相关信息的BP(WCBP)算法。针对经典BP算法主要存在成像速度慢和受杂波影响严重的问题,利用基于子孔径和子区域划分的快速BP算法,在成像质量几乎保持不变的前提下提高了算法运行效率;并借鉴医学成像中“时延-相乘-求和(DMAS)”算法思想,利用互相关信息减小杂波影响,同时在时延信号计算时采取加窗策略压制旁瓣,最终提出了一种WCBP成像算法,有效抑制了杂波和旁瓣的干扰。(3)研究轻小型无人机雷达分辨率增强方法,将鲁棒Capon波束形成(RCB)和正弦幅度相位估计(APES)应用于无人机雷达超分辨率成像。BP算法等传统时域成像算法的分辨率会受到硬件条件的限制,而超分辨率成像算法能够突破理论分辨极限,且具有更强的抗干扰能力。本文研究了现代谱估计中的RCB和APES方法,并将其应用在无人机雷达数据成像中,得到了分辨率高、干扰能量低的成像结果。针对两种算法所包含的大量高维矩阵运算导致的算法效率问题,通过预波束形成在子图像域构造低维波束矢量,进而大幅降低协方差矩阵维度。采用降维RCB算法和降维APES算法对数据进行成像,达到了成像质量和效率间的平衡,拓展了超分辨率成像算法的实用性。(4)基于自研新型轻小无人机雷达系统,提出了一种植被高度信息获取方法。针对两种不同的树种,开展了轻小型无人机雷达飞行实验,获取了无人机雷达数据和地面同步观测数据。利用实验数据,对本文所提出的植被高度信息获取方法进行实验和验证。结果表明,该轻小型无人机雷达系统及本文所提出的数据处理方法仅需单次航过即可提取高精度的植被高度信息,且模型简单、空间分辨率高,成本较低,具有广阔的应用前景。

关键词： 癌症亚型   分类模型   特征选择   数据处理  

摘要： 随着基因芯片、二代测序等分子生物学技术及系统生物学的不断发展，为形态学分型向更为精准的分子分型转变提供了技术支持，并在此基础上获得了基因表达谱数据，来对癌症亚型进行分类。然而，基因表达谱数据存在样本的维数高而样本数量很少和噪声冗余大而信息基因很少的特性，需要对数据进行一系列的处理。　　本文基于癌症亚型数据的特点，选择了合适的特征选择方法和不平衡数据处理方法，构建了容错率更高的分类模型。　　本文主要工作如下所示:　　(1)针对癌症亚型数据高维的特性，选择使用基于正则化的弹性网络来对数据进行特征选择，选取出特征重要性较高的信息基因，并使用LDA算法进行降维，在去除冗余和噪声的同时减少计算量，降低后续处理的复杂度，提高模型的分类准确率。　　(2)针对癌症亚型数据样本数量少且分布不均衡的特性，我们选择利用Borderline-SMOTE1和Tomek links混合的采样方法对不平衡数据进行处理，通过Borderline-SMOTE1算法合成新的少数类样本，得到扩充之后的新数据集，然后通过Tomek links算法对扩充之后的数据集进行数据清洗，去除一些重叠的不合理的数据，从而使各类数据处于一个平衡状态。　　(3)针对单一分类模型的局限性，将XGBoosst、ET和SVM订三种分类模型通过投票法结合在一起，把各分类模型的优势都运用起来，建立一个集成分类模型，通过软投票法对癌症亚型数据进行分类，得出模型的预测分类结果。最后选择在SVM、RF、XGBoost、ET、GBDT、KNN、LGBM和Adaboost等8种分类模型中进行对比实验，验证模型的有效性。

关键词： 预测查询优化   子查询下推   任务调度   查询改写  

摘要： 近些年,随着大规模数据增长和机器学习领域的发展,推动了分析型查询的多样化。其中预测查询是一类从数据存储系统中加载数据,之后经过预处理,最后经机器学习模型预测结果的一类分析型查询。其广泛应用于工业界的业务分析和决策分析中。其中基于分布式数据库与大数据处理系统的预测查询优化是学术界与工业界广泛关注的热点。一个预测查询计划跨数据处理引擎执行。大数据处理系统总负责查询计划生成和查询计划优化。其以发送查询的方式将预测查询计划中的部分算子下推到分布式数据库执行。当下推如“投影-过滤-扫描”这样的简单算子组成的查询时,所下推的子查询执行效率低,网络开销高。当下推包含如连接、分组等复杂算子的查询时,大规模数据场景下的跨数据处理引擎间的数据传输成为预测查询执行的瓶颈。本文的研究目的是提高跨数据处理引擎的预测查询执行效率。当下推简单算子查询时,本文的目标是提高所下推的子查询执行效率且减少跨数据处理引擎任务间的网络传输开销。当下推复杂算子查询时,本文的目标是设计一种方法能够在大规模数据集下并行地下推包含连接、分组等的复杂算子查询,解决数据传输耗时久和内存溢出问题。结合上述研究目标,本文需设计一个原型系统,以验证当下推简单算子、复杂算子查询时,本文所提出的优化方案的有效性。围绕上述研究内容,本文的主要贡献如下:1.面向仅包含简单算子的查询,提出了一种基于分区的查询改写方法和分区位置感知的任务调度机制。为了提高所下推子查询的执行效率,本工作提出一种将仅包含简单算子的查询基于分区改写为一组查询的方法。此方法使得查询执行时数据扫描过程由大量随机读改为顺序读,并且减少了冗余的数据读取。此外,为了减少跨节点间的网络传输,本工作提出一种任务调度机制。它将负责下推基于分区改写后的查询的任务,调度到此查询所访问分区所属的物理机执行器上。实验表明,应用本方法优化的预测查询性能是Spark、Presto等系统查询改写后产生的预测查询计划性能的2.9到4.4倍。2.面向包含复杂算子的查询,设计了一种基于语义等价规则进行查询改写的方法。此查询改写方法在语义等价的基础上,将包含连接、分组算子的查询改写为一个等价查询集。将此方法应用于预测查询优化中,后续生成的优化后的执行计划并行地将等价查询集下推到数据库执行。这种方案不仅能下推包含连接、分组等复杂算子查询来加速计算,同时两系统间并行地传输执行结果,具备良好的可扩展性。本文的实验表明,应用本方法产生的预测查询计划性能是Spark、Hive3、SuperSQL等系统产生的预测查询计划性能的1.2到10倍以上。3.实现了一个应用简单算子查询、复杂算子查询并行扩展方法的原型系统OBSpark。本文在开源的大数据处理系统Spark和分布式数据库OceanBase上完成了上述基于分区的查询改写方法、任务调度机制和语义等价的查询改写方法的具体技术实现,并阐述了对应原型系统的设计思路和系统实现。综上所述,本文重点研究了跨数据处理引擎执行的预测查询算子执行效率低、跨引擎任务间数据传输耗时久的问题,提出一种基于分区的查询改写方法、任务调度机制和一种语义等价的查询改写方法。对上述提出的技术,本文实现了一个原型系统OBSpark。实验结果表明,相比于Spark、Presto、Hive3等系统具备的查询改写方法,应用本文提出的优化技术显著提高了预测查询的性能。

关键词： 高精度磁测   斑岩型铜矿   数据处理   反演与解释   找矿远景区  

摘要： 研究区位于康古尔塔格断裂和北侧大草滩断裂夹持部位,继承了区域地层、构造和岩浆岩典型特征,与新疆土屋铜矿具有相似类比性,是寻找斑岩型铜矿有利地区。在研究区开展1:10000地面高精度磁法测量,采样网度100m×20m,对磁测原始数据进行了预处理,并运用圆滑滤波、化极、解析延拓、求导等处理方法,压制干扰,提高所测数据的信噪比,以突出磁异常反映地质构造及矿床特征的信息,提高磁异常解释推断的可靠性。同时对研究区磁标本磁参数进行了统计分析,可知该区剩磁强度仅为感磁强度3%～11%,并确定了研究区的磁性参数,为磁性体反演及解释奠定了基础。通过磁测扫面工作,共划分磁异常群2个,即南部中—弱磁异常群M1、北部强磁异常群M2,细分为13个异常片区。对各异常片区内磁异常规模、强度、形态特征等进行了描述,并结合地质资料及剖面地质露头观测情况,对异常性质及引起磁异常的原因进行了解释推断。研究区首次开展了3D物性反演以及典型剖面2D人机交互反演结果对比分析研究。当磁异常形态比较复杂时,3D物性反演结果可性度高;而当推断磁性体为近似水平向棱柱(二度体)时,2D人机交互反演具有高效、易干预等特点。通过反演大致查明了研究区磁性体的大致埋深、延伸情况、规模。通过在研究区首次开展了高精度磁测解释及不同反演方法对比研究并结合区域有利成矿地质规律,相似类比推断了找矿远景靶区。为以后相似地区开展同类找矿研究工作奠定了基础。通过求取不同水平方向导数解译三组断裂构造共22条,NEE-NE向断裂组与NWW-NW向断裂组切割近EW向断裂组,推断的断裂交汇部位为形成岩体和矿体的有利地段;通过垂向二阶导数、总梯度模量法圈定磁性体边界,圈定磁性体9个,推测隐伏岩体6个。总结了含矿有利地层+侵入小岩株+中高磁性异常+有利矿化蚀变因素作为有利成矿规律组合,结合前人地质及物化探测量成果,确定2个斜长花岗斑岩(γπP)、1个石英闪长岩体(δομP)及1处可能存在的斜长花岗岩斑岩体(γπP)共计四个成矿有利小岩株,并将其作为斑岩型铜矿找矿远景靶区,为下一步工作提供了依据。图52张;表13个;参考文献87篇

关键词： 水声定位与导航   海洋声速场构建   BP神经网络   系统误差   粗差   系统误差补偿和修正   自适应抗差滤波   水下声学增强导航  

摘要： 海洋定位与导航技术是海上舰船航行、海洋资源环境调查、海洋综合管理、海洋资源勘察和海洋经济建设的重要支撑,需要为各类用户提供全天时、全天候、精确、连续、可靠的位置、时间、速度等信息。面向国家综合导航、定位与授时(PNT)的战略需求,水声定位与导航克服了电磁波在水中快速衰减而无法进行导航定位的缺点,通过声信号传播来实现进行水下目标的导航与定位,成为水下PNT场景的重要技术手段。但复杂的海洋观测环境给高精度海洋声学定位与导航带来了极大的技术挑战,基于上述需求,本文系统研究了海洋精密声学数据处理理论与方法,针对海洋声学定位与导航中全球海洋声速场构建、高粗差污染观测数据质量控制、精密误差改正和参数化估计、时空相关性误差建模与补偿等问题,开展了理论方法研究、算法改进和实验验证分析等工作。论文的主要内容如下:(1)声速是影响海洋声学定位与导航的关键参数,针对复杂海洋中声速场(SSF)的高精度构建问题,本文提出了基于后向传播(BP)神经网络的全球海洋声速场构建方法,该方法通过多参数声速模型,结合神经网络算法来构建声速场模型。同时考虑到神经网络的样本相关性选取问题,提出了顾及样本相关性的BP神经网络声速场构建方法,该方法通过分析声速与距离的相关性来选择BP神经网络的学习样本。实验结果表明,与传统的声速场构建方法相比,顾及样本相关性的BP神经网络方法能够显著提高声速场构建精度及稳定性,全球海洋声速场构建的平均均方根值(RMS)优于0.4 m/s。(2)研究了包括基于单程声径的水下非差定位、基于双程声径的水下非差定位、基于单程声径的水下单差定位、基于双程声径的水下单差定位、单程声径声线跟踪和双程声径声线跟踪的海洋声学定位方法,分析了上述6种方法在走航式基准定位的适用性,结合内符合和外符合的精度评定指标对上述6种方法的精度进行了对比分析。实验结果表明,对于圆形走航式轨迹,单程观测模型和双程观测模型的精度相当;对于十字交叉走航式轨迹,双程观测模型优于单程观测模型;与其它5种算法相比,基于双程声径的声线跟踪算法精度较高。(3)针对海洋声学观测中的系统误差和粗差会严重影响声学定位精度的问题,本文提出了基于随机游走过程和等效增益矩阵的抗差非差卡尔曼滤波(KF)方法,该方法将时变的系统误差作为随机游走过程,通过KF对系统误差和位置参数进行估计,并构建等效增益矩阵来实现抗差估计。实验表明,抗差非差卡尔曼滤波方法能够在不放大观测随机噪声的情况下,可同时控制系统误差和粗差的影响,显著提高了水下声学定位精度。(4)水下声学函数模型精化的关键是有效消除声速时空变化和声纳信号延迟引起的系统误差。针对问题,本文提出了基于两步系统误差估计的抗差非差卡尔曼滤波方法,该方法首先构建声速误差和时延偏差的观测模型,结合KF解算第一步系统误差和位置参数,并获得斜距观测残差,通过残差时序分析与拟合,对时变声速误差进行参数化,结合KF进行第二步系统误差和位置参数估计。实验结果表明,该方法显著提高了深海底基准点的三维定位精度,其观测斜距残差RMS优于13 cm,不同航迹获得水下基准点位置不符值优于0.5 m。(5)水下动态声学导航中不可避免地存在噪声统计特性未知和观测粗差问题,导致滤波精度下降甚至发散。针对上述问题并考虑到水下动态导航观测非线性特性强这一特点,提出了基于自适应抗差无迹卡尔曼滤波(UKF)的水下声学导航方法,该方法分别通过Sage-Husa估计和Huber权函数来实现系统噪声的在线补偿和异常误差的有效控制。通过AUV长基线导航仿真实验和水下拖曳体超短基线导航实验进行验证,实验结果表明,自适应抗差UKF算法在合理调节系统噪声的同时,有效控制了粗差的影响,显著提高AUV声学导航的精度和稳定性。(6)基于海底基准网的长基线声学导航技术是海洋声学导航的重要手段,其关键问题是如何对声学导航系统误差进行建模和修正。针对这一问题,本文提出了基于系统误差建模的水下声学增强导航方法,基于海底基准网估计的系统误差,结合误差建模方法构建分段系统误差修正模型,对传统声学导航观测模型进行误差补偿。实验结果表明,该方法能够有效修正系统误差影响,提高水声导航精度,其基准网内的声学导航定位精度可达1m左右。

关键词： 学科核心素养   大单元   项目式  

摘要： 笔者选取学生感兴趣的“跳蚤书市”替代原教材设定的“校门口交通拥堵”情境，基于学科核心素养设定单元教学目标，重新构建单元教学内容，开展项目式大单元教学，运用量规评价、项目活动评价进行《数据处理》大单元教学。