关键词： 阻抗谱   数据处理   等效电路   曲线拟合   Qt  

摘要： 交流阻抗谱在材料领域中有重要的研究意义,阻抗谱的研究主要包括两个方面的内容,首先是阻抗数据的可视化,即将数据绘制成曲线图表;其次是通过等效电路拟合的方法来研究阻抗特性,等效电路拟合通常需要使用复杂的数值分析算法。使用阻抗处理软件来集中处理这些需求能有效提高阻抗处理的效率。本文设计并实现了一个基于Qt的阻抗数据处理软件,具体内容如下:(1)软件总体方案设计,从阻抗数据处理软件的需求出发,选择Qt作为软件的开发平台,设计软件总体架构,将软件功能分为阻抗数据可视化和阻抗数据处理两个模块。(2)阻抗数据可视化界面设计,可视化界面用于显示阻抗数据和提供人机交互功能。该模块可以将阻抗数据绘制成曲线显示在程序窗口上,对图表参数可以精细化设置,功能包括对曲线的颜色、粗细等样式的设置,以及对图表的显示范围、标签等元素的设置。可以将阻抗转换为导纳、电模量和介电常数等参数并显示,便于在图表上观察阻抗在不同频率上的信息。(3)阻抗数据处理程序设计,首先设计阻抗数据文件格式以及数据读取程序,然后对得到的数据进行等效电路拟合。等效电路拟合的功能是对阻抗曲线进行等效电路建模,通过曲线拟合的方式计算等效电路中的元件参数和各元件参数的误差。最后使用实际测量的阻抗数据导入软件进行软件测试,分别使用电阻电容串联电路、电阻电容并联电路等进行测试,测试结果中各元件参数误差在1.3%以内,然后导入不同温度下测试的多组的阻抗数据进行测试,对各组阻抗数据同时进行拟合分析,展示同时分析多组阻抗数据的功能。

关键词： 数据监测   数据处理   交通安全监测  

摘要： 在中国城市化进程的不断增加中,基建在大力建设,特别是城市轨道交通的建设进程正在飞速提升。在城市轨道交通建设的过程中,施工事故也频繁发生,故城市轨道交通的安全监测工作必不可少。针对目前城市轨道交通安全监测中监测内容多、处理方式复杂、成果报告量大,同时极易产生偶然操作误差的问题。本文依托成都轨道交通18号线、19号线工程,参考了地铁施工安全监测的各项技术要求,通过对日常安全监测中沉降、水平位移、竖向位移、轴力、水位、测斜、地中位移等各种监测数据处理方式深入研究与集成,开发一套集自动处理各项仪器原始数据、分析生成数据、输入各类需求成果的软件系统,达到大幅减少人工差错、降低配套人员及办公设备成本、提升监测数据处理效率的目的。首先,针对目前所用监测仪器(全站仪、水准仪、水位计、测斜仪、频率仪等)需要频繁切换解析软件进行解析的问题,本文通过标准化的监测数据集成,对以上监测仪器数据进行解析,实现了对沉降、水平位移、竖向位移、测斜、水位、轴力、地中位移、净空收敛共8种不同类型监测数据的自动集成。每类监测仪器下又分为5部分:数据导入、文件生成、数据展示、数据处理以及数据存储。其次,监测数据处理分析是监测数据分析中的重要环节,也是对监测结果最为直观的体现,鉴于此,本文设计了监测数据处理分析模块,解决了数据去噪、趋势预测的问题,同时针对不同类型安全监测数据之间的联系,构建了多参数安全评价标准模型,降低人工分析的难度,提升数据分析效率及效果。在此基础上,监测成果自动生成主要包含对不同类型数据进行基本的数据再分析、图形化展示及进行了多类型台账自动化导出设计,同时根据项目管理要求,本文实现了监测报告中的日、周、月、年报的自动分析与生成。实际运用表明,该系统可以极大解决不同数据仪器需要操作不同软件的繁复性,集日常所用功能于一体,有自动化的报表生成方法,具有操作简单的特点,相对于传统导出报表耗时长的问题,可快速生成相应报表,具有重要的应用价值和市场前景。

关键词： 异构数据   ETL   数据集成  

摘要： 根据Statista数据统计,2035年全球数据存储量有机会接近2142 ZB(1ZB=10GB)。计算机技术与人工智能的快速发展,使企业信息化与智能制造已经取得了巨大的进步。信息化主要依托计算机网络技术来实现,传统线下依赖人工产生的重复业务流程,在使用软件工具实现记录存储和查询,能够得到大幅度提高操作效率、节省人力资源。由于不同企业各类应用系统对异构数据量的处理正在迅速增长,系统之间的数据交换也逐渐显露出效率低下、耦合性大等问题。在数据应用阶段,最为重要的就是如何对数据进行有效整合。目前常用的数据同步和整合工具,不管是其功能、还是性能及其延展性等上,都还有很多的不足之处。因此对于数据集成,还有很长的路需要探索。本文以国内某供应链集团IT信息中心为依托,根据企业决策层的需求,分析企业的系统应用基本情况,提出一种基于DataX改进的系统异构数据处理方案,并构建了适合于供应链环境资源管理任务调度中心平台的ETL作业调度算法,开发出的原型系统具有一定的实用价值。针对以上问题,本文进行了创新性研究,主要工作成果如下:(1)提出了一种基于DataX改进的系统异构数据处理方案,该方案基于DataX采用分布式架构Master-Worker主从范式,对数据同步任务的执行过程和任务构建进行了设计。实验证明,改进的DataX方案执行任务结束所消耗的平均时间优于原生DataX。(2)在对FCFS调度算法、FS调度算法和CS调度算法进行研究的基础上,提出了基于任务时序的SBOTS调度算法。SBOTS调度算法在处理作业时间和资源利用率方面,能明显缩短作业处理时间、提高中央处理器和内存利用率。(3)ETL任务调度中心平台原型研发,基于开源框架XXL-JOB开发ETL部署任务调度中心平台,针对系统异构数据集成提供了统一的开发环境标准,设计并实现了五大模块功能:运行报表、任务管理、执行器管理、用户管理和调度日志。(4)对本文所设计的一种基于DataX改进的系统异构数据处理方案、基于任务时序的SBOTS调度算法集成于ETL任务调度中心平台进行实验和测试,验证了所开发系统的有效性。

关键词： 深度学习   点云数据处理   地铁隧道   裂缝定量提取  

摘要： 隧道衬砌表观裂缝的提取是目前隧道施工和运营养护期定期检测的必要检测指标,对于评价隧道衬砌结构安全程度、规避运营风险起到至关重要的作用。然而,目前严重依靠人工检查的方法不仅引入主观和不可靠的人为因素,效率低下,日常巡检成本高,而且难以满足隧道数字化运维的迫切需求,隧道运营维护中各类病害参数的集成采集提取和综合评估问题日益凸显。本文尝试采用结合机器视觉技术和点云数据处理提出一种能够智能定位并提取隧道衬砌表观裂缝几何信息的客观方法,以便提高隧道定期检查的效率和准确度。本文首先以隧道裂缝评价的特征以及基于机器视觉和点云处理的相互关系为视角,考虑隧道运营定期检查的实际情况,提出隧道衬砌表观健康度概念,研究了基于快速检测的隧道衬砌表观健康度的因素属性指标和目标提取隧道衬砌裂缝指标,并阐述了图像实例分割和点云数据处理在裂缝定位与定量提取中的相关理论。其次,从隧道衬砌裂缝快速定位的角度出发,设计了提高标注效率的半自动裂缝图像实例分割标注程序;并以实例分割算法Mask R-CNN为基础,针对隧道衬砌表观裂缝定位检测任务的特点,集成实例分割假设打分、自底向上路径增强的网络增强模块,提高隧道衬砌表观裂缝识别准确率。最后,利用三维激光扫描设备采集的点云数据,针对裂缝指标属性因子,构建散乱点云在改进栅格法下的空间拓扑关系,通过柱面展开将三维点云投影至二维平面,基于质心分析算法、单向生长算法和分治法思想对点云裂缝的轮廓特征点进行提取、排序和区分,定量提取裂缝的长度、最大宽度和分形维数。在上述研究的基础上,通过厦门地铁二号线隧道实例计算实验验证本文方法的可行性。结果表明,本文所提出的基于图像和点云数据的隧道衬砌表观裂缝智能提取方法具有较好的效率和准确度。该方法不仅挖掘了图像和点云数据中蕴含的数据价值,并且实现了隧道表观裂缝的智能化识别和几何信息提取,为我国隧道表观病害自动化和智能化提取提供了新的方法。

关键词： 蛋白质糖基化   疾病   肿瘤标志物  

摘要： 蛋白质糖基化与疾病的发生发展密切相关，临床上使用的大多数肿瘤标志物是糖基化蛋白质。在组学层次上进行位点特异性糖型的分析对发现新型疾病标志物、提高基于蛋白质糖基化的精准医学研究水平等具有重要作用。色谱-质谱联用技术在糖蛋白的分离分析研究中得到了广泛的应用。基于液相色谱-串联质谱（liquid chromatography-tandem mass spectrometry,LC-MS/MS）的完整糖肽鉴定已成为研究蛋白质上位点特异性糖链修饰的主要手段，其主要优势在于分析过程中可以同时揭示蛋白位点与糖链修饰的信息，从而在组学层次实现规模化的蛋白糖基化分析。

关键词： 癌症亚型   分类模型   特征选择   数据处理  

摘要： 随着基因芯片、二代测序等分子生物学技术及系统生物学的不断发展，为形态学分型向更为精准的分子分型转变提供了技术支持，并在此基础上获得了基因表达谱数据，来对癌症亚型进行分类。然而，基因表达谱数据存在样本的维数高而样本数量很少和噪声冗余大而信息基因很少的特性，需要对数据进行一系列的处理。　　本文基于癌症亚型数据的特点，选择了合适的特征选择方法和不平衡数据处理方法，构建了容错率更高的分类模型。　　本文主要工作如下所示:　　(1)针对癌症亚型数据高维的特性，选择使用基于正则化的弹性网络来对数据进行特征选择，选取出特征重要性较高的信息基因，并使用LDA算法进行降维，在去除冗余和噪声的同时减少计算量，降低后续处理的复杂度，提高模型的分类准确率。　　(2)针对癌症亚型数据样本数量少且分布不均衡的特性，我们选择利用Borderline-SMOTE1和Tomek links混合的采样方法对不平衡数据进行处理，通过Borderline-SMOTE1算法合成新的少数类样本，得到扩充之后的新数据集，然后通过Tomek links算法对扩充之后的数据集进行数据清洗，去除一些重叠的不合理的数据，从而使各类数据处于一个平衡状态。　　(3)针对单一分类模型的局限性，将XGBoosst、ET和SVM订三种分类模型通过投票法结合在一起，把各分类模型的优势都运用起来，建立一个集成分类模型，通过软投票法对癌症亚型数据进行分类，得出模型的预测分类结果。最后选择在SVM、RF、XGBoost、ET、GBDT、KNN、LGBM和Adaboost等8种分类模型中进行对比实验，验证模型的有效性。

关键词： 电动自行车管理   交通流量预测   轨迹数据   地图匹配   图卷积网络  

摘要： 近年来,我国的电动自行车行业发展十分迅速,庞大的电动自行车保有量为城市管理带来了诸多挑战。道路流量预测是智能交通系统的重要应用之一,道路级电动自行车流量数据分析与准确预测可以帮助城市规划者做出科学决策,进而减轻电动自行车造成的诸多城市管理难题,例如交通拥堵、充电站选址、违章停车等等。机动车的流量数据可通过卡口记录、轨迹数据提取、摄像头记录等多种方式获取,然而目前电动自行车交通流量只能通过轨迹数据间接获取,方式较为单一。此外,电动自行车轨迹数据存在以下特点:1)存在大量停留点,2)高采样频率导致相邻轨迹点的距离较短,3)电动自行车可行驶的路段更多。上述特点导致轨迹难以被快速、准确地匹配到路网,无法为流量预测提供可靠的数据源。另一方面,现有的交通流量预测方法致力于解决高速公路场景下的机动车流量预测问题,没有为复杂城市路网下的电动自行车流量问题提出针对性解决方案。本文从电动自行车轨迹数据的处理与道路级电动自行车流量预测两方面展开研究,电动自行车轨迹数据的处理过程中的地图匹配步骤是提取道路电动自行车流量数据的必要前提,具体内容如下:(1)针对电动自行车轨迹数据存在的特点,本文提出了一种可自适应路网精度的电动自行车轨迹地图匹配方法KFTS-AMM,该方法融合了基于分段卡尔曼滤波算法的轨迹简化算法(KFTS),和分段隐马尔可夫模型的地图匹配算法(AMM)。首先,利用卡尔曼滤波算法可用于最优状态估计的特性,KFTS能够在轨迹简化过程中对轨迹点进行自动修正,使轨迹曲线变得平滑并减少了异常点对于地图匹配准确率的影响。同时,使用基于分段隐马尔可夫模型的地图匹配算法AMM,避免了部分无效轨迹对整条轨迹匹配的影响。此外,在轨迹数据的处理过程加入了停留点的识别与合并,进一步提升了匹配准确率。在郑州市真实电动自行车轨迹数据上的实验结果表明,KFTS-AMM在准确率上相对于已有的对比算法有较大的提升,并可通过使用简化后的轨迹数据显著提升匹配效率。(2)针对现有交通流量预测方法多聚焦于高速公路场景下的机动车数据预测,因此无法有效利用轨迹数据作为流量预测数据源,并且忽略了道路间动态变化的空间相关性的问题,本文提出了一种基于动态时空图卷积的深度学习网络模型(DSTGCN),本模型由道路级转移流量嵌入模块、动态空间注意力模块、动态时空卷积模块和最终输出层组成。DSTGCN模型可以捕获复杂城市路网上电动自行车流量的时空动态,对道路间的动态时空相关性进行精细建模,从而对道路上电动自行车流量进行细粒度预测。在郑州市真实电动自行车轨迹数据上的实验结果表明,本文提出的DSTGCN模型相比于基准方法拥有更高的预测准确度。

关键词： 轻小型无人机   无人机雷达   雷达数据预处理   超分辨率成像   植被高度  

摘要： 轻小型无人机雷达系统具有低成本、高机动性、高分辨率等优势,其独特的目标高度维探测能力可以为林地监测、规划和管理提供高效的数据获取手段。然而,轻小型无人机雷达的研究刚刚起步,在探测植被高度方面的效果仍有待进一步探索。与传统雷达成像不同,无人机雷达成像属于近场条件,且受到微型雷达尺寸、功率等方面的限制,对杂波和干扰更加敏感。针对上述问题,本文基于一种自行研制的轻小型无人机雷达系统,在数据预处理、时域成像和超分辨成像三个方面进行了深入研究,并选取两种不同的树种开展机-地观测实验,验证了所发展的数据处理方法的有效性。主要研究内容与结果如下:(1)研究无人机雷达数据预处理中直耦波去除和噪声抑制方法,提出了基于剩余图像熵的自适应主元分析降噪法。无人机雷达系统成像场景复杂,回波数据容易受到噪声和干扰的影响,本文从直耦波去除和噪声抑制两个方面对无人机雷达数据预处理方法展开研究。首先,介绍了平均抵消法和主元分析法两种直耦波去除算法的原理,并分析了两种算法在轻小型无人机雷达系统成像场景下的适用性。然后,分析了三种主流的信号去噪方法,提出基于剩余图像熵的自适应主元分析降噪法,解决了传统方法中主元选择不稳定的问题,有效提高了去噪效果。(2)研究时域后向反投影(BP)成像算法,提出了一种联合窗函数和互相关信息的BP(WCBP)算法。针对经典BP算法主要存在成像速度慢和受杂波影响严重的问题,利用基于子孔径和子区域划分的快速BP算法,在成像质量几乎保持不变的前提下提高了算法运行效率;并借鉴医学成像中“时延-相乘-求和(DMAS)”算法思想,利用互相关信息减小杂波影响,同时在时延信号计算时采取加窗策略压制旁瓣,最终提出了一种WCBP成像算法,有效抑制了杂波和旁瓣的干扰。(3)研究轻小型无人机雷达分辨率增强方法,将鲁棒Capon波束形成(RCB)和正弦幅度相位估计(APES)应用于无人机雷达超分辨率成像。BP算法等传统时域成像算法的分辨率会受到硬件条件的限制,而超分辨率成像算法能够突破理论分辨极限,且具有更强的抗干扰能力。本文研究了现代谱估计中的RCB和APES方法,并将其应用在无人机雷达数据成像中,得到了分辨率高、干扰能量低的成像结果。针对两种算法所包含的大量高维矩阵运算导致的算法效率问题,通过预波束形成在子图像域构造低维波束矢量,进而大幅降低协方差矩阵维度。采用降维RCB算法和降维APES算法对数据进行成像,达到了成像质量和效率间的平衡,拓展了超分辨率成像算法的实用性。(4)基于自研新型轻小无人机雷达系统,提出了一种植被高度信息获取方法。针对两种不同的树种,开展了轻小型无人机雷达飞行实验,获取了无人机雷达数据和地面同步观测数据。利用实验数据,对本文所提出的植被高度信息获取方法进行实验和验证。结果表明,该轻小型无人机雷达系统及本文所提出的数据处理方法仅需单次航过即可提取高精度的植被高度信息,且模型简单、空间分辨率高,成本较低,具有广阔的应用前景。

关键词： 预测查询优化   子查询下推   任务调度   查询改写  

摘要： 近些年,随着大规模数据增长和机器学习领域的发展,推动了分析型查询的多样化。其中预测查询是一类从数据存储系统中加载数据,之后经过预处理,最后经机器学习模型预测结果的一类分析型查询。其广泛应用于工业界的业务分析和决策分析中。其中基于分布式数据库与大数据处理系统的预测查询优化是学术界与工业界广泛关注的热点。一个预测查询计划跨数据处理引擎执行。大数据处理系统总负责查询计划生成和查询计划优化。其以发送查询的方式将预测查询计划中的部分算子下推到分布式数据库执行。当下推如“投影-过滤-扫描”这样的简单算子组成的查询时,所下推的子查询执行效率低,网络开销高。当下推包含如连接、分组等复杂算子的查询时,大规模数据场景下的跨数据处理引擎间的数据传输成为预测查询执行的瓶颈。本文的研究目的是提高跨数据处理引擎的预测查询执行效率。当下推简单算子查询时,本文的目标是提高所下推的子查询执行效率且减少跨数据处理引擎任务间的网络传输开销。当下推复杂算子查询时,本文的目标是设计一种方法能够在大规模数据集下并行地下推包含连接、分组等的复杂算子查询,解决数据传输耗时久和内存溢出问题。结合上述研究目标,本文需设计一个原型系统,以验证当下推简单算子、复杂算子查询时,本文所提出的优化方案的有效性。围绕上述研究内容,本文的主要贡献如下:1.面向仅包含简单算子的查询,提出了一种基于分区的查询改写方法和分区位置感知的任务调度机制。为了提高所下推子查询的执行效率,本工作提出一种将仅包含简单算子的查询基于分区改写为一组查询的方法。此方法使得查询执行时数据扫描过程由大量随机读改为顺序读,并且减少了冗余的数据读取。此外,为了减少跨节点间的网络传输,本工作提出一种任务调度机制。它将负责下推基于分区改写后的查询的任务,调度到此查询所访问分区所属的物理机执行器上。实验表明,应用本方法优化的预测查询性能是Spark、Presto等系统查询改写后产生的预测查询计划性能的2.9到4.4倍。2.面向包含复杂算子的查询,设计了一种基于语义等价规则进行查询改写的方法。此查询改写方法在语义等价的基础上,将包含连接、分组算子的查询改写为一个等价查询集。将此方法应用于预测查询优化中,后续生成的优化后的执行计划并行地将等价查询集下推到数据库执行。这种方案不仅能下推包含连接、分组等复杂算子查询来加速计算,同时两系统间并行地传输执行结果,具备良好的可扩展性。本文的实验表明,应用本方法产生的预测查询计划性能是Spark、Hive3、SuperSQL等系统产生的预测查询计划性能的1.2到10倍以上。3.实现了一个应用简单算子查询、复杂算子查询并行扩展方法的原型系统OBSpark。本文在开源的大数据处理系统Spark和分布式数据库OceanBase上完成了上述基于分区的查询改写方法、任务调度机制和语义等价的查询改写方法的具体技术实现,并阐述了对应原型系统的设计思路和系统实现。综上所述,本文重点研究了跨数据处理引擎执行的预测查询算子执行效率低、跨引擎任务间数据传输耗时久的问题,提出一种基于分区的查询改写方法、任务调度机制和一种语义等价的查询改写方法。对上述提出的技术,本文实现了一个原型系统OBSpark。实验结果表明,相比于Spark、Presto、Hive3等系统具备的查询改写方法,应用本文提出的优化技术显著提高了预测查询的性能。

关键词： 高精度磁测   斑岩型铜矿   数据处理   反演与解释   找矿远景区  

摘要： 研究区位于康古尔塔格断裂和北侧大草滩断裂夹持部位,继承了区域地层、构造和岩浆岩典型特征,与新疆土屋铜矿具有相似类比性,是寻找斑岩型铜矿有利地区。在研究区开展1:10000地面高精度磁法测量,采样网度100m×20m,对磁测原始数据进行了预处理,并运用圆滑滤波、化极、解析延拓、求导等处理方法,压制干扰,提高所测数据的信噪比,以突出磁异常反映地质构造及矿床特征的信息,提高磁异常解释推断的可靠性。同时对研究区磁标本磁参数进行了统计分析,可知该区剩磁强度仅为感磁强度3%～11%,并确定了研究区的磁性参数,为磁性体反演及解释奠定了基础。通过磁测扫面工作,共划分磁异常群2个,即南部中—弱磁异常群M1、北部强磁异常群M2,细分为13个异常片区。对各异常片区内磁异常规模、强度、形态特征等进行了描述,并结合地质资料及剖面地质露头观测情况,对异常性质及引起磁异常的原因进行了解释推断。研究区首次开展了3D物性反演以及典型剖面2D人机交互反演结果对比分析研究。当磁异常形态比较复杂时,3D物性反演结果可性度高;而当推断磁性体为近似水平向棱柱(二度体)时,2D人机交互反演具有高效、易干预等特点。通过反演大致查明了研究区磁性体的大致埋深、延伸情况、规模。通过在研究区首次开展了高精度磁测解释及不同反演方法对比研究并结合区域有利成矿地质规律,相似类比推断了找矿远景靶区。为以后相似地区开展同类找矿研究工作奠定了基础。通过求取不同水平方向导数解译三组断裂构造共22条,NEE-NE向断裂组与NWW-NW向断裂组切割近EW向断裂组,推断的断裂交汇部位为形成岩体和矿体的有利地段;通过垂向二阶导数、总梯度模量法圈定磁性体边界,圈定磁性体9个,推测隐伏岩体6个。总结了含矿有利地层+侵入小岩株+中高磁性异常+有利矿化蚀变因素作为有利成矿规律组合,结合前人地质及物化探测量成果,确定2个斜长花岗斑岩(γπP)、1个石英闪长岩体(δομP)及1处可能存在的斜长花岗岩斑岩体(γπP)共计四个成矿有利小岩株,并将其作为斑岩型铜矿找矿远景靶区,为下一步工作提供了依据。图52张;表13个;参考文献87篇