关键词： 天文样本诊断图   天体识别   机器学习   模糊数据集   不均衡数据集  

摘要： 随着大型巡天计划的实施，越来越多的天文数据被收集起来，合理高效地分析和处理海量的天文数据成为天文科学的重要任务。本文结合机器学习等算法优势针对两项天体识别任务展开研究。　　一是脉冲星识别任务，脉冲星是高速自转的中子星，每一颗脉冲星的发现对天文科学的研究都具有重要意义。先进的天文设备收集了大量的脉冲星候选数据，所以高效准确地识别脉冲星成为研究重点。本文中该任务的目的是设计合适的算法模型模拟天文学家自动识别样本诊断图来确定脉冲星和非脉冲星。但在公开的脉冲星候选数据集HTRU madlat中，将近99％的数据为噪音数据即非脉冲星样本，而且存在少数样本正例和负例间差异不明显的困难样本。　　二是恒星/星系分类任务，恒星/星系分类是开展很多天文任务的基础，本文应用SDSS数据库公开的DR-7数据集进行恒星/星系分类模型的训练和测试，设计了不同的模型应对3个子数据集中面临的不同挑战，在EFS子数据集中由于缺乏足够的训练数据并且大多数样本为困难样本，很多研究在EFS数据集中的分类精度较低，提高EFS中恒星/星系的分类精度成为该任务中主要挑战。　　本文研究内容从实际任务出发，首先从天文探索项目中获得实验数据，分析数据特点定位任务难题。在DR-7数据集和HTRU medlar数据集中存在不同程度的类间不均衡问题和困难样本挖掘问题，小样本学习在DR-7的子数据集中体现较为明显。然后设计原始数据的特征提取模型和分类模型，本文设置了和对比实验中相同的数据划分比例来完成模型训练和实验结果对比。由于两项任务都可归为二分类任务，所以在测试时选择了正例的召回率和精准度等数值评价指标，并统计了ROC曲线等直观的分类模型评估图。对比实验结果表明本文在两项天文数据处理任务中的识别精度均有所提高。　　本文的主要创新点和贡献总结如下:　　1、本文提出了针对HTRU medlar数据集的三阶段脉冲星识别模型，为了解决该数据集中存在的类间极度不均衡问题，提出了两种策略:智能下采样和代价敏感损失函数，而且应用基于simple attention的前融合策略进行多个诊断图的特征融合来提高最终的识别精度。实验结果表明，就训练时间和F1score而言，本文的三阶段模型优于之前的相关研究。　　2、本文提出针对EFS数据集的硬调整孪生网络模型解决了恒星/星系分类任务中的小样本问题和困难样本挖掘问题，将极暗星体的识别效果较目前最好结果提升了8％左右;同时提出用于暗星体和亮星体识别的代价敏感模型解决了数据量充足条件下的困难样本挖掘问题和类间不均衡问题，将暗星体和亮星体的识别效果较目前最好结果分别提升了1％和0.1％。

关键词： Few/One-shot Learning   元学习   深度学习可视化   学习率衰减  

摘要： 近些年由于计算机技术高速发展以及互联网产生的大量数据,使得深度学习在计算机视觉、自动机器翻译、语音识别及自动驾驶等领域取得显著成果.就计算机视觉而言当下流行的识别算法如AlexNet[1]、VGGNet[2]、ResNet[3]等都需要在每类数千张训练样本的数据集上训练,才能得到较高的准确率.对于只有少量样本的其他数据集很难在此基础上微调得到较好的结果.这些限制使得深度学习在某些数据稀缺领域的应用受到限制.因此产生了Few/One/Zero-shot Learning等研究领域,主要研究在每类只给定少量、一个甚至没有训练样本时如何设计识别算法,以保证模型具有较强的泛化能力.本文主要针对Few/One-shot Learning现有的距离模型Matchingnet[4]进行如下创新.首先,对比现有的各种图像识别及目标检测特征提取框架,结合可视化结果在不改变网络轻量性的前提下创造性的提出新的网络结构及学习率衰减策略.加快了模型训练速度同时提高了验证集准确率,在Omniglot及Flower数据集One-shot Learning任务上准确率分别可提高0.6%、6.5%.其次通过对比研究发现,输入后加入dropout可起到对样本增加噪声的作用,有助于缓解样本量过少引起的过拟合现象.最后利用梯度反卷积可视化方法对模型进行可视化,帮助理解模型工作原理、发现问题,提供后续研究方向.

关键词： 自旋电子学   机器学习   Heusler合金   半金属铁磁体   第一性原理计算  

摘要： 自旋电子学器件通过控制自旋来实现数据的存储、读取、运算等功能,是后摩尔时代最具应用潜力的器件方向。为实现自旋注入,这类材料应为高度自旋极化的磁性材料,且为保证在室温下的正常使用和工业上制备可能,应具有高于室温的居里温度。为了在由过渡金属组成的Heusler合金中筛选出可应用于自旋电子学器件材料——具有高自旋极化的稳定的铁磁体,本文设计了一种基于深度神经网络的机器学习结合密度泛函理论计算的材料筛选工作流程。深度神经网络算法具有超强的函数拟合能力,使海量材料数据处理与分析效率显著提高。从开放量子材料数据库中收集了约65000种材料、并利用密度泛函计算对3450种材料的自旋极化率进行计算,这些数据被用作模型训练数据集。通过训练,本文获得了三个深度神经网络模型,并由此预测出10577种候选材料的晶格常数,形成能和自旋极化率信息。根据自旋极化率大于0.87和形成能小于80meV/atom的条件,模型筛选出了192种有可能经实验合成且稳定存在的高自旋极化率材料。据先前研究,这些材料中有57种被报告为半金属,有18种被报告为半导体。特别地,有6种未被报道过的Heusler合金被确定为有前途的半金属铁磁体,通过平均场近似方法估算的居里温度均高于或接近室温。其中以反铁磁为基态的Fe2CrGe,考虑实验合成中的晶格匹配度,可在四角形变的情况下由反铁磁基态转变为铁磁基态。这一工作流程,借助丰富的材料数据库资源和机器学习卓越的数据拟合能力,仅使用简单的描述符,就可以完成上万种候选材料的性质预测,是发现高自旋电子材料的一种高效方法,也适合于探索其他功能材料。

关键词： 增材制造   熔融沉积成型   原位监测   机器学习   模式识别  

摘要： 近年来，增材制造技术在社会、经济、工业体系中展现出日益迅猛的发展态势，其作为一种新型三维实体快速自由成型技术在空间制造、军事应用、工业生产等领域展现出不可替代的重要作用。但是，缺乏增材制造过程产品质量控制的有效手段已成为制约增材制造技术发展的瓶颈问题，如何加强增材制造产品成型质量控制，提高增材制造技术产生的效益，成为增材制造技术发展的重要方向。在太空增材制造技术发展中，美国航空航天局利用国际空间站验证了熔融沉积成型(FusedDepositionModeling，FDM)工艺在轨制造的可行性，并将增材制造过程设备工况和产品质量的监测作为保证产品成型质量的关键举措。我国空间站建成在即，基于FDM工艺的空间制造技术也必将成为空间应用领域的重点发展方向，亟待开展针对FDM过程制造设备工况和产品质量的系统性监测研究。　　本研究针对FDM增材制造过程，开展基于数据驱动方法的原位监测技术研究，筛选设备典型工况、设备故障及产品缺陷为监测对象，构建面向高性能复合材料的FDM过程智能监测系统，提取监测对象的振动、电流等传感信号为典型数据特征，分析设备工况对产品成型质量的影响，结合机器学习方法，实现FDM过程制造设备故障诊断和预测、成型产品缺陷识别和性能预测，获得产品成型质量参数的优化方法，为在轨制造过程监测技术的研究提供技术基础。同时，结合抛物线飞机试验，开展微重力环境下FDM成型件质量分析，探究适用于微重力环境的打印过程参数，为后期开展在轨制造过程监测技术研究提供必要研究基础。本文的主要工作如下:　　1)针对FDM设备打印工况及啃料故障，利用振动传感器采集FDM过程底板振动数据，开展了基于故障预测与健康管理(PrognosticsandHealthManagement，PHM)技术的FDM过程设备工况原位监测及故障诊断技术研究。首先，基于相似轨迹匹配方法，实现了FDM过程内部填充和边缘打印工况简单快速的识别;其次，通过改进的相似轨迹匹配方法，发现了FDM过程底板振动强度随打印层数增加的衰减规律，实现了对基本打印工况和异常工况的原位监测和在线识别;最后，引入最小二乘支持向量机模型，实现了FDM过程啃料故障的原位诊断和预测。　　2)在设备工况识别的基础上，针对FDM过程常见的堆料、翘曲和异常孔隙缺陷，开展了基于振动传感方式和改进的K-means方法的FDM过程产品质量在线监测和缺陷识别方法研究，实现对正常产品底板振动信号和缺陷产品底板振动信号的分类和识别;更进一步，开展了基于多源振动传感方式和反向传播神经网络(Back-propagationNeuralNetwork，BPNN)的FDM过程产品质量在线监测和缺陷识别方法研究，实现对制造过程堆料缺陷和翘曲缺陷的实时准确识别。　　3)针对FDM过程设备工况对产品成型质量的影响问题，开展了FDM送料机构工况对成型产品压缩性能的影响关系研究，得到了压缩强度/模量与送料机构夹持力的关系模型;引入了结合交叉验证和遗传算法的BPNN(BPNNwithgeneticalgorithmandk-foldcrossvalidation，CV-GA-BPNN)模型，设置了监测FDM过程送料机构不同工况下振动强度和电流强度的传感器组合，开展了基于CV-GA-BPNN模型的FDM过程原位监测技术研究，实现了对FDM过程送料机构工作状态的原位诊断和识别，以及对成型产品压缩性能的在线监测和预测。　　4)针对微重力环境对FDM过程的影响问题，开展了抛物线飞机微重力FDM试验以及地面环境FDM对比试验，分析微重力环境对FDM成型样条质量的影响。通过分析地面环境和微重力环境下FDM成型样条的层厚、表面粗糙度以及拉伸性能差异，评估微重力环境FDM过程参数对产品成型质量的影响，给出微重力环境下制造过程参数优化建议，为后期开展在轨制造过程监测技术研究提供数据积累和研究基础。

关键词： 机器学习   人工神经网络   优化算法   超高层建筑   大跨屋盖   风荷载  

摘要： 随着经济的飞速发展,超高层建筑趋向于长细化和复杂化,现代大跨空间结构的跨度也越来越大。风荷载逐渐发展成为影响建筑物安全、舒适以及经济性能的重要因素,因此取得超高层建筑和大跨屋盖结构表面的风压分布特征,对于结构抗风设计、幕墙设计、风致动力响应、风场特性分析等具有现实意义。现阶段,依靠风洞试验或现场实测等方法都难以获取结构完整的风压分布特性。本文利用机器学习方法建立了四种网络预测模型,分别是遗传算法与BP(Error Back Propagation)神经网络结合形成的GA-BP网络模型,广义回归神经网络(General Regressive Neural Network,GRNN)模型,粒子群算法与BP神经网络结合生成的PSO-BP网络模型,径向基神经网络(Radial Basis Function,RBF)模型。本文使用现场实测和风洞试验采集到的风压数据来训练网络模型,并利用训练好的网络模型对未知测点的风压分布情况进行预测,主要包括以下内容:关于风压分布预测模型的建立,本文采取模型优化重组的方法。相对于传统人工神经网络方法的最速下降算法,本文中使用的拟牛顿法和LM(Levenberg-Marquardt)学习算法具有计算效率和收敛速度更快的优势。使用群体优化算法对BP神经网络模型的初始权值和阈值等参数进行优化选择,体现了模型优化重组的思想。这种方法建立的风荷载预测模型解决了网络初始权重敏感以及传统算法容易陷入局部最优解的问题,有效地提升了网络结构的稳定性以及网络模型的预测性能。关于风压分布预测模型性能的验证。本文使用在超高层建筑现场实测中采集到的风荷载数据训练GA-BP和GRNN网络模型,再利用训练好的网络模型对建筑物迎风面、侧风面以及背风面区域未知测点的风压时程和脉动风压时程进行预测。将网络模型的预测结果与现场实测数据在数值、功率谱、非高斯性和相关性等方面进行比较来验证网络模型的预测性能和适用性。本文还使用在大跨屋盖模型风洞试验中采集到的风压数据训练PSO-BP和RBF网络模型,并利用训练好的网络模型对大跨屋盖角部和中部区域未知测点的风压分布特性进行预测。通过比较网络模型预测值与风洞试验数据之间的误差来验证网络模型的预测性能和适用性。

关键词： 社会治理   数据驱动   机器学习   非线性模型  

摘要： 在过去数据量较小的时候,传统的公共管理研究方法往往可以较为有效的对数据进行处理,然而随着互联网的普及和大数据时代的到来,传统方法难以处理大型数据集的劣势暴露无疑,一方面,传统的研究方法强调基于已有经验和知识框架来对社会问题展开讨论,因此它很难挣脱先验知识的枷锁,而且数据激增将更多的研究相关变量带入了人们的视野,仅立足于前人的结论试图推进新研究,很显然是不具备说服力的;另一方面,传统分析方法拘泥于变量间的线性关系,擅长构建线性模型,而对非线性特征及建模重视不足,如此产生的研究结果是容易遭到质疑的。基于上述原因,开发新的技术方法来提高社会治理效率,优化政策制定已经成为科学界亟待解决的问题。面对这样的现实,本文提出了一种可以应用于社会治理的数据驱动的机器学习方法。机器学习方法的优势主要在于:首先,机器学习从特征选择到分析建模,直至预测,整个过程都是紧紧围绕着数据进行的,不会受到先验知识的干扰,可以有效的提取出传统方法难以找到的未曾被关注过的影响因素,从而使特征选择过程能够更准确地完成;其次,机器学习算法的计算能力和运算速度都远超过传统分析方法,因此可以大大减少数据处理的时间,降低人力和时间成本。为了验证数据驱动方法的确拥有极高的应用价值,本文进行了两项案例分析,分别是环境因素与城市精神状态的相互关系研究案例和老年人晚年身体健康状况影响因素研究案例,在这两个案例中,我们把使用传统研究方法计算出的结果与运用机器学习方法得出的结果相比较,数据显示机器学习方法的预测准确率均高于传统方法,这有力的证明了把数据驱动的机器学习方法应用于社会治理研究是完全可行的。

关键词： 城乡规划   空间可视化   社区尺度   健康调查   健康行为   机器学习方法   方法与技术   健康风险  

摘要： 预测并空间可视化社区尺度的健康结果:一种机器学习方法健康风险和健康行为的准确的地方级估计对于促进城市健康非常重要,但它依赖于人口健康调查,这些调查通常成本高昂,耗时且因此难以及时更新。并且,这些数据仅提供整个被调查区域的健康状况,而对于未被调查的区域以及社区条件发生变化时的假设情景则知之甚少。这些局限性突出表明,需要一种方法来准确有效地评估和预测社区尺度的健康状况。

关键词： Soil erosion   spatial modeling   artificial neural networks (ANN)   random forest (RF)  

摘要： Gully erosion is a severe form of soil erosion that results in a wide range of environmental problems such as, dams' sedimentation, destruction of transportation and energy transmission lines, decreasing and losing farmland productivity, and land degradation. The main objective of this study is to accurately map the areas prone to gully erosion, by developing two machine learning (ML) models, namely artificial neural network (ANN) and random forest (RF) models within 4-fold cross-validation (CV). Moreover, we used the multi-collinearity analysis to select 11 variables among 15 conditioning factors to train the ML models for gully erosion susceptibility mapping (GESM). Lamerd county, Iran, is chosen for a study area because Lamerd county is one of the most affected areas by gully erosion in this country. From 232 gully samples, 75% was used to train the two ML models and the rest of the samples (25%) were used to validate the generated GEMSs using 4-fold CV. The RF model produced a higher accuracy with an accuracy value of 93%. The GEMS generated by the RF model shows that the areas classified as highly vulnerable and very highly vulnerable are 1,869 ha and 5,148 ha, respectively. Results from the two models indicated that the most vulnerable land use/landcover class is bare land because of the low vegetation cover. The outcome of this study can help managers in Lamerd county to mitigate the soil erosion problem and prevent future gully erosion by taking preventive measures.

关键词： 山体滑坡预测   数据分类   参数敏感性   LSTM神经网络算法   SVM分类算法  

摘要： 山体滑坡作为常见的地质灾害之一,对人民的生命财产安全和社会的经济效益造成了严重的负面影响。为减少滑坡灾害造成的损失,对滑坡进行预测是一种行之有效的手段。滑坡预测近年来成为研究重点,部分边坡稳定性滑坡预测方法依据滑坡灾害三阶段时空演化特征采用位移-时间曲线切线角取值进行滑坡预测,论文针对该种类型方法中存在假设监测起始点为等速滑坡阶段取滑坡速度值导致预测精度较低及预测算法效率有待提高的问题,提出了基于滑坡数据分类模型的滑坡预测算法,该算法无需假设性条件,在提高预测算法的准确度和运行效率方面有良好表现。论文运用数据分析、神经网络、智能算法等热门方法对滑坡监测数据进行处理,主要包括数据分析、分类和预测等重点。由于滑坡影响参数众多且复杂,因此论文采用灰色关联法改进正交试验分析法对各传感器测量参数与边坡稳定性系数的相关性进行了定量分析,有利于参数传感器重点布设与监测、滑坡监测与预警的成本控制以及后续的数据分类和滑坡预测。滑坡数据分类模型目的是将历史滑坡监测数据以滑坡灾害发生时间为判据分为安全数据与存在危险数据,经过对常用分类算法的比较与实验,最终在朴素贝叶斯算法、支持向量机算法、决策树算法中选择了以RBF函数为核函数的支持向量机SVM分类算法,并采用粒子群优化PSO算法对SVM分类算法进行改进,形成PSO-SVM模型对滑坡数据分类,分类结果为存在危险数据的数据组将继续后续的滑坡预测。滑坡预测包括滑坡位移预测与滑坡时间预报。采用适用于时间序列数据预测的长短时记忆LSTM神经网络对滑坡数据进行位移预测,由于预测结果与实际监测位移值存在一定误差,选用自回归积分移动平均ARIMA模型对LSTM的预测误差进行修正,组合后的LSTM-ARIMA算法根据滑坡监测数据来预测滑坡位移。滑坡时间预报则采用改进的Verhulst反函数模型,对改进反函数模型基于位移监测数据与预测数据进行非线性处理得到求解滑坡灾害发生时间的参数,根据解得的结果进行滑坡时间预报。经过实验室实际搭建边坡采集得到的参数验证,论文中的滑坡数据相关性分析结果与现实情况相符,建立的滑坡数据分类模型准确率达到了95.89%,滑坡位移预测结果平均均方根误差在2mm以内,最终预测得到的滑坡时间与真实记录的滑坡时间仅相差五分钟,结果表明论文中搭建的滑坡数据分类模型与滑坡预测算法具有实用性、精确性与高效性。

关键词： 用户流失预测   数据不均衡   重采样   学习法结合策略  

摘要： 随着信息科学技术的高速发展,人们获取信息的通道变得更加广泛与便捷,用户对市场上的产品或服务的选择掌握了很多的主动权,导致许多企业都面临着用户流失的风险。在互联网、大数据技术还未普及的时期,企业构建用户流失预测模型所使用的数据维度低、结构简单,使用单一简单的模型都能取得不错的预估效果。而对于现在的依托于互联网的在线平台,用户流失预测模型构建的难点主要集中在用户数据维度高、结构复杂、噪声样本多且流失用户与未流失用户数量差距悬殊。本文基于某在线平台大量用户真实的数据,通过数据可视化的方式发掘影响用户流失的因素,再进行数据清洗、特征构建和嵌入式特征筛选构建用户流失预测模型训练的数据集。针对用户流失数据不均衡问题,从数据重采样和集成学习分类算法两个角度出发。在数据重采样层面,用Logistic算法和轻型梯度提升算法作为分类器,对比常用的重采样算法对用户数据不均衡问题的影响,其中本文采用对比的重采样算法包括少数类样本合成过采样技术、边界少数类样本合成过采样技术、自适应合成抽样算法、编辑最近邻欠采样算法、汤姆克链接样本对、少类样本合成过采样技术与编辑最近邻欠采样混合的采样算法以及少类样本合成过采样技术与汤姆克链接样本对混合的采样算法,最终选择对分类效果提升最好的编辑最近邻欠采样算法。在集成学习层面,使用随机森林、自适应提升算法、轻型梯度提升算法以及极端梯度提升算法建立用户预测模型,集成学习算法相较于传统的Logistic算法在不均衡数据集上的预测效果更好。基于数据重采样和集成学习两个层面的考量,本文最终使用将编辑最近邻欠采样融入学习法策略的初级强学习器,经过学习法策略结合的模型来建立用户流失预测模型,最终的用户流失预测模型F1-score达到0.8172,AUC达到0.9197,相较于单一的Logistic模型在F1-socre和AUC指标上分别提升了0.2833、0.1118。