关键词： 渗流模型   XY模型   广义XY模型   机器学习   蒙特卡罗方法  

摘要： 本文运用机器学习方法研究统计物理模型,包括点渗流、棒渗流、经典XY模型和广义经典XY模型的热力学相变,这些相变具有非局域性质和拓扑性质。用一种无监督学习方法t分布随机邻居嵌入法t-SNE(t-distributed stochastic neighbor embedding)对渗流位型进行分类,并区分出渗流位型、非渗流位型和临界区域的位型。我们发现仅使用单层隐藏层的全连接神经网能够识别渗流相变并且通过输出层神经元平均值的数据跌落可以拟合出正确的渗流临界指数。本文也研究了存在涡旋和反涡旋对(拓扑缺陷)演化的B-K-T(Berezinskii-Kosterlitz-Thouless)相变。在经典XY模型中,如***,***和***在[***.B 97,045207(2018)]文中指出,使用自旋位型(每一个格点自旋的角度)代替涡旋位型在研究B-K-T相变时可得到更好的结果,我们选择自旋分量和自旋角度作为输入到卷积神经网络中的信息,深入研究了XY模型在正方晶格和六角晶格上的热力学相变。在此基础上,我们也应用机器学习方法研究了广义XY模型,尤其包括向列相、顺磁相、具有长程序的铁磁相,构建了自旋角度的统计分布直方图很好的识别XY模型和广义XY模型上的相变并且给出包含(向列相,顺磁相,铁磁相)的全局相图。附录中,也介绍了另一项工作,对任意子哈伯德模型中的超固体相进行了研究。本文的主要内容如下:第一章,介绍了机器学习的背景、应用、分类以及本文的研究动机、点渗流模型、棒渗流模型的配分函数以及经典XY模型和广义XY模型的哈密顿量。第二章,阐述了文中所用到的机器学习算法以及Monte Carlo算法。其中机器学习算法包括t分布随机邻居嵌入法t-SNE(t-distributed stochastic neighbor embedding)、全连接神经网络法FCN(fully connected neural network)和卷积神经网络法CNN(convolutional neural network)。Monte Carlo算法包括:Metropolis算法、Wolff算法和Swendsen-Wang算法。第三章,运用机器学习方法研究了正方晶格、三角晶格和Bethe晶格上的点渗流模型和棒渗流模型,正方晶格和六角晶格上的XY模型以及正方晶格上的广义XY模型。第四章,全文研究工作的总结和展望。附录,介绍另一项研究工作,探索任意子在一维光晶格上的超固体相。

关键词： 图像美学度评价   多模型特征   特征组合   二分类   回归  

摘要： 计算机视觉与人工智能的飞速发展、数字设备的大量衍生、人们生活水平的逐步提高,催生出大量的数字图像,但是海量的图像之间美感各有差异。通过对图像美学度的有效评价,能够帮助人们从海量的图像中选择合适有效的图像,同时对于编辑行业、家庭用户管理图像等方面具有积极作用。本文基于机器学习方法,从图像美学度的二分类与评分回归两种评价方法出发,提出相应的模型解决方案,使得计算机能够模仿人类的审美方式,对不同类型的图像进行有效的美学评价。对于图像美学度的二分类评价方法,为了解决特征冗余信息较多、有效性较差、泛化能力受限、算法实现复杂的问题,本文提出了一种基于多模型特征与特征优化的多种分类器评价方法。该方法提取了三种不同层次的多类型美学特征,其次将随机森林的特征重要度排序与特征维度的复杂度以及单个特征分类效果相结合,从而进行显著性特征的选择,获得泛化能力较强、稳定性较高、维度较低的最优特征。基于最优特征,采用SVM与随机森林两种分类器实现对图像美学度的二分类评价。实验结果表明该方法对于不同类型的自然场景图像,以及美学度差异不同的相同类型图像,均取得较高的分类准确率,本文的模型方法具有良好的分类效果。对于图像美度学的回归评价方法,为了解决手工特征无法全面捕获图像的不同视觉美感,忽略不同类型图像与特征之间的有效组合,以及对回归器性能的学习优化问题。本文提出了一种基于多角度特征和最优特征与回归器相组合的评价方法。该方法提取了 4种不同视角的美学特征,然后将不同类型图像的高层美学特征进行最优特征组合,其次采用SVR与3种集成学习回归器进行最佳回归器的选择,并对最佳回归器进行分步参数优化,从而实现对不同自然场景图像的回归评价。实验表明该方法提取的4种不同类型特征之间具有良好的互补性,对不同类型的自然图像的预测结果符合人类主观的美学评价,具有良好的美学预测性能。

关键词： 光谱不确定性   泛化性能   光伏电站   光谱相似性测度   小样本深度学习   数据偏移  

摘要： 随着能源危机和环境污染问题日益加剧,在政府相关政策的推动下,我国涌现出大量的光伏电站。利用遥感技术快速、自动获取光伏电站及其动态变化信息对于政府管理部门具有重要的经济、社会和生态效益,如土地资源的合理使用、能源利用、实现贫困人口预测和环境保护等。自动提取人工地物是遥感影像智能分析和模式识别领域重要的研究内容。但是,由于遥感成像过程和环境的复杂性,地物光谱普遍存在“同物异谱”、“异物同谱”等不确定性问题,给传统基于光谱统计分布特性进行地物提取的算法带来了严峻挑战,导致许多算法泛化性能不足;深度学习尽管在影像场景识别领域展现出巨大的应用潜力,但是现实中的小样本数据仍是其面临的主要困扰。基于此,论文从光谱匹配、多共性特征联合和场景识别的角度入手,利用支持向量机、卷积神经网络等机器学习算法进行光伏电站的提取研究,特别是针对大尺度、不同地理位置和不同成像时刻的遥感影像光谱亮度值差异(数据偏移)给电站提取带来的难题,进行了大量的试验分析并改进了相关算法。论文主要研究成果如下:(1)根据不同空间位置、不同时相影像上光伏电站的光谱曲线特征,利用指数阈值法进行提取试验;之后介绍了分类、聚类算法的优劣势,并提出了一些改进策略。通过分析地物提取和分类的差异,针对最佳指数(OIF)与一类支持向量机(OC-SVM)结合在提取地物时存在的不足,提出了一种改进的最佳指数(MOIF)用于影像波段特征的选择。试验表明:与传统算法相比,文章中改进算法的精度得到明显提高。(2)辅助结构和纹理特征进行电站识别,分析空间派生特征在中等分辨率遥感影像地物提取中的有效性。针对光谱角在提取地物时存在的一些问题,文章在充分挖掘更深层次特征的基础上,引入机器学习算法的优势,利用特征的互补性进行光伏电站提取试验;此外,对于数据偏移给时序和大尺度遥感影像处理带来的挑战,尝试利用多共性特征联合的思路对该问题进行探索。试验表明:与传统提取算法相比,改进算法在泛化性能、抗噪性等方面存在明显优势。(3)场景复杂、信息丰富的图像需要高层次特征进行高效表达以利于识别,近年来深度学习成为解决此问题的有力工具。但设计新的深度学习模型较为困难,且需要海量的样本进行训练,这在现实应用中往往是较难满足的。论文选取已有卷积神经网络(CNN)为分类器,以中等空间分辨率影像上电站场景识别为例,引入迁移学习解决小样本问题,研究了小样本条件下CNN识别复杂光伏电站场景的能力及影响因素。试验表明:迁移学习能够有效解决现实中的小样本问题,CNN对于背景掺杂、明暗变化、尺度变化、遮挡干扰、类间同质和类内异质的不同影像场景展示出强大的识别能力。

关键词： 甘南地区   草地生物量   多因素参数模型   非参数模型   时空动态变化  

摘要： 草地地上生物量（Above Ground Biomass,AGB）是区域碳循环分析和草地生态系统健康评价、草地资源可持续开发利用的关键指标。在青藏高原地区,受特殊气候和复杂地形条件的影响,生态环境极其脆弱,草地生物量能够反映高原地区草地生态系统和植被物种的动态变化情况,是全球气候变化研究的重要指标之一。因此,构建高精度的草地生物量估测模型对草地资源管理、草畜平衡分析、草地生长状况评估和生态环境保护均具有重要的意义。许多学者针对青藏高原地区的草地生物量估测已开展了大量的研究。然而,现有草地生物量估测模型差异较大,适合高寒草地生物量估测的反演方法尚缺乏系统全面的研究。因此,本研究以青藏高原东缘的甘南地区作为典型研究区,利用与草地生物量有显著相关性的地理位置、地形、植被生物物理指标、气象、土壤和遥感植被指数等因子,分别构建了草地生物量单因素参数模型、多因素参数模型和非参数模型,利用10-fold交叉验证的方法系统比较了各种模型的精度和稳定性。在此基础上,分析了2000-2016年研究区草地生物量的时空动态变化特征。研究结果表明:1)对MOD13Q1植被指数数据的滤波去噪处理是降低基于MODIS数据高寒草甸草地AGB反演误差的关键之一。基于Gaussian函数、Double-Logistic曲线和Savitzky-Golay三种方法进行滤波处理后的EVI比MOD13Q1 EVI最优AGB估测模型的精度高,其测试集的R2增加0.001～0.009,RMSE减少0.72 kg/ha1.33kg/ha;基于以上三种方法进行滤波处理后的NDVI比MOD13Q1 NDVI最优AGB估测模型的精度高,其测试集的R2增加0.057～0.068,RMSE减小19 kg/ha34.21kg/ha。2)在地理位置、地形、植被生物物理指标、土壤和气象等14种因子中,经度（X）、纬度（Y）、海拔（DEM）、坡位（TPI）、草层高度（H）、草地盖度（C）、气温（T）、降水（P）和底层土壤粘粒含量（Clay2）等9种因子和草地生物量之间具有显著的相关性。在所有单因子最优估测模型中,基于草地盖度的指数模型精度最高,其测试集的R2和RMSE分别为0.39和859.368 kg/ha;其它因子最优估测模型的精度由高到低依次为H、P、T、Y、DEM、X、TPI和Clay2。总体来看,9个单因子AGB参数模型的估测精度较低,存在较大的不确定性,仅能解释生长季草地生物量变化的1.5%36.3%。3)与单因素AGB模型相比,构建草地生物量多因素参数模型和非参数模型是提高草地生物量监测精度的重要途径。在6大类因素中,基于植被生物物理指标H和C构建的最优估测模型在参数和非参数两类模型中的精度均最高,其次依次为气象（T、P）、地理位置（X、Y）和地形（DEM、TPI）等因素构建的最优草地生物量估测模型;并且以上4类因素所构建的非参数模型精度较参数模型高,其测试集的R2增加0.07～0.1,RMSE减小1.41kg/ha80.65kg/ha。在基于各因素组合的参数和非参数模型中,不同组合模型的精度随着构建模型时自变量的减少,两类模型的精度均呈现逐渐递减的趋势。在相同组合中,非参数模型精度均高于参数模型,其测试集的R2增加0.04～0.12,RMSE减小74.91 kg/ha138.34kg/ha。4)构建多因素参数和非参数模型是改进草地生物量估测模型稳定性的关键。在参数和非参数2类模型中,随着参与构建模型因素数量的增加,模型的稳定性也呈现增加趋势。在所有模型中,基于X、Y、DEM、TPI、H、C、T、P、Clay2、EVISG等10种因子的最优非参数模型稳定性最高,其RMSE的标准偏差较最优单因素模型减少51.643 kg/ha61.286 kg/ha,较最优多因素参数模型减少37.508kg/ha61.286 kg/ha。5)2000-2016年甘南地区草地生物量总体呈现增加趋势,年均增加量约为12.463kg/ha。从草地生物量变化趋势的空间分布特征来看,研究区大多数区域的草地生物量变化趋势处于稳定和增加的状态,其中保持稳定区域占整个研究区草地面积的78.53%,增加趋势的区域占整个研究区草地面积的20.50%,而生物量呈减少趋势的区域仅占0.98%。从草地类型来看,除低平地草甸类草地生物量有轻微减小趋势外,其它各类型的草地生物量变化主要处于稳定和增加趋势的状态,其中保持稳定的区域面积占各种草地类型的面积比例介于76.81%97.64%,呈现增加趋势的比例介于12.55%23.02%,而具有减小趋势的比例仅为0.17%6.43%。

关键词： 阿尔兹海默病   机器学习   早期诊断   病例检索   评分预测  

摘要： 阿尔兹海默病(Alzheimer's Disease,AD)是一种神经退行性的疾病且目前无法治愈。对AD疾病的计算机辅助诊断框架,有助于帮助医师根据神经影像及病人信息作出正确的分析和决策。本论文工作基于机器学习方法进行特征工程和疾病建模研究。其中,早期分类、病例检索及评分预测三种不同任务的结果都能作为重要的计算机辅助诊断参考,提高诊断性能。(1)为了对AD及其早期阶段——轻度认知障碍(Mild Cognitive Impairment,MCI)进行更准确的诊断,本论文利用了多模态影像数据并分析了模态间特征关系,用于增强与AD/MCI相关特征的表达能力。首先,基于典型相关分析融合不同模态间多个特征并生成多模态关系特征表达;其次,基于稀疏最小二乘回归损失函数,选择稳定且有判别力的相关性表达特征;最后,随机抽取训练样本用于训练支持向量机分类模型,再用剩余样本作为测试集验证得到分类准确率。结果表明该方法挖掘多维特征间的关系,能有效应用于增强多模态数据信息。(2)医学数据检索已经广泛地运用于计算机辅助诊断,检索得到的同类受试者就可以为查询样本的诊断决策和制定高效治疗方案提供优先参考。为了研究从多源数据中检索阿尔兹海默病的同类病例,本论文提出自适应集成流形学习方法。该方法通过流形学习加强几何约束以学习同类受试者的相似性。不同源数据的加权集成有利于不同源的特性表达和信息互补。此外,广义范数明确探讨了自适应控制的稀疏度。实验结果表明,该方法能结合多源信息加强聚合同类受试者且适应于多种检索任务。(3)多时间点的评分预测可以提供预测类型的可信参考评分,帮助预估AD疾病发展进程。本论文还建立了阿尔兹海默病多时间点缺失回访数据的补全预测框架。本方法首先基于低秩方法利用已有数据矩阵信息计算出不同时间点其他受试者的缺失数据,然后根据已补全的完整数据集,建立阿尔兹海默病疾病判断和发展预测模型。我们使用擅长处理时间序列的循环神经网络完成训练任务,并预测相应的临床量表评分分数,以辅助医师对患者病情作出预判。综上所述,本论文以计算机辅助诊断阿尔兹海默病为研究目的,基于机器学习方法分别以分类、检索和预测作为三大主要任务展开研究,研究内容包括特征工程和分类回归模型用于分析诊断过程中几个最关键、最困难的问题,以异源异构数据和多时间点发展为主线,并用公共数据库进行大量的实验,结果论证了本论文所提出方法的可行性和有效性。同时本论文所提及的理论、模型及算法对其他痴呆类型或神经性疾病的辅助诊断和应用也有指导和借鉴意义。

摘要： Personalized medicine aims to tailor treatment based on patients’ information. The goal is to find the optimal treatment regime: if everyone follows the optimal treatment, the best overall potential outcome can be achieved. In this dissertation, we focus on two approaches to estimate the optimal decision rule: The first approach is a learning algorithm based on concordance function with automatic variable selection (chapter 2). The second approach is using deep neural networks to better approximate intricate decision rules (chapter 3). Machine learning has several successful applications in different research areas such as computer vision, finance, robotics, and operation research. This motivates us to incorporate machine learning techniques into estimating optimal treatment regime: We borrow the idea of support vector machine (SVM), a classical classification technique and use hinge loss as the surrogate loss function. We also incorporate convolutional neural network (CNN) and convexified convolutional neural network (CCNN) in multistage decision making. In chapter 2, we proposed sparse concordance-assisted learning (SCAL) for optimal treatment regime estimation with automatic variable selection. The advantage of concordance-assisted learning (CAL) is that it makes use of pairwise information. The proposed estimator is more robust and has good statistical properties. We proposed several adaptations including smoothing the original loss function and incorporating variable selection to improve the decision accuracy. Identifying important variables can help reduce the cost in data collection. We improve the computational efficiency of the optimization by implementing the Douglas-Rachford method. Both simulation studies and real data analysis indicate that SCAL has better performance than existing popular methods. In chapter 3, we proposed a dynamic advantage learning algorithm under the deep neural network framework. Deep neural networks allow for more flexibility com

摘要： Accurate star-galaxy classification has many important applications in modern precision cosmology. However, a vast number of faint sources that are detected in the current and next-generation ground-based surveys may be challenged by poor star-galaxy classification. Thus, we explore a variety of machine learning approaches to improve star-galaxy classification in ground-based photometric surveys. In Chapter 2, we present a meta-classification framework that combines existing star-galaxy classifiers, and demonstrate that our Bayesian combination technique improves the overall performance over any individual classification method. In Chapter 3, we show that a deep learning algorithm called convolutional neural networks is able to produce accurate and well-calibrated classifications by learning directly from the pixel values of photometric images. In Chapter 4, we study another deep learning technique called generative adversarial networks in a semi-supervised setting, and demonstrate that our semi-supervised method produces competitive classifications using only a small amount of labeled examples.

关键词： 不均衡数据集   二分类   重采样算法   复合XGBoost模型  

摘要： 分类问题是日常决策中经常遇到的问题。传统的分类算法前提假设是数据集的类别均衡或者每一类的错分代价一样,但是在现实中面对的数据集一般是不均衡的,特别是医疗诊断、商品搭售推荐等领域,因此研究不均衡数据集分类问题对解决实际问题很有价值。本文首先通过文献分析,详细地介绍了数据集层面和分类算法层面对不均衡数据集分类问题的现有解决方法。提出了利用复合XGBoost模型,即重采样算法和XGBoost算法相结合的方法,对不均衡数据集进行二分类预测,并将该模型应用于用户商品偏好的预测中。本文在构建用户商品偏好预测模型时,从四个方面选取了31个特征变量,通过建立逻辑斯蒂回归模型、复合逻辑斯蒂回归模型、AdaBoost模型、随机森林模型、XGBoost模型及复合XGBoost模型,对用户是否会购买推荐的产品B进行了预测。利用Recall、F1值、AUC值等指标进行对比分析,结果表明复合XGBoost模型中的EasyEnsemble-XGB模型的分类预测效果最好。通过EasyEnsemble-XGB模型特征重要性分析,得出五个重要特征,这些信息可以更好地刻画目标用户。在不均衡数据集分类模型的实际应用中,本文提出要根据实际业务目标来调整阈值以输出分类标签,而不是固定使用0.5作为分类阈值。

关键词： 有限元   应力解改善   机器学习方法   等效应力  

摘要： 有限单元法是当今科技领域应用最广泛的数值计算方法之一。在力学领域,大型通用有限元软件多采用位移元有限元格式编制。位移元有限元应力精度较位移的低,且应力在单元边界(包括公共结点)上一般不连续,而在强度分析中,结点应力最为人们所关注,因此给出精度高且连续的结点应力是从事有限元研究的科研人员追求的目标之一。现有有限元软件广泛采用经典的整体、分片等修匀方法改善结点应力解,本文则探讨了基于机器学习方法的改善。本文分别应用BP神经网络、支持向量机(SVM)和高斯过程回归(GPR)三种机器学习方法对结点应力解进行了改善。考题是一简化为平面应力问题的各向同性且受均布载荷的悬臂深梁。为深入研究,对该悬臂深梁建立了两个不同单元的有限元模型,即4结点四边形单元(大样本)和8结点四边形单元(小样本)模型。应力考察量取等效应力Mises应力,高斯积分点为样本点,单元角结点为改善点。三种机器学习方法与经典方法、三种机器学习方法之间,改善效果对比如下:1)较之经典方法,机器学习方法可以直接对等效应力进行改善。2)对于全部角结点的总体误差(加权折算后),4结点模型:经典整体为22.18%,BP为10.45%,SVM为8.02%,GPR为6.34%;8结点模型:经典整体为25.96%,BP为12.05%,SVM为5.59%,GPR为5.98%。由此可见,对于4结点和8结点两种模型,三种机器学习方法的应力改善效果,均较有限元经典整体应力改善的明显,SVM和GPR的效果更好;8结点模型的改善效果,BP稍逊于4结点的,而SVM和GPR则明显好于4结点的。3)4结点模型样本点的总体误差为11.17%,而四种改善方法的全部角结点的总体误差如上述2)。由此可见,经典整体的比样本点的大很多,而三种机器学习方法的比样本点的都要小,且SVM与GPR的要小得多;8结点模型样本点的总体误差为6.54%,而四种改善方法的全部角结点的总体误差如上述2)。由此可见,经典整体的比样本点的大很多,BP的也比样本点的大,而SVM与GPR比样本点的稍小些。4)对于边界角结点的总体误差,4结点模型:经典整体为24.37%,BP为11.02%,SVM为8.45%,GPR为6.24%;8结点模型:经典整体为27.95%,BP为12.48%,SVM为5.81%,GPR为6.39%。对于内部角结点的总体误差,4结点模型:经典整体为9.91%,BP为7.43%,SVM为5.83%,GPR为6.76%;8结点模型:经典整体为5.08%,BP为8.20%,SVM为4.07%,GPR为2.35%。由此可见,对于4结点和8结点两种模型,边界角结点的改善效果比内部结点的显著。5)统观全部角结点相对误差,发现GPR较SVM各点的误差波动小;另外就角结点的改善应力,GPR还能够给出95%的置信区间,即输出具有概率意义。6)4结点模型:边界结点5(固定端上端点)和上端面靠近固定端的10结点、15结点,其应力改善解的相对误差,经典分片方法的为-13.02%、3.72%和-13.18%,GPR方法的为-6.08%、-2.14%和-0.52%;8结点模型:5结点、10结点和15结点的相对误差,经典分片方法的为-4.62%、2.14%和1.02%、GPR方法的为0.46%、-0.08%和-0.20%。由此可见,对于4结点和8结点两种模型,就边界结点应力解改善,GPR方法较经典的分片应力改善方法效果明显。7)为保证改善效果,经典分片方法一般只是对片内的几个结点进行改善,而为获得多个结点的改善值,就需取若干片进行逐片计算;GPR方法则可灵活地划出一个包含所有要改善的结点的可大可小的子域,一次完成这些结点的改善,且就内部结点的改善效果而言,与经典分片的相当。8)本文还探索了两种不同输入情况下机器学习方法的应力改善效果,双输(坐标和位移)较单输入(坐标)的改善效果:BP网络较好;SVM不好;GPR的区分不明显。论文结果表明:基于机器学习方法进行有限元应力解改善是可行的,且较之经典方法,机器学习方法可直接给出改善效果更好的等效应力。

关键词： 学习算法   可解释性   智能体   机器学习方法   神经网络   未来十年   研究热点  

摘要： 自1998年成立以来,微软亚洲研究院一直致力于推动计算机科学领域的前沿技术发展。在建院20周年之际,我们特别邀请微软亚洲研究院不同领域的专家共同撰写"预见未来"系列文章,以各自领域的前瞻视角,从机器学习、计算机视觉、系统架构、图形学、自然语言处理等多个方向出发,试图描绘一幅未来科技蓝图。人工智能正热。技术创新是经济增长的根本动力。这些技术中,最重要的就是经济学家提到的"通用技术",比如蒸