摘要： Unsupervised learning aims to identify underlying patterns in unlabeled data. In this thesis, we develop methodologies involving two popular unsupervised learning problems: clustering with application to data integration and graphical models. As the volume and variety of data grows, data integration, which analyzes multiple sources of data simultaneously, has gained increasing popularity. We study mixed multi-view data, where multiple sets of diverse features are measured on the same set of samples. In the first project, by integrating all available data sources, we seek to uncover common group structure among the samples from unlabeled mixed multi-view data that may be hidden in individualistic cluster analyses of a single data view. To achieve this, we propose and develop a convex formalization that inherits the strong mathematical and empirical properties of increasingly popular convex clustering methods. Specifically, our Integrative Generalized Convex Clustering Optimization (iGecco) method employs different convex distances, losses, or divergences for each of the different data views with a joint convex fusion penalty that leads to common groups. Additionally, integrating mixed multi-view data is often challenging when each data source is high-dimensional. To perform feature selection in such scenarios, we develop an adaptive shifted group-lasso penalty that selects features by shrinking them towards their loss-specific centers. Our iGecco+ approach selects features from each data view that are best for determining the groups, often leading to improved integrative clustering. Through a series of numerical experiments and real data examples on text mining and genomics, we show that iGecco+ achieves superior empirical performance for high-dimensional mixed multi-view data. In the second project, we seek to come up with more meaningful interpretations of clustering, which has often been challenging due to its unsupervised nature. Meanwhile, in many real-world sce

关键词： 融入知识的学习方法   掘进载荷力学建模   检测数据力学分析   力学底层逻辑   量纲分析   因果溯源   可迁移性  

摘要： 发展内含力学逻辑的机器学习方法,实现力学领域知识与数据驱动技术的交叉融合,对研发装备智能控制技术与发展检测数据力学分析新方法均具有重要意义。本文建立了一种融入力学知识的装备控制参数学习方法,该方法通过量纲分析等力学分析方法将力、物性、结构等基本力学关系作为底层逻辑编码至数据驱动的算法体系中,叠加了两种研究路径在求解复杂工程力学问题的优势,并将其应用于掘进装备控制参数的建模,为攻克智能预测领域的因果溯源、高维空间、数据量依赖度等难题提供一种新思路。本文工作内容如下:首先,对掘进装备与地层环境间相互作用规律进行力学分析。基于力学原理建立方程并推导力学理论模型,获取了掘进装备在时间、空间发生状态变化的根本原因:基于岩土破坏准则建立了刀具受载理论模型,推导了反映地质环境特征、装备几何结构以及操作状态影响的解析模型;基于极限分析理论求解了掘进装备扰动地层时的极限载荷,分析了土层几何分布及其岩土力学参数对载荷的影响。这部分工作为本文融合型学习方法研究提供了掘进装备的基础力学知识。本文主要工作是提出了一种融入力学知识的机器学习方法,其基本思想是将力学分析方法与数据驱动技术结合,发挥力学知识提取共性规律优势的同时结合数据驱动的优化功能提升预测性能。其主要技术路线包括:基于量纲分析等力学方法构造趋近问题本质的无量纲因子,形成工程数据变量间内在力学底层逻辑,进一步将其融入数据驱动结构体系中,并通过范数惩罚项缓解工程检测数据的过拟合问题。进一步将融合型学习方法应用于掘进装备工程实践问题,对装备智能控制中最受关注的核心控制参数-掘进载荷及能耗进行建模与预测。通过三类典型地质环境下的工程案例:代表软土地层的天津地铁三号线、代表复合地层的深圳地铁二号线以及代表岩石地层的大伙房水库工程案例,对融合型学习方法进行了预测建模的推演以及建模准确性的工程验证分析,重点给出了基于力学原理推导工程数据变量间底层逻辑的依据。在上述工作基础上,结合实际隧道工程数据,综合分析了力学知识在融合型学习方法工程应用中的特点与功能,展示了力学分析与数据驱动结合后应对工程装备预测建模领域“瓶颈”问题的科学性与适用性。具体包括:融合型学习方法实现的可示踪因果溯源分析,建模路径对相似工况环境的可迁移性,基于力学底层逻辑的工程数据降维特点,应对在线预测时小样本学习难题的能力。

摘要： The history of science is the history of finding true belief from observations. Humans build knowledge from observations, experiences, and/or other knowledge. Sometimes, it is difficult to understand a phenomenon with superficial observation. Observed data is the key to solve problems around us. As the size and complexity of data grows, so does the need to accurately process the data. There is now an opportunity to apply artificial intelligence and machine learning approaches to large-scale multi-omic data sets in new areas such as agriculture and crop improvement. In this study, we focus on maize (Zea mays L.) genomic data, and applied machine learning approaches to discover meaningful features from the genomic data. First we explored the relationship between phenotype and genotype in the maize genome by building a database of images and genomes called MaizeDIG. Second, we applied the k-mer concept to construct machine learning frameworks for predicting gene expression using gene sequences. We describe two k-mer Naive Bayes classifiers for genomic sequence classification: k-mer Naive Bayes (NB(k)) and two-phase k-mer Naive Bayes (tNB(k)). Finally, we extend NB(k) and tNB(t) methods and propose new methods to represent sequence: k-mer distance model and reduced k-mer alphabet model. NB(k) only considers relative frequencies of each respective alphabet under Naive Bayes classifier. To better represent the complexity of protein structure, we propose a new k-mer distance model. We constructed a distance matrix with the distance between all pairwise k-mers in a sequence, and it can be used to measure or compare two gene sequences in terms of similarity. Since the size of the amino acid alphabet affects the complexity and therefore limits k-mer size we propose the reduced k-mer alphabet model. Instead of the NB(k) approach based on the traditional 20 amino acids, we applied the k-mer method with smaller-sized groupings based on physico-chemical properties of amino acids

关键词： Support vector machines  

摘要： Knowledge of cumulative infiltration of soil is necessary for irrigation, surface flow, groundwater recharge and many other hydrological processes. In the present study, the Support Vector Machine (SVM), artificial neural network (ANN) and adaptive Neuro-fuzzy inference system (ANFIS) were employed to estimate the cumulative infiltration of soil. For this study, a data set containing 106 experimental observations were analyzed. Out of 106, 70 % of data was selected for preparing different algorithms whereas rest 30% data was selected to test the models. The models accuracy was depended upon the two performance evaluation parameter which is correlation coefficient (CC) and root mean square error (RMSE). Results of performance evaluation parameters suggest that triangular membership function-based ANFIS model works well than SVM and ANN models. While SVM and ANN models also give a good estimation performance. Sensitivity analysis concludes that the parameter, time (t) is the most influencing parameter for the modeling of cumulative infiltration of soil for this data set. © 2018 Indian Society for Hydraulics.

关键词： 机器学习   四顶夸克   决策树   神经网络  

摘要： 机器学习是人工智能学科当中非常重要的一环，随着粒子物理的数据量级的增长，机器学习也越来越广泛的得到应用。决策树和神经网络等算法逐渐成为和高能物理结合较为紧密的算法。　　顶夸克是迄今已知最重的基本粒子，目前唯一可以制造并观察到顶夸克的地方就是位于欧洲核子中心CERN的大型强子对撞机LHC。四顶夸克的产生过程在实验中还没有被发现，并且四顶夸克的产生截面非常的小，和四项夸克最重要的本底顶夸克对过程相比来看，截面相差大约五个量级。　　因为传统的截断记数方法不能满足对于四顶夸克数据研究的要求，为了在庞杂的本底中找到稀少的信号，就要求我们使用更为有效的机器学习方法来提高在训练当中的灵敏度和精度。　　本文通过对物理分析中常用的多种机器学习算法进行性能评估，算法初选和初选算法对四项夸克全强末态的对比研究，得出了梯度提升决策树算法是目前针对四顶夸克全强末态的研究中最佳的机器学习方法。

关键词： 易发性评价   支持向量机模型   逻辑回归模型   多层感知机模型   XGboost模型   频率比法   程序化  

摘要： 滑坡易发性评价通过分析影响滑坡的不同地质条件组合,评价潜在滑坡的地理空间分布,通常被认为是评估滑坡的首要步骤。以往基于Arc GIS平台实现的滑坡易发性评价经验模型或半定量模型带有一定的主观性,而机器学习算法通过样本来训练模型,能够客观的得出结果,所以被广泛的应用。但Arc GIS平台与机器学习算法兼容性不强,研究者大都是在Arc GIS中进行评价因子相关操作,然后再借助其他软件进行模型训练。这样多平台切换使操作繁琐复杂,同时也无法将这一套操作集成化形成一个简单快速并且不需大量人工操作的自动化易发性评价系统。本文基于机器学习与GIS空间分析等理论,对滑坡自动化易发性评价系统进行研究。主要是通过总结和对比现有的滑坡易发性评价体系方法和结果,对评价因子数据提取、因子分级、特征数据预处理及机器学习模型预测易发区等技术进行探讨,然后利用Python语言将这些技术编程实现并集成为一套完整的滑坡易发性自动化分区程序系统,解决前述的多平台操作问题。取得的主要成果如下:(1)归纳总结了一套程序化可行性大的滑坡自动化易发性评价体系,为后续实现滑坡自动化易发性评价程序提供技术指导。对比分析了滑坡易发性评价过程中运用的各种方法,提出了以栅格单元为基础评价单元、以快速聚类法筛选非滑坡单元、以7种评价因子建立评价指标体系、以频率比法进行因子分级、以四种典型机器学习算法作为评价模型、以ROC曲线及准确率为评判标准和以自然断点法为区划方法的滑坡自动化易发性评价体系。(2)利用Python语言编程实现了评价因子数据提取、分级、预处理等技术。以蓝田县为实例,研究了评价指标体系中高程、坡度、坡向、剖面曲率、地层岩性、降雨量和植被覆盖率等7种因子的数据提取算法,以频率比法对提取出的因子数据进行分级和分析,并对数据集进行预处理,转化为能够直接用于模型训练及预测的数据集。(3)通过频率比法分析了各因子敏感区间与滑坡发生的相关性。统计结果表明:研究区高程在500m～1000m范围内,坡度在10°～35°范围内,降雨量在650mm～800mm范围内,NDVI在0.4～0.6范围内,坡向为西、西北向,坡型为凹型,地层岩性为松散岩组及软硬相间岩组上滑坡频率比大于1,与滑坡发生密切相关。(4)利用Python语言编程实现了逻辑回归模型、多层感知机模型、支持向量机模型、XGboost模型的程序调用与参数优化,并以此对蓝田县进行滑坡易发性评价。以分类准确率,ROC曲线与AUC值三项指标评价模型性能,计算结果表明:四种模型的分类准确分别为:84.43%、82.81%、91.31%、88.15%;四种模型的AUC值分别为0.9024、0.9031、0.9287、0.9108。综合两者结果表明支持向量机模型在本研究区的滑坡易发性评价中泛化性能最佳。(5)以四种模型预测易发区的历史灾点数量占比和频率比来检验本次实现的程序系统的可行性。统计结果表明:四种模型在高易发区的滑坡占比分别为64.57%、54.33%、80.32%、69.05%,表明滑坡主要集中在高易发区,比较符合实际情况;在高易发区的滑坡频率比分别为3.92、1.78、3.01、3.76,都是远大于1,均表现出较强的相关性。综合两者说明本次开发的程序具体较高的可行性。(6)设计了滑坡自动化易发性评价系统两大模块的工作流程,开发了滑坡自动化易发性评价系统。系统集成了评价因子提取与预处理模块、评价模型计算与预测结果检验模块,实现了因子选择、因子提取、因子分级、数据预处理、输出专题图件、模型选择、模型参数配置、计算结果及易发性区划成果展示等功能,能够简便、快速的进行滑坡易发性评价。

关键词： 房租预测   可视化分析   随机森林   神经网络   XGBoost  

摘要： 住房问题一直是我国民生问题的关注重点,在房价居高不下的现实条件下,租房成为解决住房问题的有效途径。探讨租房价格影响因素以及建立房租预测模型,对我国租房市场的健康稳定发展具有积极意义,一方面可以为租房群体提供有效参考,有助于他们选择到更具性价比的房屋;另一方面有助于房东和房屋中介进行更合理的租金定价。本文选取了某房屋租售网站中北京、上海、杭州和天津四个城市的共10672条租房数据,经过特征筛选后运用多种统计图表,讨论房屋的建筑特征、区位特征和环境特征对房租的影响。其次,对四个城市分别建立基于随机森林和神经网络的房租预测模型,并对变量重要性进行排序。通过排序结果可知,在建筑特征中房屋面积是对房租影响最大的因素;房屋所在城区、到最近地铁站的距离在区位特征中对房租影响较大;在环境特征中,租房类型也对房租有较大影响。使用测试集对两个模型的预测结果进行比较发现,随机森林模型的预测效果更好。最后,使用四个城市的整体数据建立包含城市变量的XGBoost模型,得到了合理的房租预测结果。

关键词： 类星体   耀变体   Fermi卫星   分类  

摘要： 随着Fermi卫星巡天的进展,越来越多的活动星系核被发现。作为活动星系核的一个特殊的子类,耀变体具有与一般天体不一样的物理性质。耀变体的喷流方向几乎直接面对着观测者,因此能被探测到很强的辐射流量。在这种表现为强流量的天体中,天文学家们观测到了很多极端的观测性质。耀变体一直是天文学中的一大研究热点,而对其进行分类是进行进一步研究的必要前提。目前,对于类星体的分类仍存在较多方法。当前比较常用的方法是利用光学光谱将耀变体分成蝎虎天体(BL Lac)和平谱射电类星体(FSRQ)两个子类。受观测限制,部分耀变体难以获得其光学光谱,定义为待定分类的耀变体(Blazar Candidate of Uncertain type,BCU)。我们尝试利用有监督的机器学习方法其进行分类,但计算耗时十分长。为了减少参与运算的指标数,我们计算了各个观测指标对分类的贡献程度,结果和前人们的工作都不尽相同,于是尝试着利用几种机器学习结合主成分分析(Principal Component Analysis,PCA)的方法,计算出原始数据中的主成分个数,从而作为剔除无关指标的参考。在经过PCA算法后,我们将PCA给出的参数空间中14个指标降至6个,通过降低指标数来尝试减少引入的偏差。结果模型正确率普遍提高,调整参数的耗时普遍下降。其中5种机器学习的模型中,神经网络的模型正确率最高。我们利用这种方法对待定分类的耀变体做了分类预测,结果和前人的利用其他方法得到的基本一致。最后,我们利用4FGL中已被证认的部分与预测结果进行比对。结果显示我们对3FGL中BCU的预测结果很大程度上符合4FGL数据。最后,我们利用这一验证过的方法,对4FGL中的Blazar候选体进行预测分类。并针对利用4FGL建立的机器学习模型性能进行评估:评估结果显示,我们的方法对4FGL数据建立的模型分类器有着很好的表现,分类具有较高的正确率和鲁棒性。

关键词： 数据挖掘   慢性病分类   神经网络   关联规则   遗传算法  

摘要： 随着当今生活节奏的加快、工作压力的增大以及不良饮食习惯的影响，各种各样的慢性病发病概率正在逐年提高。由于慢性病病因复杂，患病周期长，对病患造成了一定的困扰，严重危害了人类的生命健康。在大数据时代，如何利用数据挖掘技术为慢性病的预测以及防治提供科学支持，具有重要的理论研究意义和实用价值。　　本文选择数据挖掘中的CART决策树和BP神经网络算法为技术主线，用于不同慢性病的分类预测的应用中，本文的主要工作如下:　　(1)对CART分类决策算法提出改进。本文从两个方面提出改进:一是利用Fayyad边界点判定原理对CART决策树选取连续属性的分割阈值的方法进行改进，该改进无需计算所有分断点的Gini指数，只需计算样本排序后，连续属性相邻不同类别的分界点即可，提高分类效率。二是提出基于Apriori算法的CART决策树，在生成的关联规则中提取特征构造新的属性，重组数据集，提高属性关联度和分类精度。本文将改进后的CART算法应用于糖尿病、乳腺癌和心脏病慢性病数据集中，通过准确率、特异度、敏感度、精确率和ROC面积五个指标与改进前的CART树、KNN、贝叶斯网络以及SVM四种算法进行比较分析，结果表明改进后算法在预测慢性病方面具有一定优势。其中改进后的CART算法较改进前准确率分别提高了4.42％、4.38％和5.55％，运行时间分别提高了8.44s、5.88s和5.63s。　　(2)对BP神经网络算法提出改进。本文从两个方面提出改进:一是利用遗传算法并行全局搜索的优势，将其与BP网络进行有机结合，确定数据集的特征子集，解决网络的结构优化问题。二是使用C4.5决策树优化BP网络的结构，提高隐藏节点个数的合理性和网络的泛化能力。与经验公式相比，该方法更高效便捷。本文将改进后的BP网络应用于糖尿病、乳腺癌和心脏病慢性病数据集中，通过准确率、特异度、敏感度、精确率和ROC面积五个指标与改进前的BP网络、KNN、贝叶斯网络以及SVM四种算法进行比较分析，结果表明改进后算法具有一定优势。其中改进后的BP网络较改进前准确率分别提高了7.228％、1.606％和5.55％，运行时间分别提高了10.3594s、3.3906s以及12.3906s。同时设计了慢性病预测界面。用户通过登录界面，然后根据需求选择要进行预测的慢性病种类，并输入自身的各项信息，最后选择改进后的CART决策树和BP神经网络两种方法实现对疾病的预测。

关键词： 页岩气井   产量递减   机器学习   产量预测软件  

摘要： 页岩气田储层低孔低渗,气体赋存状态多样,采用水平井多段压裂技术开采,在气藏、工程等多因素影响下页岩气井生产动态特征与常规气井存在差异,常规的产量递减研究方法对其适用性低、误差大。随着数字油田与生产自动化的蓬勃发展,机器学习方法实现了油气田数字化建设、智能生产、运行、管理等;由于油气田开发的数据具有多源、多维、关系复杂、模式隐蔽的特点,通过机器学习可得到数据的变化规律,建立可预测的数据模型,从而提高油气藏动态分析效率及预测精度。本文采用机器学习方法研究页岩气产量递减,提高页岩气田产量预测精度。本文以CN页岩气田为研究对象,首先采用相关性方法分析影响页岩气井自然递减阶段产气量的气藏因素、工程因素,以产气量作为标签值,结合特征重要性确定的重要因素作为机器学习特征值,并采用K-Means聚类算法按投产初期产量进行气井产能分类;其次用非线性回归算法(随机森林、支持向量机、长短时记忆网络)对不同类井分别建立多个产量递减模型;然后以均方误差、45°等值线拟合精度为模型评估指标,优选不同类井产量递减模型;最后将优选模型和常规递减模型进行对比,并在建立模型基础上编制产量预测软件,将其在单井中进行产量预测应用。结果表明:(1)在众多气藏因素、工程因素中,地层压力、孔隙度、吸附气量和用液强度、加砂强度为影响产量递减的重要因素,以此作为机器学习输入特征;(2)页岩气井按产能可分为低产井(<15.99×10m/d)、中产井(15.99×10m/d～27.25×10m/d)、高产井(>27.25×10m/d)三类,且同类产能井自然递减阶段的递减规律相似:低产井初期产能低,产量递减速度慢;中产井产量递减较快;高产井初期天然能量充足,产量递减相对低产井、中产井更快;(3)对不同类页岩气井进行模型优选表明:低产井适用随机森林模型,中、高产井适用长短时记忆网络模型,且相较于页岩气常规递减模型,建立的机器学习产量递减模型能准确识别产量递减趋势,提高预测产量精度。本文研究拓展了页岩气井的产量递减研究方法。