关键词： 不平衡数据   支持向量机   随机森林   交叉验证   欠采样  

摘要： 随着中国网民数量的急剧增多,尤其是手机网民数量,增长速度更快,所以手机APP的开发前景尤为可观.并且手机APP中携带的移动服务已经成为人们日常生活不可或缺的一部分.相应地,企业为了推广手机APP,就会使用许多虚假用户来刷榜单排名,而真实用户变得少之又少,这就造成手机用户数据分布不平衡的问题.此外,对企业而言,就很难辨别手机APP的真实用户;对用户而言,在下载相关APP时就会受应用商店的榜单排名以及下载量的影响,很难下载到合适的APP.本文主要是通过统计机器学习方法对手机APP用户真实性进行预测分类,使得用户和企业避免造成不必要的损失.关于数据不平衡问题的处理方法一般分为两个步骤:第一步是数据划分,主要方法是过采样、欠采样等;第二步是模型方法,主要有神经网络、随机森林和支持向量机等.本文先是对各个变量进行数据可视化分析,分析各个变量与用户真实性的关系.然后是基于交叉验证和欠采样的随机森林和支持向量机建模方法进行预测用户真实性.结果表明:分类预测准确率都达到95%以上,小样本准确率也都高达85%以上.对比模型结果可以发现,基于欠采样的随机森林模型更适合本文数据,此模型的预测效果较好且模型稳定性好.

关键词： 临近降雨预报   SVM   RF   GBDT   XGBoost方法   PPLK方法  

摘要： 传统的临近降雨预报方法主要是利用数值方法、外推技术和概念模型等来预报。这些临近降雨预测的方法考虑的因素众多、模型的构造过于复杂且预测步骤多、累计误差较大。近年来,机器学习方法在气象预报中得到广泛应用。本文利用雷达降雨产品,引入支持向量机(SVM)、梯度提升树(GBDT)、极限提升树(XGBoost)三种机器学习方法应用于雷达降雨产品的临近降雨预报,使用TS评分、命中率POD、空报率FAR和漏报率MAR四个定性检验指标来综合比较各机器学习方法在临近降雨预报中的预报效果,还将XGBoost方法和PPLK方法相结合进行短临定量降水预报,使用了相关检验指标进行了评估。下面是本文的主要研究结果和结论:(1)基于SVM方法的临近降雨预报研究。建立了雷达降雨产品-晴雨预报的非线性支持向量机训练模型,达到了在考虑较少影响因子的基础上对雷达降雨产品进行临近降雨预报,在降雨分布比较集中的雷达降雨产品中降雨的命中率都较高,实验验证了该方法的可行性。(2)基于GBDT方法的临近降雨预报研究。建立了雷达降雨产品-晴雨预报的梯度提升模型,实现了从数据驱动的角度对雷达降雨产品进行临近降雨预报,在各类雷达降雨产品中的临近预报都较好,实验验证了该方法具有一定的可行性。(3)基于XGBoost方法的临近降雨预报研究。建立了雷达降雨产品-晴雨预报的XGBoost模型,实验表明其对不同雷达降雨产品的临近降雨预报能力都很强,TS评分和命中率都在较高的水平,实验验证了该方法的有效性及准确性。(4)将XGBoost方法临近降雨预报的结果和SVM方法、RF方法及GBDT方法临近降雨预报的结果进行了比较,实验结果表明XGBoost方法的预报性能明显优于其他三种预报方法,预报精度是最高的。(5)将XGBoost方法和PPLK方法相结合对雷达降雨产品进行短临定量降水预报,实验验证了XGBoost方法与PPLK方法相结合的预报性能会高于PPLK方法,也再次证实了XGBoost方法在降雨预报中的实用性及高效性。

关键词： 美国房屋价格   机器学习   随机森林   缺失值  

摘要： 近年来,随着中国经济的快速发展,赴美留学和移民的人数日益增多,海外房产投资需求也越来越大。为此,本文从微观角度来研究影响美国房屋价格的主要因素,旨在通过对房屋的实用性和舒适性等多维度分析,实现对房价的精准预测,为赴美留学者和移民等人进行海外房产投资提供一定的指导作用。本文以美国房屋价格为研究对象,结合国内外学者的研究来初步确定合适的房屋价格预测模型。首先对数据集进行预处理并对变量做描述性统计分析来建立特征工程;其次选用多元线性回归、岭回归、随机森林和XGBoost对数据集进行预测,分析对房价有显著影响的特征变量;最后通过交叉验证计算不同方法在预测数据集上的均方根误差,选出最优模型为XGBoost,最终我们用XGBoost分析得出影响美国房屋价格的主要因素。研究结果表明,影响美国房价有三个主要方面:1、房屋相关面积。其中可以首先考虑地面面积和地下室面积这两大因素,因为这些因素往往与价格成正比,直接决定了房屋的价格;2、房屋装修情况。房屋的整体材料、房屋材料的质量、原施工日期、改造日期都是影响美国房价的重要因素,尤其是房屋的整体材料对房价的影响最大;3、房屋配套设施。高档全浴室数、地下室全浴室数、总房间数和花园墙透光性也可作为主要的考虑因素。

关键词： 机器学习   XGBoost   股指预测  

摘要： 随着大数据时代的到来,相对于传统数据处理方法,机器学习的优势日益凸显.尤其是在人工智能领域取得了巨大的成就后,学者和业界都掀起了机器学习的热潮.针对股票交易速度快、 交易频繁以及交易量大等特征,本文利用机器学习方法构建了股指预测模型,以沪深300指数日频数据为研究对象,以其开盘价、 最高价、 最低价、 收盘价、成交量为基础,建立10个技术面指标作为输入特征,下一交易日股指价格变动方向作为输出特征,对比分析了SVM、 随机森林和XGBoost3个机器学习方法对股指价格变动方向的预测能力.研究表明,三种机器学习方法均具有良好的预测效果,且XGBoost模型的预测性能优于SVM模型和随机森林.

关键词： 海上气田开采   天然气水合物   机器学习   地球物理   测井资料   储层预测  

摘要： 天然气水合物是一种具有储量大、分布广、无污染等特点的新能源。据研究者估计，天然气水合物至少可以被人类使用100年，被认为是21世纪潜在的替代能源。然而，天然气水合物同时也是一种自然灾害，会破坏海底的稳定性，如滑坡，改变全球气候和造成深海工程的灾害。因而很多国家和政府投入了许多资源进行天然气水合物的研究，并取得了一定的研究成果。　　当前，随着互联网大数据的发展，人工智能算法逐渐发展到自动学习数据特征和挖掘大数据隐藏的信息，其结果与人工结果几乎毫无差别。机器学习是人工智能的核心算法，而支持向量机模型是机器学习算法中典型代表。支持向量机具有严格的理论和数学基础，保证模型具有良好的泛化能力和全局最优性。　　天然气水合物在一定温度和压力条件下才能稳定存在，外界环境的变化会使天然气水合物发生分解。因而，天然气水合物的相平衡研究是天然气水合物勘探、开发、灾害评估和环境保护的基础问题。本文利用不同条件下（气体组分、离子浓度和有机醇类）的天然气水合物形成的相平衡数据，训练支持向量机模型，并用于预测不同条件下的天然气水合物形成条件。结果分析表明，支持向量机模型预测的天然气水合物相平衡条件与实验数据高度吻合。　　本文利用南海北部的气体组分、热流、热导率等数据，结合支持向量机模型，计算得到南海北部的水合物稳定带厚度，并与水合物钻井和地震资料对比。基于支持向量机模型计算南海北部的天然气水合物稳定带厚度与钻井和地震资料揭示的结果基本一致。最后，利用天然气水合物测井资料和支持向量机模型，预测储层的水合物饱和度。

关键词： Information technology   Health care management   Operations research   Artificial intelligence  

摘要： Emergency medical services (EMS); commonly referred to as ambulance, paramedic or pre-hospital emergency services, are a critical component in the delivery of urgent medical care to communities. EMS agencies, the organizations responsible for providing out-of-hospital acute medical care to the population of a specific service area, are confronted with the evolving task of effectively allocating the ambulances and medical personnel required to provide sufficient geographic coverage while minimizing response times to high-priority call requests. To meet this challenge, EMS practitioners and researchers have investigated the effectiveness of using various forecasting techniques for predicting future call volumes and demand densities. In this study, a forecasting methodology is proposed for producing spatiotemporal call volume predictions at a degree of granularity in time and space that is practical and actionable. A series of daily, hourly, and spatially distributed hourly call volume predictions are generated using a multi-layer perceptron (MLP) artificial neural network model following feature selection using an ensemble-based decision tree model. For spatially distributed predictions, K-Means clustering is applied to produce heterogeneous spatial clusters based on call location and associated call volume densities. The predictive performance of the MLP model is benchmarked against both a selection of traditional time-series forecasting techniques and a common industry method. Results show that MLP models outperform time-series and industry forecasting methods, particularly at finer levels of spatial granularity where the need for more accurate call volumes forecasts is more essential.

关键词： 玄武岩   流体作用   地球化学特征   机器学习  

摘要： 中国东北地区广泛出露新生代玄武岩，对于其成因，特别是其形成过程中的流体作用目前仍然存在争议。争议的焦点主要集中在两个方面，即是否有流体作用以及流体的来源。　　前人的研究通常根据一种或几种特定的传统地球化学指标来探究中国东北部新生代玄武岩的成因，对于流体作用分别得出了不同的结论。因此，需要开拓出一种新方法对岩石的地球化学成分进行更加综合性的研究。　　本文首先通过机器学习的方法，包括随机森林和深度神经网络两种方法，训练机器学习的模型。训练模型所用的数据来自GEOROC地球化学数据库中的全球岛弧玄武岩和洋岛玄武岩。然后通过随机森林方法和主成分分析方法提取了全球岛弧和洋岛玄武岩的主要地球化学特征，发现他们最主要的区别是由于受到了俯冲流体相反的作用方式造成的，岛弧玄武岩富集高度活跃的元素Ba、Sr和K2O，洋岛玄武岩富集不活跃元素Nb、Ta和TiO2。因此，用岛弧玄武岩和洋岛玄武岩训练的机器学习模型能够告诉本文玄武岩样本在形成时是如何受到俯冲流体作用影响的。　　利用上述机器学习模型对中国东北部新生代玄武岩成因进行了预测，获得了玄武岩形成过程中流体影响程度的指标，然后将该指标的结果与地震学层析成像和地球化学分析的结果进行了对比，获得了中国东北部新生代玄武岩形成过程中流体作用情况及主要影响因素。本文发现，中国东北部新生代玄武岩根据指标可以分为两组:镜泊湖、龙岗、长白山、五大连池、双辽、赤峰和诺敏河较强地受到了滞留板片释放流体的影响，并且距离太平洋板块边界越远，影响程度越小;柴河-阿尔山、阿巴嘎和哈拉哈受滞留板片释放流体的影响较小。两组地区之间的边界与层析成像最新获得的现今滞留太平洋板块西边界基本一致，与镁同位素限定的地球化学边界基本吻合。这些研究结果表明，俯冲流体对中国东北部新生代玄武岩的形成产生的影响主要受控于滞留太平洋板片，而不是下沉的伊支那岐板块诱发的地幔柱。　　本论文的研究成果展示了机器学习方法可以作为处理高维地球化学数据的有效工具，有助于对地质过程的研究。

关键词： Statistics  

摘要： Machine learning has become widely used in many applications, due to its model flexibility and robustness. In this thesis, we study and develop three different machine learning methods that can be used in uncertainty estimation and decision-making. In Chapter 1, we develop a nonparametric variable selection procedure to select for variables that impact clinical treatment decisions. Variable selection research has largely focused on selecting variables that are important for prediction, and less attention has been paid to identifying variables that are important for decision making. Our approach is based on a hypothesis testing view applied to the regret function of different models. We demonstrate the use of this approach as an example using Gaussian process regression together with backward elimination. The performance of our method is evaluated in simulation studies and an application with AIDS Clinical Trial Group Study. In Chapter 2, we develop a model agnostic framework to estimate the conditional distribution of a response variable given a set of predictor variables. Our approach transforms a conditional distribution estimation problem into a constrained multi-class classification problem, in which tools such as deep neural networks can be *** propose a novel joint binary cross-entropy loss function to accomplish this goal. We demonstrate its performance in various simulation studies comparing to state-of-the-art competing methods. Additionally, our method shows improved accuracy in a probabilistic solar energy forecasting problem. In Chapter 3, we utilize the function approximation property of neural network models to directly estimate the conditional cumulative distribution function, and thus achieve accurate conditional distribution *** propose novel neural network structures and monotonic constraints to ensure the estimated distribution function is *** also reduce computation burden by an adaptive training *** evaluate the p

关键词： 彩票   特征选择   机器学习   ROC曲线  

摘要： 彩票是国家为筹集社会公益基金,促进社会公益事业发展而特许发行、依法销售,自然人自愿购买,并按照特定规则获得中奖机会的一种凭证。其中比较主流的彩票有体育彩票、福利彩票等。彩票行业的参与者包括彩票的监督机构、管理机构、发行机构、销售点、服务机构和购买彩票的大众群体等。为保障彩票行业健康稳定的运行以及发行机构和彩民的切身利益,营造良好的社会环境,及时检测出有异常情况的彩票终端机具有十分重要的意义。早期彩票销售点较少、工作人员较多,专业技术人员可以通过经验方法检测出异常终端机。但随着销售点的激增和自助售票机的试用,传统的人工检测方法已满足不了彩票行业的需求,需要既智能又高效的方法对异常终端机进行检测。故本文从彩票终端机日志数据出发,利用基于机器学习的方法实现了对异常终端机的自动检测。本文选取某彩票终端机的日志文件,通过对日志数据研读、数据清洗、特征提取之后利用KNN、Logistic Regression、随机森林和Adaboost四种机器学习分类模型进行终端机异常检测,结果表明随机森林和Adaboost两种集成模型检测准确率较高。最后利用ROC曲线对随机森林和Adaboost两种模型进行评估,结果表明Adaboost模型分类效果更加显著,AUC值达0.89。整个过程通过python语言编码完成。

关键词： 非编码RNA-蛋白质相互作用   卷积自编码器   随机森林   极端梯度增强算法   LightGBM  

摘要： 非编码RNA(noncoding RNA,ncRNA)在许多生命过程中扮演着重要角色,例如RNA加工修饰、病毒复制、人类疾病等,通常ncRNA通过与蛋白质发生相互作用行使功能,所以研究ncRNA功能的关键一步是确定非编码RNA-蛋白质的相互作用(noncoding RNA-protein interactions,ncRPI)。目前,实验的方法确定ncRPI价格昂贵且耗时,因此本研究提出一种计算的方法,从ncRNA和蛋白质的序列提取特征,训练四层的卷积自编码器做特征预处理,不但降低原始数据的维度,而且能够挖掘数据间的隐含信息,提高预测的准确率。运用网格搜索法训练三个机器学习模型,随机森林(Random Forest,RF)、极端梯度增强算法(Extreme Gradient Boosting,XGBoost))和Light GBM来预测ncRNA与蛋白质的相互作用,实验结果表明三个模型在RPI369与RPI488两个小规模数据集都达到了较高的预测准确率,在RPI369数据集三个模型的预测准确率分别为0.791(RF),0.791(XGBoost)和0.757(Light GBM),在RPI488数据集三个模型的预测准确率分别为0.908(RF),0.918(XGBoost)和0.918(Light GBM);三个模型在RPI1807、RPI2241、RPI13254三个大数据集也取得了较高的AUC(Area Under Curve)值,在RPI1807三个模型的AUC值均为0.99,在RPI2241三个模型最低AUC值为0.87,在RPI13254三个模型最低AUC值为0.81,都表现出有效的预测准确性,能够较准确地预测ncRPI。因此,该方法能够预测ncRNA与蛋白质是否存在相互作用,可用于二者相互作用预测的研究。