摘要： When making a decision about whether a particular treatment is beneficial for a patient, the only published information available is based on the average effects across many subjects reported in a clinical trial research. Doctors and patients alike would like to move toward a promising future of treatment in which decisions can be improved via patient's personalized information such as demographics, medical history, and lab test results. However, this is a challenging causal inference problem, known as individual treatment effect (ITE) estimation. While many methods have been recently developed to predict individual treatment effects from clinical trial data, a standardized and comprehensive evaluation framework is urgent *** this study, we develop a new pipeline for training and evaluating ITE models with two useful new features. First, we apply nested cross validation to allow flexible and effective hyperparameter tuning while producing non-contaminated estimates of heldout model performance even on small trials datasets. Second, we use multiple performance metrics to assess both a model's ability to predict outcome and treatment effect accurately and the calibration of their *** demonstrate the application of our new pipeline in a case study of results from a randomized trial(Diabetes prevention program) in which lifestyle interventions and metformin treatment were considered to avoid the onset of diabetes. In this case study, we find that when properly compared, more flexible prediction models designed specifically for ITE based on causal boosting and causal random forests did not deliver any better ITE predictions than generalized linear models. We hope our work inspires future improved results and ultimately moves the world a little closer to the promise of personalized medicine.

关键词： 机器学习   共享住宿   价格预测   Gradient Boosting模型  

摘要： 机器学习涉及多个领域,涵盖了多门学科知识,属于新兴的交叉学科,统计学、概率论等学科构成了其基础架构,其本质就是在此基础之上,在计算机当中运用这些知识来模拟或者进一步实现人类的学习行为。机器学习在近些年随着互联网技术的迅猛发展而广为人知,但其发展历史并不是如想象中那般短暂,其实早在几十年前机器学习就已经存在,甚至可以追溯到几个世纪之前,机器学习的基础架构就已然得到了构筑。像17世纪产生的最小二乘法的推导,以及马尔可夫链等,这些知识的发现使得机器学习能够在今天得到广泛的应用与研究。而在当今的时代背景下,大数据、人工智能等领域飞速发展,使得机器学习的应用前景也愈加广泛,因此本文即以机器学习为手段,来进行短租房价格预测方面的研究。随着经济社会的不断发展,不断进步,越来越多的经济活动以更新颖的方式走进大众生活,社会也需要更加有效的方式来进行资源配置,共享经济应运而生。从共享经济提出一直发展至今,共享一词几乎涉及了社会生活的方方面面,例如出行、住宿、办公、学习等,而共享住宿随着近些年由国外流入国内,逐渐得到发展,也在中国大地上刮起了一股在线短租的风潮,极大地方便了人们的生活、工作。并且由于其个性化的服务,价格的优势,以及更具人性化的特点,日益成为人们出行的首要选择,中国的共享住宿市场也得到了空前的繁荣与发展。本文以共享住宿房屋价格为研究对象,通过获取阿里天池竞赛当中的共享住宿短租数据,以Airbnb平台在北京市的房源信息为例,研究各因素与价格的相关关系,明确各影响因素的影响程度大小,确定要放入预测模型当中的变量。在本文当中,具体的研究工作主要有三部分,如下:第一部分:共享住宿数据的预处理工作。在这一部分当中本文主要是对于所获得数据进行各项预处理,包括数据清洗(异常值、空值的处理),冗余属性的处理、共享住宿数据当中定性数据的数据变换(独热编码、标签编码、标准化与平滑处理),从而为后面的建模工作提供可以直接使用的数据。第二部分:共享住宿数据的描述性分析。在这一部分当中,本文对于所获得数据进行描述性分析,将所有的属性列分为三个部分,第一部分为本文的研究对象,共享住宿房屋的价格;第二部分是共享住宿房屋的身份识别属性列;第三部分是可能对共享住宿价格有影响的影响因素属性列。本文在这一部分当中所做的主要工作,就是分析第三部分各属性列与研究对象共享住宿房屋价格的相关程度大小,从而确定最终放入模型当中的特征变量。第三部分:共享住宿价格预测的算法模型。这一部分是本文的重点研究部分,在这一部分当中,本文一共使用了四种机器学习算法模型,分别为Gradient Boosting(梯度提升)、XGBoost、Random Forest(随机森林)、Bagging 回归,并对四种模型用模型得分以及均方误差进行评价,最终发现表现最好的是Gradient Boosting模型,预测结果也能够达到研究的预期。通过上述研究,本文期待能够找出表现较好的算法模型,来对共享住宿房屋的价格进行预测,这种预测工作将会对消费者的消费决定提供支持,也会对房东的定价工作提供参考,具有十分重要的现实意义。本文创新使用了机器学习算法模型来对房屋价格进行预测,脱离了传统价格预测的线性回归模型,使之具有更好的预测准确度。同时在本文当中,也进一步对共享住宿房屋价格的影响因素做了探讨,通过各种可视化工具,使结果能够更加清晰的展现在读者眼前。

关键词： Logistics   Data analytics   Uncertainty   Machine learning   Miles per stop prediction  

摘要： Logistic providers have learned to efficiently serve their existing customer bases with optimized routes and transportation resource allocation. The problem arises when there is potential for logistics growth in an emerging market with no previous data. The purpose of this work is to use industry data for previously known and well-documented markets to apply data analytic techniques such as machine learning to investigate the uncertainty in a new market. The thesis looks into machine learning techniques to predict miles per stop given historical data. It mainly focuses on Random Forest Regression Analysis, but concludes that additional techniques, such as Polynomial Regression are promising for this problem. Additionally, data processing and cleansing is implemented on a model different than what is currently being used by the logistic provider. The results indicate that through the use of polynomial regression on pre-processed and cleaned data, a 75% improvement in performance can be achieve in comparison to the baseline established by the logistics provider.

关键词： 蛋白质-配体相互作用   蛋白质-蛋白质相互作用   机器学习方法   错义突变  

摘要： 蛋白质与配体的相互作用对生物体内发生的许多过程有着至关重要的作用,触发多种信号转导过程。改变配体与蛋白质结合的错义突变是导致遗传疾病和耐药性的关键机制。此外,药物靶点上的突变也是产生耐药性的主要原因。目前,Rosetta以及炼金术自由能计算方法被广泛用于预测突变引起的蛋白质-配体结合亲和力的变化,但是效果仍不令人满意,需要在准确性和速度上进一步提高。因此,我们开发了在计算成本和精度之间进行权衡的机器学习方法PremPLI,用于定量估计突变引起的亲和力变化。该方法在来自360个复合物的796个突变上进行训练,由11个对模型有显著贡献的特征构建随机森林回归函数。实验测量值与预测值之间的皮尔森相关系数为0.70,对应的均方根误差为1.08 kcal mol-1。我们在两个基准数据集上对PremPLI与其他可用方法的预测性能进行全面比较,证实了我们的方法运行稳定。PremPLI可以相对准确地估计结合亲和力变化并且区分耐药性突变和易感突变,但所需的计算资源却很少。PremPLI 可从 https://***/research/PremPLI/免费获取。蛋白质-蛋白质相互作用在大多数生物学过程中都是必不可少的。目前有很多定量预测突变对蛋白质-蛋白质结合亲和力影响的计算方法,但它们在识别打破蛋白质-蛋白质相互作用的突变方面精确度有限。这里,我们引入一种新的预测方法PremDPPI,用于鉴别打破蛋白质-蛋白质相互作用的突变。PremDPPI使用随机森林分类函数,由10种基于序列和结构的特征组成。PremDPPI模型在三种交叉验证中表现较好,其中准确率不低于0.90,精确度不低于0.86,且马修斯相关系数不低于0.75。PremPLI和PremDPPI有助于找到功能上的重要突变、识别耐药性突变以及发现潜在的药物靶点。

关键词： SMOTE过采样   逻辑回归   XGBoost   LightGBM   模型融合  

摘要： 随着我国经济的快速发展与居民超前消费理念的产生,借贷成为企业和个人解决经济问题的重要方式。为了鼓励居民消费,国家大力支持发展信贷产业及其他金融服务。随着金融市场的竞争日益激烈,信贷企业等各类金融机构为了增加收益,就会开发出多种类型的金融产品。如果这些金融企业的风险预警未能及时监控落实,就会给其带来不可估量的经济损失。在这种情况下,建立一个科学有效的风险评估模型对信贷业的健康发展显得尤为重要。本文通过构建集成分类模型,帮助信贷平台对客户进行风险评估,识别违约客户,以最大限度地对有可能遭遇的信用风险进行规避。本文主要通过机器学习分类算法对贷款违约客户进行识别分类,首先对原始数据进行数据处理,包括缺失值和异常值的处理及特征预处理。为了降低模型复杂度和提高模型效率,本文引入了递归特征消除法对特征进行筛选。针对数据不均衡的问题,本文采用了SMOTE过采样方法对传统的分类算法做出了改进,提升对少数违约客户的预测效果。其次结合贪心调参和网格搜索算法对逻辑回归模型、随机森林模型、XGBoost模型和LightGBM模型的相关参数进行修正,提高了模型的泛化能力。最后对分类表现较好的模型进行融合,融合结果通过Stacking方式输出,并在不平衡的测试集上进行模型实验,实验结果表明Stacking集成模型对违约客户的识别效果更好。

关键词： 独角兽企业   机器学习   模型融合  

摘要： 近年来,机器学习飞速,作为目前为许多人工智能问题提供解决方法的先进技术,其具体思路为赋予电子计算机像人一样学习知识并处理问题的能力,使机器模仿人类的沟通、交流过程,并在捕捉新的信息或资源的基础上,不断重组升级已具备的知识内容并提高自身性能。作为人工智能的核心,机器学习起源于20世纪初,自从机器学习作为一个相对独立的的研究方向至今,也有40余年的发展历程。在一代代科学家的努力下,机器学习衍生出许多经典的方法,如支持向量机、神经网络等。到了 21世纪,深度学习凭借其在处理海量数据、学习复杂数据方面的优势,目前已被广泛应用于金融、医疗、互联网等一系列领域,为推动社会进步发展起到了重大作用。在风投领域,“独角兽企业”是一个相对较新的概念,通常泛指估值超过10亿美元的初创企业。近年来,独角兽企业的数量与规模以近趋线性的方式快速发展,由2013年全球仅13家增加至2019年的近500家,其中,中国独角兽企业数量超200家,数量与总估值均居世界首位。在当下这个万众创业的时代,独角兽既受到广泛欢迎、被视为社会创新力的表现,又饱受诟病、被认为是估值虚高的标志。许多独角兽企业被捧上高坛,又在一夜之间跌下神坛。因此,独角兽企业如何预警财务危机,并及时进行应对处理,在发生财务危机伊始就加以遏止,值得进一步探讨和深究。同时,相比普通企业,独角兽企业在科技研发方面的大量资金投入与研发创新成果变现的高度不确定性导致其发生财务危机的概率更高。因此,为帮助独角兽企业在面对激烈的市场竞争时应对财务风险、防御财务危机,从而促使企业稳健发展,针对高新技术企业财务危机预警的相关探索至关重要。结合独角兽企业的自身特点,本文选取相应的财务指标进行财务预警分析。以ST(被特别处理)和非ST(正常)独角兽企业2019年的截面数据作为研究样本,在初步处理研究指标后,运用K-S检验、Mann-Whitney U检验等检验方法筛选预警指标,而后通过机器学习中的包装法进行最终的指标筛选,选取了特征筛选的七个指标建立起简约有效的独角兽企业财务危机预警研究体系。本文选择支持向量机、随机森林、神经网络等一系列机器学习研究方法进行初步的模型预测效果分析,进而建立以逻辑回归为次级模型,其他机器学习模型为初级模型的独角兽企业财务危机预警模型。在此过程中,通过smote方法处理不平衡数据集,并通过网格搜索和五折交叉验证的方法改进模型参数。模型的最终结果表明,在各单一模型中,神经网络模型效果最好;在堆叠模型中,SVM-logistic模型效果最优。根据建模过程以及检验结果,发现企业若想规避这类问题,首先,必须要提高盈利能力,其次要格外重视营业净利率和总资产净利率两个财务指标。除此之外,本文得出独角兽企业可以通过SVM-logistic模型进行财务预警分析,如果数据量较小,可以采用神经网络进行财务预警分析的结论。根据研究结论,提出独角兽企业应该着重关注财务风险控制、顺应时势发展、提高科技创新能力和拓宽营运资金来源等一系列相关建议。

关键词： 虚拟云桌面   性能优化分析   机器学习   卡顿检测  

摘要： 随着计算机技术与互联网的发展,计算机的使用已经深入人们工作、生活的方方面面。相比独立计算机,虚拟云桌面拥有成本低、管理方便以及数据安全等众多优势,从而被政府、高校、企业等选用。虽然虚拟云桌面在初始化时可以灵活地为用户配置硬件资源,但是分配策略上还是存在问题。从节约成本的角度考虑,静态分配给用户的资源有可能在某一时间段不能满足用户的要求。而如果根据峰值负载来静态分配资源就会造成资源的严重浪费。所以,只要能正确识别虚拟云桌面用户的卡顿状况再进行硬件资源动态分配就可以提升用户体验以及节约成本。传统的虚拟云桌面优化方法通常作用于底层,如在内存部分,通过引入全局地址空间和逻辑地址空间映射机制来构建高效、可靠的内存资源抽象。传统的方法虽然效果不错,但是由于从底层架构着手,具有成本高、难度大等缺点。本文研究了一种基于应用层的虚拟云桌面卡顿检测方法,通过采集虚拟云桌面的运行时状态信息,经过数据分析和处理后使用机器学习方法训练分类模型,从而对计算机是否处于卡顿状态做出判断。本文从应用层着手,大大降低了经济、人工、时间成本,使得其研究使用范围可以更加广阔。在数据采集阶段,在多台虚拟云桌面上部署了采集程序,采集了CPU、内存、网络等运行时状态信息,然后针对数据的特殊性做特征分析和预处理。在实验阶段,使用了逻辑回归、支持向量机、反向传播神经网络等模型来训练数据。经过多次实验比较,其结果显示反向传播神经网络效果更好,且不管是在测试集中检测以及在实际情况的验证中准确率都较高,可以较好地检测出计算机是否处于卡顿状态。在卡顿模型的基础上,本实验还搭建了一个卡顿检测管理系统,能最大程度上发挥了卡顿检测模型的功能。由于本实验室基于应用层来进行卡顿检测的,因此并不能完美解决虚拟云桌面底层的资源分配问题。如果目标是从根本上对虚拟云桌面进行优化,那么必须要深入底层原理,从内存分配、网络传输以及虚拟化协议方面进行深入研究。此外,本文设计的是一个卡顿检测检测系统,想提升虚拟云桌面的使用体验还需要在取得检测结果后对资源做动态分配。这些都是将来的研究方向。

关键词： 函数型混合效应模型   重尾过程   核函数   FPCA   交通流量数据  

摘要： 本文针对一维的函数型数据提出函数型混合效应模型,并对其进行建模。现实中的数据往往会由于某些原因导致误差从而产生异常值,传统的模型一般都是基于高斯过程的假设,然而当数据中存在异常值的情况时,高斯过程的参数估计结果并不稳健。为了提高推断结果的鲁棒性,本文采用正态尺度混合分布去构造重尾分布,并提出了随机效应项与随机误差项独立的假设,同时使用参数化和非参数化两种方法去刻画重复观测值之间非线性相关性。重尾分布模型是复杂且多层次的,本文采用贝叶斯方法进行参数估计,最后通过详细的数值模拟和英国交通流量数据的实例分析验证了本模型的鲁棒性和高效性。本文的主要研究如下:第一章对函数型混合效应模型的研究背景、研究现状和本文主要工作进行介绍,同时对函数型数据的概念进行描述,并给出了正态尺度混合分布、MCMC以及模型选择的方法介绍。第二章首先介绍了基于高斯过程的函数型混合效应模型GPFR,并基于此提出了基于重尾过程下的HPFR模型。接着,用样条基函数将固定效应项展开,选择非线性的核函数刻画随机效应项的协方差。在随机效应项和随机误差项独立的假定下,设定各参数的共轭先验分布,推导出每个参数的满条件后验分布。对于核函数中的参数,通过隐MCMC的方法更新其参数。然后,本文将此模型推广为分类模型,通过结合分类概率与条件分布提出混合预测的方法,最后对此模型的信息相合性进行了证明。在数值模拟中,本文设计两种不同类型的异常值来检验模型的效果,结果表明:当数据中存在异常值或者错误的分布假设时,HPFR具有更稳健的结果。最后,本文采用英国高速公路交通流量数据进行实例分析,得到了与数值模拟相似的结果,证明了此模型的实用性。第二章提出用非线性核函数来刻画协方差,但是在核函数选择,以及所选择的核函数是否可以有效的刻画数据的非线性结构等方面会出现问题。为了解决这些问题,第三章使用一种基于函数型主成分分析(Functional Principle Components Anal-ysis,FPCA)的数据驱动方法来近似参数化的核函数。接着,依旧假设随机效应项和随机误差项之间相互独立,并在贝叶斯框架下进行参数估计。同时,对Wishart分布中超参数的选择进行详细的讨论。在数值模拟中,本文对包括异常值种类、生成随机效应种类和随机误差项分布种类不同在内的情况,针对随机效应项的扰动模式等,共设计出14种情境,结果表明:先验协方差的选择对参数估计无明显影响。另一方面,本文证明了数据存在异常值以及分布错误假定的情况下HPFR的稳健性。相较于传统的FPCA方法,本章提出的方法更为准确,程序运行速度相比上一章的方法也大大提高。最后,本文使用英国高速公路交通流量数据进行实例分析,通过预测结果证明了我们的结论。第四章对模型的方法、结果等进行总结,并对以后的工作方向进行了展望。

关键词： 光伏发电功率   独立性检验   随机森林   支持向量机   长短期记忆神经网络   遗传算法  

摘要： 随着现代化进程的加快,大规模开采使用化石能源不仅导致能源资源日益稀缺而且伴随大量污染物排放.可再生能源,尤其是有独特优势的太阳能开发受到各国政府的高度重视,但太阳能光伏系统的功率输出受气象因素的影响,存在随机波动性,妨碍电网的正常运行.因此,准确地预测光伏发电功率,可以帮助电力部门做出科学的用电调度和计划安排.基于相关研究,本文提出了一种基于遗传算法优化机器学习模型应用于预测光伏发电的方法,并通过真实案例,将数据划分为不同季节,建立不同季节下的预测模型,并比较了几种不同预测方法在不同季节条件下预测结果与真实值间的误差值,验证了本文所用GA-SVM模型能有效提高光伏发电功率预测的精确度,且在冬季的预测效果最佳.本文的主要研究内容及结果如下:(1)分析气象因素对光伏功率输出的影响.根据已获得的光伏电站历史数据,通过相关系数法和皮尔逊卡方检验等统计方法确定辐照度、温度、湿度是影响光伏功率的主要气象因素.(2)对原始数据存在的缺失和异常等问题进行预处理,并按月份划分为四个季节,分别建立随机森林模型(RF)、支持向量机(SVM)模型和长短期记忆(LSTM)神经网络模型预测测试集的发电功率,同时输出RMSE、MAPE和五折交叉验证的RMSE值,并比较三种模型的预测能力.(3)通过网格搜索法对随机森林模型进行调参,通过遗传算法(GA)优化支持向量机和长短期记忆神经网络参数,建立GA-SVM模型和GA-LSTM模型,最后综合评估四个季节五种模型的预测效果,得出结论:GA-SVM模型对光伏发电功率的预测效果最好以及冬季时模型对光伏发电功率的预测效果比其他季节更好.

关键词： 原油期货价格预测   CEEMDAN   机器学习模型   游程判定法  

摘要： 原油期货作为最重要的能源衍生品,与政治、金融市场的稳定以及人民的生活息息相关。随着改革开放进程的推进,我国越来越重视能源安全的问题。我国原油期货市场自建立以来,不断发展,逐渐并入国际轨道,国际原油期货价格的波动对我国原油市场乃至整个国民经济都有着极大的影响。然而,原油期货价格受众多因素的影响,呈现出高噪音、非平稳以及非线性特征,这使得对原油期货价格的预测难度极大。随着计算机技术的发展,基于机器学习类方法的价格预测逐渐变得流行起来,其在对非线性、非平稳的数据预测上有着显著的优势,成为时间序列预测最主要的方法。近年来,能够充分挖掘序列更深层次信息的时序分解技术逐渐应用到了金融领域。本文采用性能优良的自适应噪声完备集合经验模态分解CEEMDAN技术结合机器学习的方法对原油期货价格进行预测,对我国能源政策的制定以及厂商和投资者的决策有着重要现实意义。本文以1988年-2020年的布伦特原油期货日度收盘价为样本数据,采用分解集成的方法对布伦特原油期货价格进行预测,共分为五部分。导论之后,第一章从原油的定价体系以及原油期货市场的发展进行阐述,并对历史上原油市场的波动原因进行分析,发现原油期货价格受供需、地缘政治等多种因素的影响,存在着较强的非线性、非平稳特征。第二章介绍本文预测中使用的分解集成模型,在对序列进行分解之后,选取了SVM、随机森林、XGboost、BP神经网络以及LSTM网络等模型对序列进行预测。第三章为本文的实证研究部分,在采用CEEMDAN对原油期货价格序列进行分解之后,使用游程判定的方法将本征模态函数重构高频部分以及低频部分,接着采用机器学习类方法对各部分进行预测,将各部分预测结果加总集成作为最终预测结果。最后是本文的结论与展望。本文的实验结果表明,在布伦特原油期货价格的预测上,分解集成方法下模型的预测性能要远高于单一模型,特别是在预测原油期货价格波动方向方面。其中,CEEMDAN-LSTM模型在所有模型中的价格预测误差最低,预测价格波动方向的准确性最高。分解集成方法下,制约着模型预测性能的是对高频部分的预测,各模型在低频以及残余项的预测上,预测误差相差不大,而本文在重构高频部分时先对噪音进行了处理,大大降低了高频部分的预测误差。此外,SVR模型虽然在模型预测误差上表现一般,但是其在预测价格波动方向具有着较好的效果。