关键词： 近地面臭氧   机器学习算法   交叉验证   时空分布  

摘要： 近地面臭氧由于其较强的氧化性,会对人群健康、农业生产和生态系统产生损害,需要长时间尺度、全国规模、高精度、高时空分辨率的臭氧数据产品作为优化环境风险评估和管理的支撑。目前我国臭氧地面监测数据的时空覆盖度不足,化学传输模式模拟结果的不确定性较大,而统计模型方法尤其是机器学习方法不依赖排放清单数据,建模采用的监测数据、气象观测数据、土地利用数据等更易于获取,预测精度更高,更契合本研究的目的,但该方法在国内的应用目前仍然较少。近地面臭氧浓度与气象参数等因素存在较强的关联,且针对PM2.5、NO2等大气污染物浓度的统计模型取得了良好的效果,因此基于上述数据将利用统计模型开展臭氧浓度估算研究从城市区域尺度扩展到全国尺度在技术上是基本可行的。在以预测精度为首要考虑因素,兼顾模型运行速度和可解释性的条件下,机器学习方法中的XGBoost模型更加适用于本研究。因此,本研究的目的在于利用我国地面监测数据,结合气象资料、化学传输模式模拟数据和土地利用数据等资料,基于XGBoost算法开发统计模型,从而估算我国长时间尺度、高时空分辨率的O3浓度时空分布状况,并探究我国O3浓度时空变化的关联因素。本研究充分借鉴国内外研究的经验,基于“八大综合经济区”的区划方法,在各区域分别建立单年份模型和以时间外推能力为目标的模型,并对模型表现进行了评估,最终基于模型预测的结果进行了统计分析。主要的研究结论如下:(1)将化学传输模式模拟数据作为协变量纳入XGBoost模型,以十折交叉验证为模型评估方法,可以建立具备较高预测精度的单年份模型。通过将大气化学传输模式模拟结果纳入作为协变量而不是构建因变量对于模型精度和准确度的提升均有一定的作用。不同季节和区域的模型表现存在差异,秋季的效果也相对较好,北部沿海和南部沿海经济区的效果较好。(2)将化学传输模式模拟数据作为协变量纳入XGBoost模型,以年际交叉验证为模型评估方法,可以建立具备较高时间外推性能的模型。依据时间外推的结果,本研究构建的模型不会随时间间隔的增加产生预测精度上的明显下降,间接的证据也表明也适用于全国范围的预测,具有较好的平稳性和可靠性。将化学传输模式模拟结果纳入作为协变量对于提高模型时间外推的能力具有一定的帮助,一定程度上可以减少过度拟合的情况。另外,尽管采用月均值直接建模的方式可以节约时间和计算量,但在采用同样指标对比的情况下最终效果不如直接采用逐日浓度建模,而且也无法提供更为精细时间分辨率的信息。(3)在长期空间分布上,华北地区、江浙沪地区、珠三角、四川盆地、河南地区和东北地区属于污染较为严重的地区。其中,江浙沪地区、珠三角地区大部分季节污染都较为严重,而华北地区、东北地区具有明显的季节污染特征,冬季的平均浓度较低。在长期时间变化上,我国大部分地区的臭氧浓度都呈现上升的趋势,臭氧污染正在恶化和蔓延。在年内浓度变化方面,除少部分地区外,我国整体在5月到8月浓度较高,而在1月和12月浓度较低。北部沿海地区的年内幅度变化最大。在相关因素方面,日最高温度和日照时数是预测臭氧浓度最重要的两个气象参数,同时,横纵坐标和年积日在模型的重要性体现了模型中还存在着未被其他变量所解释的时空异质性。

关键词： Remote sensing   evapotranspiration   machine learning   vegetation index  

摘要： The studies in this dissertation present evaluation of and improvement to parametric and machine learning regression methods for estimating evapotranspiration from remote sensing. It includes three main parts. The first part is an assessment of parametric regression methods for obtaining evapotranspiration from vegetation index and other variables. It was found that including more variables tends to improve results, but the form of the regression formula does not make a large difference. Algorithm performance is not as good for wetland and agricultural sites as for other land cover types. Re-training of algorithms for those surface type results in some improvement. The second part consists of an evaluation of ten machine learning techniques for retrieval of evapotranspiration from surface radiation and several other variables. It is found that the best results are obtainable using all available input variables to train the bootstrap aggregation tree, random kernel, and two- and three- hidden layer neural network algorithms. Performance is again found to be weaker for wetland and agricultural surface types than for other surface types. However, separate training of the machine learning algorithms with data from those surface types does not significantly improve performance. The third part consists of further refinement to the machine learning algorithms and application of the bootstrap aggregation tree method to generate evapotranspiration maps of the continental United States for 2012. It is found that separating snow and non-snow data points improves performance. Performance for all tested algorithms was similar against the validation data set, but best for the bootstrap aggregation tree using an independent test data set. Monthly mean maps of the continental United States are generated for the drought year 2012 using the bootstrap aggregation tree. Evapotranspiration levels are lower than those shown in comparison data sets for the growing season in the eastern Un

关键词： 公路货运量   预测   机器学习   Stacking方法   降噪自编码方法  

摘要： 随着中国经济的飞速发展,城市间的联系变得愈加密切,货运行业市场变得越来越大。公路货运作为我国目前最主要的货物运输方式,运用有效的方法准确预测公路货物运量,能够帮助改善城市交通状况、提高运输效率以及促进合理调配资源。首先对国内外公路货运量预测和机器学习的研究现状进行分析和总结,结果表明在预测货运量的研究中,使用机器学习方法比使用传统方法更具有优势。然后通过定性分析方法,综合从各个方面考虑,确定了在预测建模中使用的公路货运量影响因素。同时对传统的公路货运量预测方法和机器学习方法从理论上进行了对比分析:由于城市公路货运量预测研究中相关影响因素之间存在复杂的相关性,以及统计数据中的异常值等原因,导致传统预测模型表现欠佳,将机器学习方法引入预测研究可以提高预测的精度。近年来对机器学习的深入研究表明,深度学习领域和集成学习领域的新型机器学习方法拥有更广的适用范围,且模型预测精度相比传统机器学习方法更好。本文采用了两种新型的机器学习方法进行城市公路货运量的预测,分别是集成学习领域的Stacking方法、深度学习领域的降噪自编码方法。降噪自编码降低了传统BP神经网络模型在训练中的遇到局部极值与梯度弥散的风险。此外在自编码结构训练中加入的随机噪声,可以提高公路货运预测网络的鲁棒性和泛化能力,不易出现过拟合。Stacking相比其他集成学习算法,能选择对解决具体问题已经拥有良好性能的模型作为初级学习器,从而提高了模型训练的效率;通过交叉验证的方法构造次级训练集能使得最终生成的模型具有更高的预测精度。以深圳市公路货运量预测作为实例进行了应用研究,依照上两种机器学习方法进行建模进行预测,同时以传统方法的预测结果作对比,验证新型机器学习方法的可行性和有效性,结果表明降噪自编码模型和Stacking精度良好,均优于传统预测方法。其中Stacking在预测精度和构建模型的效率方面更优秀,可运用于城市公路货运量的预测工作。本文提出两种新型机器学习方法可为其他地区的货运量预测研究提供参考与借鉴。

关键词： 一类支持向量机   孤独森林   连续约束玻尔兹曼机   局部特异因子   地球化学异常   ROC曲线   AUC值   约登指数  

摘要： 当代的矿产资源预测与定量评价是复杂高维非线性系统的建模与评价过程,通过提取和识别地质、地球物理、地球化学及遥感等多源地学观测数据中的特异信息,并以此为依据预测矿产资源的空间分布规律。单一信息来源为依据的找矿模型存在局限性,只有通过将多种来源的观测数据进行全方位的分析与综合,才能更好的完成矿产资源勘查与定量评价工作。水系沉积物测量是区域勘查地球化学研究的重要数据源,对于寻找近地表的浅隐伏的矿产资源十分有效。本文以吉林省和龙地区为实验研究区,在Sklearn的Python语言代码基础上,开发了基于一类支持向量机、孤独森林、连续约束玻尔兹曼机和局部特异因子法的多元地球化学异常识别方法程序,从1:5万水系沉积物测量数据中提取多元地球化学异常。把实验区已知矿床和矿点的空间分布位置作为“地真”数据,对多元地球化学异常识别结果进行了ROC曲线分析,绘制了四种机器学习算法多元地球化学异常识别结果的ROC曲线并计算AUC值,用来对比四种方法的多元地球化学异常识别效果。以便更好的分析基于机器学习理论的几种方法对于多元地球化学异常识别的应用存在的差异和适用范围。研究结果表明:(1)四种机器学习算法都能够有效识别多元地球化学异常,所提取的多元地球化学异常与已知矿点具有显著的空间关联性;(2)在数据处理耗时方面孤独森林算法最优,其次是一类支持向量机,耗时最长的是连续约束玻尔兹曼机;(3)四种机器学习方法中,多元地球化学异常识别效果最好的是连续约束玻尔兹曼机,其次是一类支持向量机,最差的方法是局部特异因子方法。

关键词： Logistic回归   支持向量机   随机森林   财务舞弊  

摘要： 上市公司公开发布的财务报表是使投资者了解其公司规模、经营状况、盈利潜力等综合水平并做出相关投资决策的最主要依据。过去人们认为,数据是最具有说服力的,而且如果财务报表中的数据出了差错,很容易通过较为简单的计算来发现,因而对财务报表给予了极大的信任。然而,随着市场经济的开放和现代技术手段的发展,一些上市公司为牟取私利而对财务报表进行舞弊,且舞弊手段日渐隐蔽,有时很难被及时发现,其潜在危害十分巨大。因此,亟需有效的方法来预测财务舞弊。本文旨在通过建立数学模型,针对上市公司公布的某年度财务报表数据进行分析,根据模型预测结果判断其是否存在舞弊现象。通过查阅近年来的相关文献发现,国外对财务报表的研究主要关注公司破产和公司财务危机等问题,国内研究主要关注上市公司是否会被特别处理(ST)及其是否会出现财务困境,而对财务舞弊预测的相关研究较少,因此本文对财务舞弊预测进行一定的研究和分析是很有意义的。本文将机器学习方法应用到财务舞弊的预测中。机器学习既可以自上而下的验证或反驳假设,又可以自下而上的从数据中得出无假设的结论。因此,本文采用机器学习方法分别建立了三种模型:Logistic回归模型,支持向量机(SVM)模型,以及随机森林(RF)模型。Logistic回归模型在发现隐藏的数据信息方面应用广泛,以往的研究也证明其具有良好的效果,本文以此为基础进行讨论,并对模型做出了一些改进。由于财务报表是否舞弊是一个典型的分类问题,因此采用机器学习中分类和预测更加准确的算法可能会取得更好的效果。由于获取的样本量有限,而样本维数较高,并且恰为经典的二分类问题,于是处理具有这些特性数据的支持向量机模型成为了一个很好的选择。随即,由二分类自然地联想到二叉树,从而对各个决策树分类器拟合集成效果较好的随机森林模型也成为了本文的选择。由于财务报表舞弊手段存在变化,模型若能随着时间的推移添加或删除变量以及自动选择变量,则能够更加有效地识别上市公司进行舞弊的财务报表。因此,对于每个模型,本文都利用交叉验证对参数进行选择,从而对模型进行了优化。根据2013-2018年间在证监会及其下属证监局官方网站上公布的被公开行政处罚的公司名单,本文收集了舞弊公司在不同舞弊年度的财务报表数据及相应年度非舞弊上市公司的财务报表数据。所获取数据中的一部分用来建立模型,另一部分用来检测模型。由于舞弊公司在上市公司总体中的数量相对较少,本文采用不同的数据处理方法,分别建立了非平衡数据加权模型、过采样模型和欠采样模型。对于模型效果的判断,本文选取了五个指标来进行分析。结果表明,欠采样方法下的支持向量机模型的查全率最高,而欠采样方法下的随机森林模型在其他指标上表现更好,因此本文建议在基于支持向量机模型对公司是否舞弊进行预测时,结合随机森林模型进行综合考虑。最后,对模型的应用进行拓展,用模型选择出舞弊概率较大的公司,并将其从股票池中剔除,回测结果表明投资组合的收益将得到提高,表明本文的研究具有很好的应用价值。

关键词： Bladder cancer   Convolutional neural network   Histology   Invasive   Probailistic neural network   Tumor-node-metastasis  

摘要： Recently, deep learning techniques from the computer science field have dramatically improved the ability of computers to recognize objects in images. This raised the possibility of fully automated computer-aided diagnosis in the medical field. Among all the machine learning models, convolutional neural network (CNN) is one of the most studied and validated artificial neural networks in image recognition. Not only that it has great performance, but the design of most modern CNN hidden layers also allows the model to extract meaningful features without the needs of prior knowledge. Thus, the pathology community is showing increasing interests in comparing CNN to human judgments. As demonstrated in a number of studies reporting various image analysis models that can accurately localize and characterize cells into different cell types and predict patient outcome, the pathological field is incorporating artificial intelligence technologies into their diagnosis. Although using the deep neural network on recognizing pathological slides is not a new idea and is showing promising results, its requirement of a large quantity of data for training can be a big obstacle for many unpopular histopathological cases. In the bladder cancer field, the Tumor-Node-Metastasis (TNM) system defines T1 bladder cancer as the invasion of tumor cells into the lamina propria (LP). However, pathologists often struggle to confirm LP and/or muscularis mucosae invasion using hematoxylin & eosin (H&E) stains from bladder biopsies. Accurately reporting the presence of tumor invasion, which is associated with worse clinical outcomes, is critical for adequate patient management. In this thesis, we have developed various traditional machine learning models and compared their performances to 2 convolutional neural networks (CNN), VGG16 and VGG19, on histology image classification in distinguishing non-invasive versus invasive bladder tumors. By using approximately 1,200 H&E images from non-invasive and

摘要： Germline mutations in many genes have been shown to increase the risk of developing cancer, and numerous statistical models have been developed to predict genetic susceptibility to cancer. Mendelian models predict risk by using family histories with estimated cancer penetrances (age- and sex-specific risk of cancer given the genotype of the mutations) and mutation prevalences. This dissertation is focused on using statistical and machine learning tools to improve Mendelian risk prediction models, as well as exploring assumptions in these models. Mendelian models assume conditional independence between families members' cancer ages given the genotype and sex. However, this assumption is often violated due to residual risk heterogeneity even after accounting for the mutations in the model. In chapter 1, we aim to account for this heterogeneity by incorporating a frailty model that contains a family-specific frailty vector, impacting the cancer hazard function. We apply the proposed approach to directly improve breast cancer prediction in BRCAPRO, a Mendelian model that accounts for inherited mutations in the BRCA1 and BRCA2 genes to predict breast and ovarian cancer. We evaluate the proposed model's performance in simulations and real data from the Cancer Genetics Network and show improvements in model calibration and discrimination. We also discuss other approaches for incorporating frailties and their strengths and limitations. In chapter 2, we continue to explore this assumption by determining the extent and sources of the heterogeneity across and within families. We quantify the heterogeneity by evaluating the ratio between the number of observed cancer cases in a family and the number of expected cases under a model where risk is assumed to be the same across families. We perform this analysis for both carriers and non-carriers in each family and visualize the results. We then introduce frailty models as a method to generatively mimic risk heterogeneity, and use

关键词： 流场诊断   机器学习   流场聚类   渗流场表征   渗流场评价  

摘要： 水驱开发作为主要的油藏提高采收率手段,具有极其广泛的应用。然而目前大部分油藏历经长期水驱开发后剩余油分布杂乱且分散,难以有效认识水驱油藏动用规律,导致渗流场调整难度大,影响水驱开发效率。国内学者通过确定渗流场影响参数对渗流场进行表征与评价,为渗流场调整决策提供支撑,然而其方法主观性较强。国外学者多通过流线模拟等方法优化水驱油藏注水制度,但其方法在复杂地质条件下方法收敛性较差。因此,本文以GX1Q1复杂断块油藏为例,通过稳健的数学方法对渗流场进行表征和评价,为复杂渗流场调整决策提供合理支撑,提高高含水油藏水驱动用程度。本文提出了一套用于水驱复杂油藏的渗流场表征及评价方法,学位论文内容如下:(1)针对多井且生产历史较长的渗流场,依据数值模拟结果中网格节点间流体流量交换量,通过MATLAB的开源工具箱中的流场诊断算法计算渗流场传播时间分布,依据任意井传播时间大小划分网格的归属的注入井与采出井,并划分注采井控制范围,便于对复杂渗流场进行可视化表征。依据传播时间大小对控制范围内网格节点排序,并作流动能力-储集能力诊断图,通过洛伦兹指数及非均质流动指数评价该局部渗流场流动非均质性。综合考虑流动非均质性及可动油储量评价注入井驱油潜能,为流场调整提供依据。注入井驱油潜能评价可基于单一射孔段进行,为渗流场精细化方案调整提供理论支撑。(2)以空间位置,流量大小及油水体积比作为特征,通过密度峰值聚类算法选择合理聚类数,并对网格节点进行流场聚类,以聚类算法将聚类结果作为具有不同驱油能力的渗流场,评价局部渗流场开发潜能,识别无效注水循环或开发潜力区域,为渗流场提供宏观调整的依据。(3)拟合采出井历史生产数据,建立机器学习模型,捕捉可能存在的任意采出井采油量同历史数据关系。方法以采出井日采油量及注入井日注水量作为输入数据,预测采出井未来日采油量,首先通过向量自回归算法建模注采井间及采出井间历史流量关系,并通过正则化系数提高模型泛化性能。通过2017年5月前数据预测2017年5月至2018年3月采出井采油量,精度可达86.92%,且预测可进行不确定性分析,确保预测结果的安全性与准确性。方法可对复杂数据关系建模,精度高,计算时间短,并可通过模型模拟注水井增注效果评价注水井采油贡献量,在数值模拟拟合难度较大时保证评价方法稳健性。(4)通过 Technique for Order Preference by Similarity to an Ideal Solution(TOPSIS)综合评价方法对流场诊断及机器学习评价结果进行综合评价,由于两者基于不同假设,且评价结果相近,因此均是有效评价方法,将其进行综合评价可提升评价准确性。通过渗流场调整算法将流场诊断,机器学习及流场聚类模块评价结果进行结合,依据综合评价结果进行注水调整,数值模拟采收率在2年内提升0.3112%,产油量多出34770m3,表明通过评价结果对渗流场进行调整可有效提高水驱能力。最终,通过MATLAB编程语言实现流场聚类及流场诊断功能,并通过Python编程语言实现机器学习模块功能,保证算法实用性与便捷性。通过软件的评价结果可为渗流场综合调整提供理论支撑,并进一步提升复杂高含水油藏水驱效率与动用程度。

关键词： 软件缺陷预测   EasyEnsemble   集成学习   缺陷预测排序   递归特征消除  

摘要： 随着软件的规模及复杂性的日益增加,软件测试成本开销日益增大。因此对软件缺陷进行有效预测,使可能包含缺陷的软件模块得到优先测试,从而降低测试成本开销,具有重大的现实意义。在此背景下,论文根据软件缺陷预测的两大目标,即软件模块是否有缺陷的概率,以及可能包含缺陷软件模块的排序,展开了对软件模块缺陷分类预测和软件模块缺陷排序预测的研究工作。具体工作如下:软件缺陷数据集中的大部分软件模块是无缺陷的软件模块,因此缺陷数据集是分类不平衡数据集。论文针对分类不平衡问题,研究了已有的不平衡处理方法,深入分析了SMOTE方法、ADASYN方法、EasyEnsemble方法和BalanceCascade等方法的核心过程。最后,论文在多种不同的数据集上进行了充分的实验,发现EasyEnsemble采样方法效果最佳。软件缺陷分类预测分为两类,即预测有缺陷和预测无缺陷。论文在进行缺陷预测分类工作时,论文首先研究了当前流行的集成学习方法,包括Bagging和Boosting方法;然后研究了多种基于Bagging的集成学习方法和多种基于Boosting的集成学习方法;随后,论文利用Stacking策略将多种集成学习方法融合在一块,构建了一个新的模型;最后,论文针对多种不同数据集设计了充分的实验。实验结果表明,基于Stacking的集成学习模型能够有效提高模型分类预测能力。论文通过模型预测软件模块的缺陷数目,然后依据数目对其进行排序。论文在预测缺陷数目时,首先,将递归特征消除算法作为特征选择方法;然后,利用Lasso回归和岭回归对递归特征选择算法进行改进;最后,利用回归模型进行缺陷预测排序。实验结果表明,改进的递归特征消除算法能够提高缺陷预测排序能力。

关键词： 强子量能器   能量重建   梯度提升决策树   多层感知机   机器学习方法  

摘要： 2012年欧洲核子中心（CERN）宣布在大型强子对撞机（LHC）上发现了希格斯玻色子（Higgs Boson）。随后,国际高能物理学界提出了利用轻子对撞机作为希格斯粒子工厂的方案:这些方案包括中国科学家提出的正负环形电子对撞机（CEPC）,欧洲核子研究中心提出的未来环形对撞机（FCC-ee）,以及日本主导的国际直线对撞机（ILC）等。基于希格斯粒子强子衰变末态高精度能量分辨的要求,传统的强子量能器方案将无法完全满足未来对撞机实验探测器的性能指标。为了预研和开发新的量能器技术,国际量能器合作组CALICE在过去十多年来提出了多种基于粒子流算法的高颗粒度电磁和强子量能器方案。并建造了原理样机进行束流测试和性能研究。本文利用CALICE合作组提出的半数字化强子量能器（SDHCAL）原理样机作为模版,用蒙特卡洛模拟方法产生大量π-介子数据来研究强子量能器能量重建的线性度和分辨率。强子能量重建通常采用一种基于强子量能器中粒子击中数的最小化χ2的方法,重建后的强子能量线性度约为3～4%。本文主要引入两种机器学习方法做强子能量重建,包括多层感知机（MLP）和梯度提升决策树（BDTG）。为了提高强子能量重建效果,机器学习方法训练时逐一添加了强子簇射相关的变量,譬如强子簇射开始的探测器层,击中团数,被击穿的探测器层数,击中密度,簇射产生的径迹数,径迹和击中点的平均距离等。测试样本的分析结果显示两种机器学习方法在能量线性度方面有显著提升,较传统χ2方法在线性度方面从3～4%提升到1～2%。能量分辨率则没有很大的提升,原因在于能量分辨率主要是由强子量能器灵敏层的取样率决定的。根据上述的研究结果,两种机器学习方法均可以考虑作为强子量能器的能量重建方法。