关键词： machine learning   causal inference   econometrics  

摘要： We discuss the relevance of the recent machine learning (ML) literature for economics and econometrics. First we discuss the differences in goals, methods, and settings between the ML literature and the traditional econometrics and statistics literatures. Then we discuss some specific methods from the ML literature that we view as important for empirical researchers in economics. These include supervised learning methods for regression and classification, unsupervised learning methods, and matrix completion methods. Finally, we highlight newly developed methods at the intersection of ML and econometrics that typically perform better than either off-the-shelf ML or more traditional econometric methods when applied to particular classes of problems, including causal inference for average treatment effects, optimal policy estimation, and estimation of the counterfactual effect of price changes in consumer choice models.

关键词： Medicine   Computer science  

摘要： Osteoporosis is a prevailing bone disease, which weakens the bone and is one of the major factors of disability, especially in elderly persons. In this thesis, we developed various machine learning models to predict fracture risk of osteoporosis. These models were built to base their predictions on genotype and phenotype data of patients. We performed two different types of analysis: fracture risk prediction (a classification model) and bone mineral density (BMD) prediction (a regression model). For fracture risk prediction we implemented four different algorithms: logistic regression, random forest, gradient boosting, and multi-layer perceptron (MLP) based on different risk factors identified. We performed our experiments using 307 and 1103 Single Nucleotide Polymorphism (SNPs) with data from 5133 patients. For both 307 and 1103 SNPs the performance of MLP was the best with area under curve (AUC) of 0.970 and 0.981 respectively. Logistic regression had the worst performance among four models with AUC of 0.816 and 0.904. For BMD prediction we implemented linear regression, random forest, gradient boosting and MLP and as a performance metric we plotted mean squared error (MSE) versus number of iterations for both train and test set of data. The random forest performed the best in both cases with MSE of 0.004 and linear regression was the worst with MSE of 0.104 in the test data for both sets of SNPs.

关键词： 采样算法   Lévy分布   不平衡学习  

摘要： 采样理论是多个学科的基础理论。通过采样方法,不仅可以获得精确推断不可行条件下的近似解,还可以基于采样方法,加速计算。大数据场景下,采样方法得到更加广泛的应用。数据不平衡问题是机器学习领域的经典问题,基于数据层面的解决思路包括数据过采样和欠采样方法。数据驱动的模型在面临真实场景下的问题时,会遇到更多的数据不平衡问题。本文的主要研究工作如下:研究数据不平衡问题对机器学习中分类模型评估指标的影响,借助可视化手段,通过实验证明分析数据不平衡问题会对模型学习带来负面作用。针对从数据层面解决数据不平衡学习问题的两种思路,过采样方法和欠采样方法,分别从理论分析和对比实验角度证明采样方法的有效性,为后续研究工作打下理论和实验基础。已经有相关研究将演化思想引入采样算法中,并结合Lévy分布提出了自适应的采样算法,本文改进了基于Lévy分布的演化采样算法,通过增加该分布α值的选择,使得候选样本的选取不会局限于极端情况,从而实现更加高效地选择。理论分析和实验表明,改进算法在收敛速率和精度上优于基于高斯分布,柯西分布,对称指数分布的演化采样算法和其他自适应的演化采样算法。针对不平衡数据集上的采样问题,在深入分析基于Lévy分布的过采样方法的基础上,认为样本比例生成函数的选择并不一定必须是Lévy分布,因此提出基于高斯分布和分段分布的数据过采样方法。其核心思想是通过构造类Lévy分布的样本比例生成函数,使得从边界样本合成的新样本密度最大,靠近多数类的样本合成的新样本密度次之,靠近少数类的样本合成的新样本密度最小。因此,该算法可以达到增强分类边界的同时减小噪声生成的目的。通过在多个数据集上的实验,表明所提算法的有效性。

关键词： 乳腺癌   计算机辅诊系统   机器学习方法   深度神经网络   可解释性  

摘要： 乳腺癌疾病诱发因素众多,致死率高,严重危害女性身体健康。超声检测操作简单、无痛无创、无辐射是乳腺肿瘤前期诊断的主要影像学方法。超声检测的数据形式是乳腺超声图像和超声报告,美国放射学会制定的乳腺影像学报告及数据系统BI-RADS对超声报告进行了严格的规范。依据超声数据和医生专业知识的诊断方式主观性强,高度依赖医生个人能力,计算机辅诊系统CAD结合人工智能和医学诊断技术,辅助发现病灶,分类病灶,有助于降低漏诊率和提高医生工作效率。早期的辅诊系统在乳腺超声图像上通过人工或算法提取图像的纹理和形态的特征,组成特征向量,训练机器学习模型。近几年,以“深度神经网络”为代表的深度学习理论逐渐成熟,其表征空间维度高,提取出的特征比人为设定的特征有更强的泛化性能,不断应用在健康和医疗领域。为了探索深度学习在乳腺癌诊断上的应用,本论文在乳腺超声数据集上有针对性的设计了基于CNN的分类器,依据专业医师的标准病灶分割,在训练集准确率ACC为0.7866,验证集为0.8。此外,超声样本天然存在的正负样本不均衡问题,导致相对重要灵敏度偏低,论文试验了两种优化损失函数的方法并取得了良好的效果,验证集上Bias-Loss方法ACC为0.8222,敏感度为0.8667,特异性为0.7556;Am-Loss方法ACC为0.86,灵敏度为0.9565,特异性为0.78,两种方法都有效的提高了准确率和灵敏度。应用深度学习方法来辅助决策,尤其是对医学影像进行辅助诊断时,决策过程和输出结果的可解释性不足,与循证医学理念存在较大的差异。限制了医生和患者对算法的信任度。为了提高模型的可解释性,推进深度学习算法在乳腺肿瘤诊断上的应用,论文在设计诊断系统的同时尝试通过热度图和语义回归两种方法对模型进行可解释的评价,热度图有效的发现了模型关注区域,语义回归帮助发现了模型的重要特征。最后,论文整合上述工作,开发了具有自动分割病灶,分类病灶,可解释描述功能的乳腺超声辅诊系统的客户端程序。

关键词： 不明原发灶的颈淋巴结转移癌   GO通路分析   KEGG通路分析   蛋白互作网络   机器学习   支持向量机  

摘要： 不明原发灶的颈淋巴结转移癌(Metastatic cervical carcinoma from unknown primary,MCCUP)是指在经充分的检查后仍没有任何原发肿瘤的证据的发生在颈淋巴结的转移性疾病,占所有头颈部肿瘤的1-4%。鳞状细胞癌是其主要病理类型,占75%～90%。确定MCCUP的原发部位目前仍是一项挑战,尽管根据头颈部淋巴的区域引流特征,提示MCCUP可能来源头颈部(口咽、喉、舌)或胸部(气管、支气管、肺、食管)。因此,开发一种新的有效的方法来确定MCCUP中的原发部位是非常迫切的。高通量和新一代测序技术的迅速发展使我们对癌症发生发展的分子机制的认识有了更深一步的认识。有高通量研究表明鳞状细胞癌(Squamous cell carcinoma,SCC)具有一定的共同组织学特征和分子标记。这使得鉴定病理类型以鳞状细胞癌为主的MCCUP的原发灶更困难。另一项高通量实验表明食管鳞状细胞癌(Esophageal squamous cell carcinoma,ESCC)与头颈部鳞状细胞癌(Head and neck squamous cell carcinoma,HNSCC)有着很强的相似性,而此两种鳞状细胞癌均为MCCUP的两个重要潜在的原发部位。因此在本研究中,我们通过研究一种新的方法来鉴别这两种鳞状细胞癌来辅助MCCUP的原发灶的诊断。我们从公共数据库下载了食管鳞状细胞癌和头颈部鳞状细胞癌的基因芯片数据集,使用R语言导入这些芯片数据并进行预处理后得到表达谱矩阵,行差异分析得到各个芯片的差异基因,再分别对食管鳞状细胞癌和头颈部鳞状细胞的芯片取交集作为这两种癌症各自的差异基因,然后对这两种鳞状细胞癌的差异基因进行集合运算得到它们的交集和差集(差集代表了这两种鳞状细胞癌的各自特有的差异基因,交集代表了它们的共同差异基因)。我们分别对这两种鳞状细胞癌的共同和各自特有的基因进行了 GO、KEGG通路和蛋白-蛋白相互作用网络(PPI)等分析,最后我们基于HNSCC与ESCC的各自特有差异基因,我们使用随机选择的方法提取特征进行特征选择,分别使用K近邻、随机森林、支持向量机等算法训练模型来预测和判断肿瘤组织类型。我们发现了这两种鳞状细胞癌的共同和各自特有的基因在GO、KEGG通路富集到功能和通路具有很多相同也有一些不同,蛋白-蛋白相互作用网络(PPI)分析亦是如此。基于三种机器学习算法建立的模型,我们使用一个独立的数据集进行验证发现由5个基因组成的支持向量机模型的准确率最高。通过本研究我们探索了食管鳞状细胞癌和头颈部鳞状细胞癌的差异基因不论是在相似度上,还是在所富集的GO功能、KEGG通路和PPI网络上都有诸多相似性同时也存在一些差异。由5个基因组成的支持向量机模型能有效的区分两种鳞状细胞癌,这可能有助于MCCUP患者的精确诊断。

关键词： 网络   入侵检测   机器学习   算法  

摘要： 上世纪末以来,我国的互联网产业发展迅猛,全国网民数量逼近惊人的9亿人。然而,随之带来的网络安全问题也层出不穷。病毒软件损害计算机系统、木马后门篡改主机、垃圾广告和邮件充斥在网络邮箱、分布在全球各地的DDos攻击更是数不胜数。小至个人,大至国家,网络安全问题都是迫切需要解决的问题。在20世纪90年代开始兴起的网络入侵检测技术,近年来成为抵御网络入侵的重要手段,各种规模的NIDS网络入侵检测系统广泛应用于企业和政府中。然而,现有的NIDS却普遍存在误报漏报率高、缺乏准确定位和处理机制、性能普遍不足等问题。近年来兴起的机器学习热潮,为更多传统行业,尤其是互联网行业带来了新的生机,机器学习被探索和应用到更多领域中。基于此研究背景,本文提出在网络入侵检测各个环节中加入机器学习算法的可能性,具体研究内容包括以下三个方面:(1)针对网络入侵检测中数据维度高、处理难度大的问题,将机器学习中的特征工程运用到网络入侵检测的事件采集环节,减少入侵检测数据维度,实验对比各类特征选择方法的特征子集。(2)针对事件检测采用固定规则匹配的现状,在事件分析阶段加入部分经典机器学习分类方法,与特征工程得出的特征子集相结合,实验分析不同特征子集和分类方法在降低运行时间和保证一定范围内检测率方面的效果。(3)对于网络入侵检测误报率高的问题,在事件处理阶段采用聚类方法进行消除误报,实验论证聚类方法在误报消除方面的有效性。综上所述,本文的研究目的是探索将典型的机器学习方法应用在网络入侵检测中的有效性和可行性。研究围绕网络入侵检测的事件采集、事件分析、事件响应三个阶段来展开,依次对应机器学习中的预处理和特征工程、分类方法和聚类方法,每个环节中通过仿真实验来论证所采用方法的效果,为实际应用提供了有益参考。

关键词： 前列腺癌   学习分类器   放射科医生   Gleason 4  

摘要： 摘要目的测试基于移行带(TZ)和外周带(PZ)的影像特征机器学习分类器能否将前列腺肿瘤正确分类为有/无Gleason 4型成分,并将表现最佳的分类器与3名经过机构认

关键词： Applied mathematics   Finance  

摘要： In a world of increasing reliance on technology and a culture that wants fast results at the tip of their finger, Lending Club emerges as a fast and mutually beneficial tool to provide borrowers with unsecured personal loans without the need of interaction with a financial institution and investors with an opportunity to increase personal wealth by collecting interest on these loans. In this dissertation, we will look at the results given by Decision Tree models, which aim to predict the time until default on 36 month term loans supplied by Lending Club. First, we will explore loan default as a binary classification problem. Then, we will expand these results to see how long it will take for a loan to default, using a Multi-Class Decision Tree. We change the question slightly to determine where in the term of the loan the lender will regain their investment, and whether the loan default before or after this point. Finally, we will predict what percent gain the investor will receive regardless of the status of the loan.