关键词： 体细胞突变   驱动基因   癌症分类   特征选择   深度学习  

摘要： 癌症有着极高的致死率，在癌症早期阶段及时发现、治疗，能有效提高患者生存率。驱动基因可以帮助研究人员了解癌症的发展机制，针对癌症患者基因组设计个性化治疗方案。基于体细胞突变数据的泛癌分类研究可以帮助医师从基因水平上对癌症种类进行识别，减少误诊、漏诊的可能性。驱动基因识别和泛癌分类研究对癌症早期的预防、诊断和临床治疗具有重要意义。现阶段驱动基因预测和癌症分类算法研究仍面临很多挑战，针对现有问题，本文基于体细胞突变数据，围绕驱动基因预测和癌症分类算法进行相关研究，论文主要贡献如下:　　（1）在传统聚类方法中，多核苷酸上下文突变概率在进行统计时是独立确定的，这将导致背景突变信号的过拟合，遗漏低频突变背景上的突变信息。本文基于似然检验比先验知识提出复合似然比模型，通过将核苷酸上下文的可能性分解为乘法因子来计算上下文突变概率，有效解决现存问题，且减少了计算量。针对现有聚类算法不适用于突变数据的问题，本文基于核回归和均值漂移向量算法提出一种无监督线性聚类算法，很好地适应于突变数据，聚类效果良好。在19种肿瘤队列数据集上的实验结果表明，本文所提方法在大多数肿瘤队列上的识别能力优于现有其他方法，具有较好的鲁棒性，且能够识别其他方法所遗漏的低频驱动基因，可作为其他方法的有效补充手段。　　（2）针对泛癌分类任务中突变数据的一维高冗余特点，本文基于图像RGB三通道原理提出基因突变图的构建方法，实现对体细胞突变数据的维度转换，使其适用于现有图像分类模型。之后基于驱动基因预测结果对原突变图进行特征选择优化，解决原突变图的高噪声和稀疏问题，结果表明基因突变图构建与特征选择优化方法可有效提升模型的分类性能。　　（3）不同突变基因相互组合协同作用于不同癌症发展过程，因此，将突变图全局特征考虑在内能有效提升分类性能。传统的卷积神经网络在提取局部特征的同时忽略了全局特征。针对该问题，本文基于倒残差模块和多头自注意力模块提出网络模型M-MNet。网络中的倒残差模块实现对局部特征的有效提取,而多头自注意力模块通过建立突变图各局部特征间的关联进而提取全局特征，完成对局部特征和全局特征的兼顾，分类效果优于现有网络模型。实验结果表明，本文提出的突变图构建、特征选择优化和M-MNet网络对整体性能均有提升效果，且整体方法在19种队列的泛癌分类任务中达到了94.62％的准确率和94.34％的F1score分数，具有良好的泛癌分类能力。

关键词： 心脏病预测   集成学习   超参数优化   长短时记忆网络   卷积神经网络  

摘要： 近年来,心脏病的致死率越来越高,并且心脏病患者的年龄也呈现递减趋势,部分中青年人群也有较高的患病风险。当心脏出现问题,无法将血液供给到人体其它部位时,便会引发心脏病。因此,如何对心脏病进行有效的预测,做到早发现早治疗,成为当前医学领域的热门问题。值得庆幸的是,随着人工智能的成熟,研究者们开始将数据挖掘技术应用于疾病研究领域,为心脏病的预测提供了新途径。本文基于数据挖掘中的分类技术,应用相应的算法构建心脏病预测模型来进行探究,并对研究结果进行对比分析。论文主要研究内容如下:(1)基于增强逻辑回归算法的冠心病风险预测研究随着机器学习逐渐应用到心脏病预测领域中,但预测的准确率与精确率仍有待提高。因此,为了提升心脏病预测的准确性,本文提出了基于增强逻辑回归算法的冠心病患病风险预测模型,基于Ada Boost算法,将逻辑回归算法作为弱学习器进行多次迭代训练,从而完成预测模型MEB-LR(Medical Ensemble learning-Logistic Regression)的构建,将常见的单一模型与增强前后的模型进行对比验证。采用各项评价指标进行评估,结果表明,本文模型具有更高预测精度。(2)基于不完整数据的IHB-Light GBM模型心脏病预测研究由于心脏病数据往往出现不完整情况,并且目前多数超参数优化算法存在寻优效率较差的问题。为此,本文提出基于不完整数据的IHB-Light GBM(Improved Hyperband-Light Gradient Boosting Machine)心脏病预测模型。首先,在Hyperband算法超参数采样的基础上引入了权重值以提高算法的参数寻优能力;其次,使用K近邻算法对不完整数据进行缺失值插补;最后,对Light GBM采用改进后的IHB优化算法进行全局参数寻优,建立IHB-Light GBM心脏病预测模型。结果表明,IHB算法的参数寻优效果优于其它常见的优化算法并且本文模型在各项评价指标也上明显高于随机森林等算法,可以获得更快的预测速度和更高的预测精度。(3)基于CNN-LSTM的心率失常多分类算法研究针对机器学习提取图像特征过程复杂且提取能力有限,并且心电图信号存在噪声干扰等问题。本文利用小波变换对心电图信号进行降噪处理,并将处理后的心电数据采用GAN网络进行数据增强,之后提出了卷积神经网络(Convolutional neural network,CNN)与长短时记忆网络(Long Short Term Memory,LSTM)相结合的心律失常多分类模型,并采用M IT-BIH心电数据集进行实验仿真。实验结果表明,与其它方法相比,本文模型在心律失常分类中有着明显的优势,为相关医疗实验提供了有用价值。

关键词： Fraud detection   Machine learning   Medicare fraud and abuse   Unsupervised and supervised learning  

摘要： Medical fraud is a severe problem that is worsening, with grave repercussions for the healthcare industry and an annual cost to the government of $54 billion due to fraud, errors, and abuse. Medicare, the largest public health insurance program in the United States, has been the primary target of healthcare fraud. This study explored machine learning (ML) methods for Medicare fraud detection and answered the research question: “Can machine learning methods detect Medicare fraud and abuse in U.S. healthcare?” “If so, how?” The study relied on the Fraud Triangle Theory as the theoretical framework to view the problem. A systematic review was utilized to execute the study and relied on the findings from 39 studies. The study provided four recommendations for practitioners: (1) Government needs to build machine learning models for healthcare providers for fraud detection. (2) More research and improved machine learning methods should be used to detect the many abnormalities in health insurance fraud. (3) Government should introduce a variety of machine learning methods to utilize digital data for fraud prevention in the healthcare industry. (4) Healthcare systems should implement machine learning techniques for financial fraud detection.

关键词： 蓄热式铝熔炼炉   炉温预测   工况分类   数据驱动的软测量  

摘要： 铝是目前应用最广泛的金属之一,作为铝冶炼中最重要的一环,铝熔炼过程的运行状况对铝的产量、品质以及能耗至关重要。在铝熔炼实际生产过程中,通常以铝液温度来指导生产,但由于铝液温度高且具有腐蚀性,热电偶传感器需要加保护夹套,这导致铝液温度数据难以获取、生产成本上升。经研究发现,熔炼炉温可以代替铝液温度指导铝熔炼生产,且炉温数据相对容易获取,更有利于建模预测。然而,铝熔炼过程入口原料成分、性质等工况多变,导致熔炼炉温经常需要调整,给炉温的预测带来了困难。针对上述问题,本文研究并提出了一种基于数据驱动的铝熔炼过程的工况分类模型和炉温实时预测模型。本文以某大型铝厂中蓄热式铝熔炼炉的生产过程为背景,对铝熔炼炉的生产过程中的炉温变化趋势进行了研究,并对炉温的预测进行了研究,取得了一些成果。论文的主要内容和创新性成果如下:(1)首先简要说明了再生铝的生产全流程,重点分析了再生铝熔炼过程。对铝熔炼过程的生产工艺进行了机理分析,分析了影响熔炼状态的炉温及相关工艺参数,得到了对炉温产生重要影响的相关变量。(2)针对铝熔炼过程中入口原料成分、性质等工况多变,熔炼炉温度变化频繁的特点,本文提出了基于麻雀搜索算法优化的动态时间规整模糊聚类方法,来对经滑窗后的炉温数据序列进行聚类。该聚类方法可以根据炉温的变化趋势对炉温序列进行准确的工况聚类;同时,根据当前时刻影响炉温变化的相关变量,采用一维卷积神经网络来预测下一时刻熔炼过程所处的工况类别,实现了铝熔炼过程中工况的聚类和分类;最后用某铝厂的实际生产数据验证了该工况分类聚类模型的有效性。(3)针对铝熔炼过程具有时变性,熔炼炉温预测困难的问题,本文提出一种结合上述工况分类模型和基于时间序列相关性加权的长短期记忆神经网络模型的方法来建立炉温的软测量模型,实现对炉温的预测。首先,本文提出了一种基于时间序列相关性加权的及时学习策略。该即时学习策略以动态时间规整算法下的序列间距离作为相似性指标,在查询样本可用时根据其与历史样本序列间的相似性大小来选择建模样本。然后,基于上述即时学习策略以及长短期记忆神经网络模型,本文建立了基于时间序列相关性加权的长短期记忆神经网络软测量模型实现对炉温的预测,该模型提高了长短期记忆神经网络对非线性、时变性的处理能力。第三,为减少建模所消耗的时间,本文将前述的工况分类模型与上述软测量模型结合,先由工况分类模型对当前查询样本进行工况分类,然后在对应的工况类别历史数据下进行软测量建模。最后,通过某铝熔炼厂的实际生产数据验证了所提软测量模型的有效性。

关键词： 锡林郭勒盟草原区   机器学习   草地地上生物量   干旱脆弱性  

摘要： 草原生态系统作为自然生态系统的重要组成部分,为畜牧经济发展提供了重要的牧草资源,对调节气候变化和维持生态系统平衡起着非常重要的作用。锡林郭勒盟草原地处干旱/半干旱区,随着气候变化以及人类活动的影响,加之该区域较为单一的植被类型导致草原生态系统脆弱性明显增加,对其进行定量的脆弱性评价变得十分重要。草地地上生物量(Above Ground Biomass,AGB)是草原生态系统获取能量、固定二氧化碳的物质载体,代表初级生产力的基本水平,决定了草原承载草畜的能力。草地AGB的变化直接反映草原退化、草场荒漠化的程度。当前利用表征植被绿度长势的遥感指数来进行干旱脆弱性研究较多,对植被生产力开展干旱脆弱性的相关研究较少。有必要深入了解干旱胁迫下的锡林郭勒盟草地AGB的干旱脆弱性。因此,本文以锡林郭勒盟为研究区,利用多年草地AGB实测数据、气象站点数据、遥感数据等多源数据。基于机器学习方法建立了草地AGB估算模型,开展了草地AGB的反演研究,对2000～2020年锡林郭勒盟草地AGB的时空变化特征进行了分析。接着,基于气象站点数据计算了锡林郭勒盟草原短期、中期、中长期以及长期时间尺度SPEI(Standardized Precipitation Evaporation Index,SPEI),同时对其进行了时空变化特征分析。在此基础上结合干旱脆弱性理论,探究了研究区长时间尺度不同草原类型的干旱脆弱性。研究结果如下:(1)三种机器学习算法建立的草地AGB估算模型中,随机森林算法建立的模型精度最高。各种特征变量的贡献率分析结果表明,植被要素的贡献率均比较高,而地形要素的贡献率较低。2000～2020年锡林郭勒盟草地AGB整体呈现波动性增加的趋势,2013年草地AGB最高,而2009年达到草地AGB最低值。空间上草地AGB呈现从东北向西南逐渐减少的空间分布特征。各种草原类型中,典型草原AGB总量最高,草甸草原次之,荒漠草原最少。锡林郭勒盟12个下辖旗县中,东乌珠穆沁旗、西乌珠穆沁旗的草地AGB较高,苏尼特左旗、苏尼特右旗和二连浩特市的草地AGB较低。(2)2000～2020年锡林郭勒盟草原发生的累积干旱主要以轻旱为主,不同时间尺度SPEI在各种草原类型中发生的干旱存在差异。典型草原中,SPEI-3和SPEI-24发生轻度干旱的频率最高分别达到28.6%和14.3%。草甸草原中,SPEI-24发生轻度干旱的频率最高达到19.0%,SPEI-1发生中度干旱的频率最高达到14.3%,SPEI-3和SPEI-12发生严重干旱的频率最高分别达到9.5%和4.8%。荒漠草原中,SPEI-6发生轻度干旱的频率最高达到19.0%,SPEI-48发生中度干旱的频率最高达到19.1%,SPEI-1严重干旱的频率最高达到9.5%。其它草原中,SPEI-24发生轻度干旱的频率最高达到23.8%,SPEI-1发生中度干旱的频率达到19.0%,SPEI-3发生严重干旱的频率最高达到4.8%。(3)锡林郭勒盟草地AGB的暴露度分析发现,大部分区域呈现出无旱状态,2011～2015年干旱主要发生在苏尼特右旗,2016～2020年干旱主要发生在阿巴嘎旗北部。锡林郭勒盟草原干旱敏感性计算结果显示,各种草原类型中草甸草原干旱敏感性最高,荒漠草原干旱敏感性较低。干旱适应性计算结果表明,2000～2005年锡林郭勒盟草原干旱适应性最低,2011～2015年间干旱适应性普遍较高。干旱脆弱性研究结果显示,苏尼特左旗和苏尼特右旗在各个研究时间段内展现出较低的干旱脆弱性,而东乌珠穆沁旗和西乌珠穆沁旗的干旱脆弱性普遍较高。本文的研究结果,对于科学调整草畜关系、保护生态环境安全、实现草地资源可持续发展具有重要意义。

关键词： 高维时间序列数据   潜在因子模型   机器学习   股票日收益率预测  

摘要： 随着信息时代的进一步发展,各种数据被广泛地应用于各行各业中。本文研究的是高维时间序列数据,高维数据的主要特点是数据维度较大,在模型识别和参数估计方面存在困难。为了更好地对高维时间序列数据进行建模估计,文章将机器学习模型引入潜在因子模型中,并利用股票日收益率等数据对国证300指数相关市场进行分析。Chang等(2015)提出了一种具有潜在因素、内生性和非线性的高维随机回归模型,该模型将可观测因素引入模型中,且未对回归项和潜在因素回归过程施加平稳条件,但模型的不足在于使用线性估计拟合可观测因子部分。传统的线性估计对非线性数据和其他具有更复杂内在关系的数据拟合效果不佳,导致参数估计效果受到影响。近年来随着机器学习的发展和应用,各种机器学习模型在非线性数据建模方面具取得了一系列的成功,因此本文考虑在Chang等(2015)的基础上,对可观测因子部分采用机器学习方法进行估计,得到估计后的残差部分,然后基于此残差部分对潜在因子过程进行因子估计,并据此构造了基于机器学习方法的潜在因子模型。模型在可观测因子部分引入的机器学习方法能够显著地提升其对于非线性数据的拟合能力,进而提升对残差部分的预测准确性,从而提升后续的参数估计准确性。文章对上述基于机器学习的潜在因子模型以潜在因子个数r的识别准确率和未知因子载荷矩阵的估计效果为评价标准进行数值模拟实验,设计了一个线性数值模拟部分和两个非线性数值模拟部分。结果发现,基于机器学习的潜在因子模型在这三个数值模拟部分相较于基于线性估计和多项式估计的潜在因子模型表现更好,特别是在非线性数值模拟部分,参数估计更加准确,且更加稳定。通过对2015年1月至2022年12月的国证300指数相关行业股票日收益率数据进行实际数据分析发现,基于机器学习的潜在因子模型能很好地对参数进行估计,而且在预测效果对比部分,无论是整体预测还是分行业预测,其效果都更好。

关键词： 因果推断   倾向得分   机器学习   标准化死亡比加权法  

摘要： 随着人工智能的不断发展,因果推断已经成为统计学和数据科学的核心问题之一,人们开始关注如何在一种现象已经发生的情况下,得出因果关系结论.相比于机器学习,因果推断其独特的可解释性使其受到关注.在观察性研究中应用倾向得分始终是因果推断研究的重点,但如何精确地估计倾向得分值却始终被协变量和处理变量之间不确定函数关系等问题所阻碍.目前有研究提出,在估计倾向得分过程中引入非参数的机器学习方法,或许是实现准确估计倾向得分的一种手段.在标准化死亡比加权法的基础上,本文提出利用机器学习方法优化倾向得分模型.其思路核心是通过机器学习方法代替传统逻辑回归估计倾向得分权重,进一步消除治疗组与非治疗组的协变量分布差异.因此本文首先使用模拟数据验证了各种倾向得分模型的性能.根据协变量和处理变量之间的线性以及可加性不同关联程度,本文在不同情景下分别通过逻辑回归模型、支持向量机模型、神经网络模型、随机森林模型以及广义增强模型(GBM)来估计倾向得分权重.结果表明,逻辑回归遇到不可加和非线性的条件下会表现不佳,而集成方法可能对协变量平衡更加有用.最后本文以SEER数据库的真实数据为实验背景,对五种倾向得分模型进行实证分析.利用倾向得分模型评估了癌症导向手术(CDS)对低转移胰腺导管腺癌(PDAC)患者存活率的影响,并对比了不同模型的因果推断过程和结果.通过平衡协变量和估计处理组平均效应,证实CDS可以有效延长低转移PDAC患者的总生存期.实证分析同时表明神经网络、随机森林以及GBM模型的平衡性以及稳健性均优于传统逻辑回归模型.

关键词： 用户研究   电商平台   购买预测   分类算法   XGBoost   CatBoost   模型融合  

摘要： 随着当下互联网技术的发展,人们的生活方式和习惯发生了极大的变化,电商平台飞速发展。在疫情背景下线下零售也转向电商梯队,线上化、数字化成为线下门店的转型战略。各大电商平台都在不断优化自家推荐算法,但如何推荐能够更加精准有效、促进交易的达成,是各大平台的挑战。解决这一问题就需要聚焦用户行为数据的研究,根据用户历史行为数据来预测用户行为。用户行为预测可以帮助电商平台了解用户的需求和行为,进而优化自家产品和服务,提高用户的满意度、活跃度、忠诚度,从而提高用户的留存,获得更多的收益,抢占市场领先地位。本文首先基于文献研究法,在用户研究领域中选取相关论文进行研究。总结并介绍了国内外相关学者在此方向的研究现状和研究结果,发现在此领域的常用分类算法模型众多,包括了逻辑回归算法模型、支持向量机算法模型、极度梯度提升XGBoost算法模型、随机森林算法模型等。本文将机器学习的方法和数据挖掘的相关理论应用到电商行业的用户行为研究中,在将主流分类算法如极度梯度提升XGBoost、支持向量机等应用到用户购买行为预测中的留存等问题转化成预测用户购买行为的研究问题。其次本文进行探索性数据分析,探寻了数据存在的趋势特征以及是否有缺失值等信息。进一步进行数据预处理,操作包括了对缺失值填充、时间数据分箱、离群值删除、类别型特征采用One-Hot编码等。接下来,本文根据实际对业务场景的理解,按照用户、店铺、商品及其叉乘的维度构建多个特征,并使用XGBoost算法进行特征选择,选择得分前30的特征将其用作模型训练。最后是模型训练和评估,选取支持向量机、随机森林、LightGBM、XGBoost、CatBoost结合训练集,对用户购买行为进行预测和分析。利用精准率、查重率、F1-Score等评价指标对五个模型结果对比评估,发现CatBoost的预测效果更好。之后通过对参数的学习和理解,对表现更好的CatBoost模型进行参数调整来优化模型得到catboost2模型,优化后的模型的评价指标表现略有提升。同时,本文分别通过硬投票法和softvoting的软投票方式将前文得到的支持向量机、随机森林、LightGBM、XGBoost、CatBoost2模型进行融合,融合模型的准确率、召回率、F1值均比单一模型有稍好的表现。

关键词： Cybersecurity   Machine learning   Malware detection   Cyber-attack detection   Cyber threat  

摘要： The cyber threat landscape has evolved tremendously in recent years, with new threat variants emerging daily, and large-scale coordinated campaigns becoming more prevalent with hundreds of thousands of victim machines compromised globally. Enterprises have also been targeted by advanced adversaries who leverage creative ways to infiltrate their systems and move laterally to gain access to critical infrastructure. It is challenging to detect these attacks in their early stages, as adversaries utilize common services, use novel techniques, and can blend in with benign behavior to evade existing detection mechanisms. In this dissertation, I present novel machine learning-based threat detection solutions and investigate the strength and feasibility of these techniques in different cybersecurity domains for both host-level and network-level monitoring systems. First, we study detection methods for Living-Off-The-Land activities commonly utilized by advanced malware, which hide the malicious activity behind a benign program by using tools that are already available in target systems. We develop a new command line representation method, and propose an active-learning-based approach that utilizes the limited labeled instances to build accurate classifiers to detect this behavior. Second, we study self-propagating malware (SPM) and propose unsupervised methods to detect the behavior using network logs to protect organizations against novel SPM campaigns. We propose an ensemble of anomaly detection models, and demonstrate the resilience of our method to detect evasive malware variants. Finally, we study automated collaborative learning techniques for HTTP-based malware detection using federated learning methods. This approach enables organizations to utilize attacks encountered and labeled in different networks to build better classifiers. We propose distributed embedding models for URL representation, and integrate an active learning module during collaborative training to d

关键词： 热连轧板   板凸度   集成学习   层次二叉树   故障分类  

摘要： 板形精度是热轧生产中衡量板带钢质量的重要指标之一，精准的带钢板形预测和板形故障分类可实现生产系统的及时调整，是保证热轧带钢产品质量和生产稳定性的基础。本文以国内某热连轧生产线为研究背景，针对传统机理模型复杂且难以适应复杂工况变化的不足，基于数据驱动思想，提出了融合机理模型以及生产数据的板凸度预测和异常工况板凸度故障分类模型。本文主要的研究内容如下：　　首先，针对流程工业数据信息的高维性和复杂性，通过分析实际热连轧生产现场的自动控制策略，结合轧制过程中的机理模型，确定了影响带钢板凸度的关键特征;结合热连轧仪表配置及采集数据的特点，提出了一种数据筛选归并方法，通过对同种规格尺寸数据的筛选合并，降低了海量数据的量级，处理后的数据既包含了整个数据集的信息，又可缩短模型运行时间，为后续板凸度预测建模奠定了基础。　　其次，针对传统板凸度机理模型预测性能较低的问题，基于集成学习思想，提出了一种鲸鱼优化算法(WhaleOptimizationAlgorithm，WOA)改进的XGBoost(ExtremeGradientBoosting)板凸度预测方法，该方法采用CART决策树作为基学习器，通过鲸鱼优化算法优化XGBoost超参数，解决了调参难的问题;针对热轧工艺标准不断变化影响模型精度的问题，采用kmeans聚类方法对数据进行划分后分别进行预测。通过对比建立的不同预测模型，结果表明WOA-XGBoost模型的具有较高的精度和预测性能，预测数据中91.30%处于5μm误差带内。　　最后，针对异常工况下带钢板凸度故障的非平衡多分类问题，提出了一种基于层次二叉树的HBTA(HierarchicalBinaryTreeArchitectureformulti-classclassification)板凸度故障分类方法，该方法通过ROS(RandomOverSampling)过采样对非平衡数据进行处理，并采用Adaboost(AdaptiveBoosting)作为模型的基分类器，通过不断调整分类错误样本的权重，解决了数据非平衡对分类精度造成的影响;同时通过HBTA方法将多分类问题划分为二分类问题，构建了高精度热连轧板凸度故障分类模型。通过与其他模型进行对比，验证了所提出的ROS-HBTA-Adaboost模型具有更好的分类性能和泛化能力，更适用于热轧带钢板凸度的故障分类。