关键词： 软件缺陷预测   类不平衡   过采样   XGBoost  

摘要： 随着信息社会的发展和科技的进步,人们对软件系统的依赖逐渐加深,软件质量的可靠性保障越来越重要。软件缺陷预测作为检测缺陷模块的重要手段之一,可以通过对历史仓库的挖掘,描写与之相关的度量信息形成数据集,利用机器学习等方法对数据集进行学习,构建有效的预测模型。以测试出包含高缺陷的模块,对其进行检测,优化测试资源的分配。然而现实中有缺陷的数据样本较少,会导致机器学习训练后,更易将测试数据划分成多数类,在软件缺陷预测中严重影响模型的分类性能。因此采用一定的方法缓解类不平衡问题是很有必要的。本文主要工作有:(1)在数据预处理层面,为了利用缺陷数据自身周围分布的类别特性,以进行准确的过采样形成合理而平衡的数据集,本文提出了一种新的多层次自适应判断合成随机过采样方法AJCC-Ram(Adaptive Judgment Cure Clustering Random Sampling),该方法基于改进的ADASYN自适应过采样和CURE-SMOTE过采样,分别在类边缘和类中心多层次生成新样本形成平衡数据集,再通过CLNI进行平衡数据集的噪声过滤清理。实验在软件缺陷预测常用数据集AEEEM和NASA中与多种采样方法在朴素贝叶斯分类器中进行了对比,实验评价指标F1结果表明:AJCC-Ram方法可以获得更稳定,更高效的预测结果。(2)在算法分类方面,为进一步改善分类器在类不均衡数据中的分类效果,对XGBoost(e Xtreme Gradient Boosting)集成学习器进行了理论研究,并进行数据集AEEEM和NASA下的适度调参,将调参后的XGBoost集成学习器与各式机器学习分类器进行了对比实验研究,证明了XGBoost学习器的有效性。(3)在模型构建阶段,本文在上述的研究基础上,建立了一个基于过采样和集成学习的不平衡数据软件缺陷预测模型XG-AJCC(AJCC-Ram+XGBoost)。实验比较了AEEEM和NASA数据集在多个采样集成的不平衡数据处理中的应用。以评价指标F1值,表明了:XG-AJCC预测模型可以有效地降低数据不平衡对软件缺陷的预测影响,以获得更稳定,更高效的预测结果。

关键词： Robust Statistics   Machine Learning   Classification   Clustering   Differentially Expressed Gene   Transcriptomics   Minimum Beta-Divergence  

摘要： Machine Learning(ML)is the section of computational science that can receive input data and analyze with statistical computational algorithms to enable learning,thinking,and decision making as output beyond human *** learning approaches are enormously used in transcriptomic data analysis(TDA).The TDA is one of the prominent sections of OMICS research for *** microarray(continuous type data)and RNS-Seq(discrete type data)are the two fields of *** ML approaches are used in TDA mainly for classifying/clustering samples associated with genes/transcripts and to identify the genes/transcripts whose expressions differ between two or more experimental conditions known as differentially expressed(DE)*** in presence of outliers in the data,most of the classical machine learning classification or clustering approaches provides misleading *** this thesis,the robust statistical based machine learning approaches have been proposed for classification and clustering study in *** is a supervised learning approach for allocating unlabeled dichotomous patient samples into labeled dichotomous patient *** classification methods are clinical-based and therefore,their applications become limited with lower prediction *** Least Square Linear Discriminant Analysis(PLS-LDA)is one of the popular classifier for predicting unlabeled dichotomous patient *** has been widely used both in gene expression(GE)and metabolomics datasets for cancer diagnosis and drug ***,this method provides misleading results in presence of outlying data vector with classical maximum likelihood ***,we developed a robust PLS-LDA approach using the minimum beta divergence method(see Chapter 2).The proposed method produces a weight function known as beta-weight function for the detection of outlying data vector for the robust PLS-LDA *** proposed method outperformed in

关键词： 多因子选股   量化投资   XGBOOST   SVM  

摘要： 随着世界经济的高速发展,证券市场也更加完善和复杂,规模也在逐步增加,各式的投资种类层出不穷。量化投资是一个通过从历史数据中提炼有效经验,并把这些经验运用于指导未来的一个新投资方法,量化投资通过数学模型以及计算机来实现投资策略,从而获得较为稳定的超额收益。和传统投资方式不同,量化投资不受个人主观情感的影响,也因此能够保证投资逻辑的稳定性。多因子选股模型是较为经典的模型之一,该策略的主要思想是根据金融理论寻找一些影响股票收益的因子数据,通过模型利用相关因子筛选出能够获取超额收益的股票构建组合。随着人工智能快速发展,在处理高维数据时,广泛使用机器学习模型能取得较好的效果。因此本文构建了基于机器学习算法的多因子量化选股策略,在不同情况下分别进行回测,将回测结果进行对比。在量化多因子选股模型中,最重要的是解决因子池构建以及策略模型构建两大问题。针对这两个问题,在参考前人研究的基础上,本文从价值因子、成长因子等九个大类中选择了共51个因子作为初始因子构建因子池。在分类算法选择方面,本文选择了XGBOOST模型和SVM模型进行实验。本文选择沪深300指数成分股作为主要研究对象,选择2018年11月-2021年11月间每月最后一个交易日因子截面数据为主要样本数据,实验过程主要分为数据预处理与模型策略的建立,其中在数据预处理部分使用Lasso算法对特征因子进行降维处理,筛选出重要因子。为了使模型能够及时抓住市场的变化,本文采用了滚动训练的方式,不断重复进行训练。本文所建立的机器选股策略在2018年11月-2021年11间,最高的年化收益率达到59.31%,远超过同期沪深300指数表现(同期沪深300指数年化收益为:15.3%)。本文将策略在不同持仓数量、不同训练集长度、不同调仓周期的情况下加以比较分析,结果发现基于机器学习选股策略的表现差异很大。总的来说,当持仓数较少时,策略会有更高的收益,同时投资组合所承受的风险会越大。由于资本市场经常会出现风格切换,风格切换后可能会使前期的重要因子失效,合理选择训练集长度就十分重要,本文研究发现将模型训练集长度设置为9个月时,策略会取得更好的效果。策略模型调仓周期不能太长,调仓周期过长可能会使得投资组合错过某些重要行情,调仓周期设定成1-2个月较为合适。从整体上看,在本文所选因子的前提下,XGBOOST模型策略效果要优于SVM模型策略效果。

关键词： 机器学习   冠状病毒   刺突蛋白   蛋白分类预测  

摘要： 新型冠状病毒肺炎(Corona Virus Disease 2019,COVID-19)是一种由新型冠状病毒(Severe Acute Respiratory Syndrome Coronavirus 2,SARS-COV-2)引起的呼吸道传染病。冠状病毒可跨物种传播到包括人类在内的多种哺乳动物,严重威胁人类健康及公共卫生安全。因此,快速准确地预测冠状病毒宿主分类对于未来防控流行病具有重要意义。本研究从美国国家生物信息中心(National Center for Biotechnology Information,NCBI)病毒数据库中收集数据,从2000年1月1日至2020年9月25日共获得19385条冠状病毒的刺突蛋白序列,将其按照分离物种来源分为人源性和非人源性。使用CD-HIT软件去除重复和冗余序列。分别按照随机划分和采样时间先后划分的方式,将数据集以8:2的比例划分为训练集和测试集。本研究使用蛋白质描述符和自然语言模型Seq2Vec来提取刺突蛋白序列特征,应用多种机器学习方法如支持向量机(Support Vector Machine,SVM)、逻辑回归(Logistic Regression,LR)、随机森林(Random Forests,RF)以及深度学习方法门控卷积神经网络(Gated Convolutional Neural Network,GCNN)建立分类模型。使用训练集进行100次重复的5折交叉验证训练分类模型,并用测试集进行模型评估。最终选择Seq2Vec-GCNN作为最佳模型,其AUC值为0.9818,敏感性为90.06%,特异性为1,准确率为94.45%。选取去重复数据集共3216条序列,将数据按照不同类别宿主分为人类、猪类、禽类、蝙蝠、骆驼和其他哺乳动物共6类,按照收集时间排序后以8:2比例划分为训练集和测试集。使用分布描述符(CTDD)以及自然语言模型Seq2Vec提取刺突蛋白序列特征,并应用多种机器学习方法和深度学习方法使用100次重复的5折交叉验证训练分类模型,最后用测试集进行模型评估。在预测人类宿主方面Seq2Vec-GCNN作为最佳模型准确率高达99.37%,而在预测其他宿主分类方面CTDD-RF模型表现最佳,准确率分别为猪类95.82%,禽类95.96%,蝙蝠98.33%,骆驼92.06%,其他哺乳动物94.01%。以上结果分析得出,基于机器学习方法使用刺突蛋白序列构建预测冠状病毒宿主分类模型是切实有效的,可以及时、快速、准确的预测冠状病毒宿主分类,从而应用到未来的病毒防控中。随着SARS-Co V-2变异体不断出现,宿主类别可能会进一步发生改变,这使得预测冠状病毒宿主分类模型变得极为重要。本研究结果可能对未来预测和防控冠状病毒大流行具有极大参考价值。

关键词： 阿尔兹海默症   MRI影像   神经认知量表   生物标记  

摘要： 目的 本论文研究如何整合并优化影像、神经认知评价和生物标记测量等多来源多模态数据以提高阿尔兹海默症发展阶段和转化的分类预测准确率。方法 本文基于阿尔兹海默症影像计划(Alzheimer's Disease Neuroimaging program,ADNI)2004至2018年四个阶段的样本数据,包括从MRI影像数据提取脑室容量、海马体体积、全脑容量、内嗅皮质、梭状回、颞中回、以及脑容量等脑图像特征数据;神经认知量表数据(简易精神状态测量量表和老年痴呆-认知ADAS-cog13量表);生物测量数据(Abeta肽,Tau蛋白和p-Tau蛋白及Apo E4基因型)。基于783个样本的基线数据建立二分类和多分类logistic回归模型用于疾病发展阶段的两两和同时分类预测。基于具有MCI状态的352个样本的纵向数据建立二分类logistic回归用于转化状态的分类预测。本研究将脑图像特征变量、量表数据和生物标记加入到基础模型中,通过交叉验证方法随机划分数据集,并计算准确率、查准率、召回率、F1得分和ROC曲线下方面积等指标进行综合比较,得到最优多模态组合的分类预测模型。结果 对于阿尔兹海默症发展阶段的分类,结合脑图像特征数据、量表数据和生物标记数据建立二分类logistic模型表现最佳。区分AD(阿尔兹海默症,Alzheimer Disease)和NC(正常对照组,Normal Control)、MCI(轻度认知功能障碍,Mild Cognitive Impairment)和NC以及AD和MCI的准确率分别达到了100%,77.18%和89.58%;AUC值分别为100%,85.52%和96.39%,比仅用脑图像数据进行进展阶段的分类预测有显著提高。对于阿尔兹海默症MCI转化的分类预测,脑图像特征数据结合量表数据和生物标记能最大程度地提高准确率,从86.69%提高到了90%以上;相应的AUC值从89.21%提高到了94.06%。结论 结合多来源数据能提高阿尔兹海默症疾病进展阶段和转化的分类预测准确率,为临床诊断阿尔兹海默症所处的发展阶段和转化提供理论上的支持。

关键词： 机器学习   等效球镜度   屈光状态   睫状肌麻痹   儿童   青少年  

摘要： 目的:通过人工智能方法建立复杂预测模型对儿童青少年睫状肌麻痹需求和睫状肌麻痹后屈光度屈光状态进行精确预测。在临床工作中减少不必要睫状肌麻痹带来的医疗资源浪费,减少患者就诊时间,提高诊疗效率。在以学校为背景的流行病学和近视相关研究中,经过模型预测获得与真实睫状肌麻痹后屈光结果无偏倚的人群等效球镜度及屈光状态分布,以便地区间横向对比及同地区纵向队列研究。 方法:在2019年12月至2020年1月筛查过程中于天津市滨海新区对符合纳入标准的6-18岁在校儿童青少年进行全面眼部检查和问卷调查并纳入数据集。样本特征包括睫状肌麻痹前屈光结果、眼部光学生物测量结果、眼压、生活视力、调节滞后量、第一注视眼位偏差角度及受试者年龄、性别、戴镜信息及相应组合特征。经睫状肌麻痹后,采用相同仪器测量睫状肌麻痹后屈光结果并纳入数据集。按9:1比例将数据集分为训练集和测试集,分别用于训练测试模型。预测任务分为三部分,第一部分建立二分类模型,利用睫状肌麻痹前眼部参数和基本信息预测儿童青少年是否有进一步睫状肌麻痹后屈光检查需求;第二部分建立三分类模型,利用睫状肌麻痹前眼部参数和基本信息预测儿童青少年睫状肌麻痹后屈光状态;第三部分建立回归模型,利用睫状肌麻痹前眼部参数和基本信息预测儿童青少年睫状肌麻痹后等效球镜度。 结果:二分类任务中集成学习模型效能最佳,在以0.50D作为阈值区分儿童青少年是否需要睫状肌麻痹时AUC可达0.864,Sensitivity为73.3%,Specificity为80.1%。模型经过调整后在真正例率为0.90时模型假正例率为0.36。本研究中0.50D阈值时需要睫状肌麻痹患者占总样本46.8%,在该人群中使用预测模型可以在不影响屈光检查结果的情况下约节省全部睫状肌麻痹工作量的1/3。三分类任务中集成学习模型效能最佳,可将全部样本中84.2%预测正确,经过机器学习模型预测后的人群屈光状态分布与真实睫状肌麻痹后结果无统计学差异。回归任务中adaboost算法模型效能最佳,81.1%的个体等效球镜度预测值与真实值相差小于0.50D,经过机器学习模型预测后的人群等效球镜度分布与真实等效球镜度分布无统计学差异。 结论:在临床工作中可以应用由集成学习算法训练而成的睫状肌麻痹需求预测模型,在不影响屈光检查准确性的情况下节省约1/3睫状肌麻痹工作量。在无睫状肌麻痹条件的流行病学研究中使用由集成学习算法训练来的睫状肌麻痹后屈光状态预测模型和由adaboost回归算法训练而来的睫状肌麻痹后等效球镜度预测模型可获得与真实值无统计学差异的人群屈光状态分布和等效球镜度分布。

关键词： 不平衡数据集分类   采样算法   分类算法   DBSMOTE算法   KP-SMOTE算法  

摘要： 不平衡数据集的分类问题是实际业务场景中最重要的建模问题之一。传统的机器学习分类算法大多只面向于平衡数据集,在训练过程中仅重视模型对样本总体的分类效果,当其应用于不平衡数据集时,会倾向于将样本判定为占比更大的类别,从而对少数类样本的识别能力下降。而事实上,实际中的数据集大部分是不均衡的,并且少数类样本被错误分类的成本远高于多数类样本。因此,结合当下重点关注的心脏病预测课题,对不平衡数据集的分类问题进行研究是非常必要且具有实际意义的。本文以现有的主要采样算法为理论基础,提出了两种改进的采样算法,即DBSMOTE算法和KP-SMOTE算法。本文以采样算法和分类算法的组合作为对比对象,分别对比了各个算法组合在不同分类模型评价指标上的表现,旨在探索出各评价指标下最优的数据集采样与分类模型构建的算法组合,更加准确地对成年人患心脏病的状况进行预测。经过对个体心脏病关键指标数据集的实证分析,发现肥胖、吸烟、饮酒和其他重要疾病对心脏病的发病机制存在促进作用,而锻炼以及良好的身心状态则可以降低心脏病的发病概率。此外,对于所有评价指标,不同分类算法带来的差异都要大于采样算法。并且,若看重准确率,则随机过采样与随机森林的算法组合最优;若综合考虑精确率、召回率、F1 score或看重Kappa系数,则SVM-DBSMOTE采样与逻辑回归的算法组合最优;若看重AUC值,则随机过采样与Ada Boost的算法组合最优。

关键词： 声波反障碍散射问题   门控循环单元网络   动力系统   Lyapunov稳定性   常微分方程门控单元网络  

摘要： 反散射问题是数学物理问题中一个重要的研究领域,这项问题的研究不但具有理论意义,而且在实际工程技术等领域也被广泛的应用,其应用已经覆盖到地理勘探、生物医学成像、无损探伤、雷达探测等众多科技领域.由于反散射问题具有不适定性,这使得常用数值方法在反演过程中具有一定难度,而神经网络的非线性特性,能够有效减少反散射问题中的不适定性所造成的影响,因此本文采用神经网络方法来求解声波反障碍散射问题.本文的主要研究内容是针对声波反障碍散射问题,构造相应的神经网络求解方法,并依据微分方程中Lyapunov稳定性理论,分析对应神经网络的稳定性。本文采用门控循环单元网络(GRU)的方法,构造远场数据和障碍物形状参数之间的映射关系,用以解决声波障碍物形状参数反演问题.该方法主要利用循环网络中的信息传递机制,将不同节点的数据链接成一个向量,以期望利用节点之间的关系进行预测.这里利用微分方程来解释GRU,并通过微分方程中Lyapunov稳定性理论,分析对应微分方程的稳定性,从而给出GRU稳定性的条件.数值实验结果说明了在不同观测点个数和入射点个数条件下,网络能够较好的反演出障碍物的形状和位置信息,同时可以发现随着观测点个数的增加反演出的障碍物曲线越来越接近真实障碍物曲线,并且远场数据在含有噪声的情况下,GRU方法仍然具有较好的反演效果,验证了该方法在解决反障碍散射问题上具有稳定性.基于GRU稳定性的分析方法,进一步构造了常微分方程循环单元网络(ODE-RU).该网络依托于具有稳定性的连续微分方程,通过向前Euler离散以及Lyapunov稳定性定理,得到同样具有稳定性的离散微分方程,这个离散方程可以表示为一种前向传递关系,这就是ODE-RU网络的基本框架.在此基础上加入门控机制,形成了一种基于微分方程的门控神经网络,这种门控结构能够控制ODE-RU网络中记忆单元的信息传递.数值实验说明在声波反障碍散射问题中,无论在单一入射点还是在多个入射点的情况下,ODE-RU均能够较好地反演出障碍物的边界,并且与其它两种不同的循环神经网络GRU、LSTM相比,ODE-RU的反演效果稳定且误差均低于上述两种循环神经网络.

关键词： 拉曼光谱   SERS基底   机器学习方法   矿物药   成瘾性药物  

摘要： 药物可通过在机体内产生各种作用来治疗、预防和诊断各类疾病。因此药物作为维护身体健康、保障生命安全的特殊商品,对其安全进行检测至关重要。随着现代检测技术的迅速发展,已有多种检测方法在药物安全检测领域得到了大量应用,但在实际检测过程中,部分方法存在操作复杂、成本高昂、无法现场实时检测等劣势。针对以上问题,本文以拉曼光谱技术结合机器学习方法对矿物药进行了快速分类识别;利用表面增强拉曼光谱(SERS)技术对生物体液中的成瘾性药物进行了高灵敏度检测;并利用自组装技术将高均匀性金纳米球作为组装单元,开发了更为稳定、灵敏的固态滤纸SERS基底用于成瘾性药物检测。本研究为毒性矿物药和滥用成瘾性药物的安全检测提供了一种快速、准确、无损、简便、低成本的检测方法,弥补了现有部分检测方法的预处理过程复杂、检测时间长、需要大型仪器设备等不足。基于密度泛函理论,利用Gaussian软件分别对氯胺酮、右美托咪定、咪达唑仑、芬太尼四种成瘾性药物及雄黄和硫磺两种矿物药的拉曼光谱进行了理论计算,并对其振动频率进行了归属。分析了主成分分析(PCA)和支持向量机(SVM)两种机器学习方法的工作原理,并建立了拉曼光谱结合PCA-SVM可视化分类识别模型,进而通过对拉曼光谱数据所含有的全部信息进行分析,可获得更准确、更全面、更科学、更具有统计学意义的结果。该方法可有效改进以往检测过程中通过人工识别分析样品少数几个拉曼特征峰这一不足,进而为拉曼光谱的数据处理提供了一种理论支撑。分别检测了砷类矿物药、汞类矿物药和硫磺及其复方制剂的拉曼光谱,并对其振动频率进行了归属。然后对上述药物的拉曼光谱数据进行了PCA-SVM分类识别,得出其盲样测试准确率均高于98%,可对矿物药进行准确分类识别。该方法对矿物药及其复方制剂的准确分类识别提供了一种快速、准确、简便、低成本的检测方法,进而为其种类、产地及真伪进行科学鉴别提供了参考依据。同时,对雄黄、朱砂和硫磺进行了定量检测,并确定了质量分数检测限。建立了以SERS技术对生物体液中滥用成瘾性药物快速高灵敏度检测平台。以银溶胶作为SERS基底,在最佳实验条件下,分别对尿液和血清中的氯胺酮、右美托咪定和咪达唑仑三种滥用成瘾性药物进行了定性和定量分析。分别测定了三种药物的检测限,拟合确定了特征峰强度随浓度的线性变化方程及决定系数,并计算分析了回收率及相对标准误差,进而实现了生物体液中成瘾性药物的快速检测。该SERS检测方法相对于其它方法极大地缩短了检测时间。为了进一步提高SERS基底的稳定性和灵敏度,以种子生长法结合刻蚀法合成了形貌均匀、圆度高的光滑金纳米球,通过液/液界面自组装技术制备了高均匀性固态滤纸SERS基底,并对相关特性进行了表征。另外,通过将固态滤纸SERS基底浸泡在Na Cl水溶液中进行表面修饰,进一步提高了SERS检测灵敏度(比修饰之前约提高了3倍),其对探针分子4-MBA的增强因子可达1.64×10～5。最后,利用该固态滤纸SERS基底对生物体液中的滥用成瘾性药物芬太尼进行了实际检测,测得芬太尼在尿液和血清中的检测限分别为0.6和2.8μg/mL。

关键词： 分数量子霍尔系统   双层系统   高朗道能级   无序   主成分分析   神经网络  

摘要： 分数量子霍尔效应是现代凝聚态物理领域中最重要的发现之一。作为一个完全由粒子间相互作用主导的多体关联系统,分数量子霍尔系统中不断涌现出新奇的拓扑量子态。目前,人们对于这些量子相态的理解还不透彻,主要依赖于一些特定的唯象理论或模型波函数。另一方面,机器学习作为人工智能的一个重要分支,近些年在凝聚态物理方向得到了广泛的应用。但是,这些应用大多集中在一些特殊的晶格模型系统,针对分数量子霍尔系统的研究极少。本论文将尝试利用机器学习的不同方法,对分数量子霍尔系统中由多种效应导致的各类量子态以及它们之间的相变进行系统性的研究。主要工作包括下面三个部分: 首先,利用无监督机器学习中的主成分分析法对具有分数填充因子的多个双层分数量子霍尔系统进行了研究。结果表明,在由层间隧穿效应和层间耦合作用构造的参量空间的不同物理极限下,双层系统可以呈现出不同的量子相态。此外,研究发现即使能谱的间隙并没有完全闭合,依然可以利用主成分分析中一些共同的特征来识别两个竞争相之间的跃迁和相边界。本文进一步提供了数值证据,证实了双层系统在大的层间隧穿极限下与单层系统相似。在强相关双层极限、解耦双层极限和强层间隧穿极限时,可以应用主成分分析的一般方法来确定相的临界边界。 其次,针对具有半填充高朗道能级的量子霍尔系统,本文分别应用机器学习中的主成分分析和神经网络方法对该系统中条形电荷密度波态对抗杂质散射的鲁棒性进行了研究。通过无监督主成分分析法,本文发现,即使存在有限强度的无序散射,条形态的主要特征仍然可以由波函数中的若干主成分共同表达。而这些关联成分随散射强度的协同坍塌,标志着系统由长程有序态向无序态的转变。本文进一步应用主成分分析和神经网络方法确定了这一相变的临界杂质散射强度。这一研究有望为后续在现实的物理系统中实验观测条形相态提供参数依据。 最后,对于填充因子为5/2这一有着偶数分母的特殊单层分数量子霍尔系统,本文用主成分分析法研究了它在粒子-空穴对称性被破坏情况下的行为。通过引入一个模型三体势来表征粒子-空穴破缺的机制,本文发现5/2系统随三体势的强度和方向分别向具有非阿贝尔统计的两类特殊拓扑量子态进行演变。而它们的转变点对应的就是粒子-空穴对称的纯库伦作用系统。由于人们未来期望利用5/2系统中的这两类特殊态来设计量子比特,本文的结果揭示出粒子-空穴破缺对它们的存在将具有关键作用。 本文利用机器学习方法获得的上述研究结果,验证了机器学习作为一种新的研究手段在分数量子霍尔系统中的适用性。更进一步而言,机器学习直接分析原始的波函数,不依赖于先期经验性的理论假设和模型,因而可以被更普遍地推广应用到一些人们还不曾理解的陌生系统。