关键词： 支持向量学习机   机器学习方法   分子描述符   变量筛选   训练集设计   二氢叶酸还原酶抑制剂  

摘要： 本论文研究了机器学习方法在化合物的药物活性上,进行分类预测的应用。全文包括两个章节,第一章,叙述了支持向量学习机分类方法以及其它几种机器学习方法,用于分类建模的理论基础;第二章,主要是对方法的实际应用型研究,即机器学习分类方法在二氢叶酸还原酶抑制剂药物的活性分类预测中的运用。 在第一章中,首先对计算机辅助药物分子设计的发展背景及研究概况进行了介绍,并详细阐述了支持向量学习机、人工神经网络,调节性逻辑回归,和K-最临近等机器学习方法的理论基础;对在建模初期,分子几何结构的优化及相关软件进行了说明;概述了用来描述分子物理及化学性质的描述符的定义、名称以及分类;对用于训练集设计的Random Selection算法、Kohonen self-organising maps算法和Kennard-Stone算法,以及用于变量筛选的Metropolis Monte Carlo模拟退火方法和遗传算法进行了阐述;最后就模型好坏的评价标准进行了说明。 第二章主要是用机器学习方法对二氢叶酸还原酶抑制剂,进行了药物活性的分类预测。首先对已知活性的761个二氢叶酸还原酶抑制剂分子结构进行几何构型优化,在此结构基础上,计算了463个组成描述符和拓扑描述符,以此来表征化合物分子的物理及化学特征。在训练集设计时,使用了Kennard-Stone方法和Random方法,对其基础上建立模型的分类结果进行了比较,说明Kennard-Stone方法更适宜于构建模型。因此,在比较建模的机器学习方法时,就只使用了Kennard-Stone方法进行训练集的设计,构造好训练集以及测试集用于建模,并使用预测正确率来评估模型的预测能力。对于支持向量学习机、人工神经网络,调节性逻辑回归,和K-最临近等机器学习方法所建模型的预测结果进行对比,评定支持向量学习机建立的模型最优,有较好的预测结果,其总体预测正确率为89.01%。在此基础上,经过标准化和进行Metropolis Monte Carlo模拟退火算法的变量筛选,对描述符进一步处理,最终筛选出158个对预测结果影响较大的描述符。最终建立的模型的预测结果进一步得到改善,其总体预测正确率提高到了91.62%。说明了通过合适的训练集设计及变量选择,支持向量学习机方法可很好地用于二氢叶酸还原酶抑制剂的活性分类预测。 在二氢叶酸还原酶抑制剂的活性分类预测上,有较好结果的支持向量学习机方法,可通过训练集的设计和变量选择来改善模型。通过使用Kennard-Stone方法进行训练集的设计以及Metropolis Monte Carlo模拟退火方法进行变量筛选,可以有效的减少噪音变量,简化模型,使得模型得到优化,预测结果得到较为明显的提高。

关键词： 隐马尔可夫模型   隐马尔可夫支持向量机   剪接位点   识别   交叉验证  

摘要： 随着人类基因组计划的完成,完整地了解基因组功能,成为了后基因组时代的主要目标。为了实现这一目标,需要从一些局部的关键问题入手,真核基因剪接位点识别就是其中重要和关键的问题。真核基因剪接位点的识别是基因识别中的重要环节,要从大量的符合GT-AG规则的序列中识别出真实的剪接位点,从本质上看,这是一个分类的问题。由于在真核基因剪接位点的识别中引入了机器学习方法,剪接位点的识别率有了大幅度的提高。 真核基因剪接位点是真核细胞生物基因序列中外显子和内含子的相邻区域。如果能识别出真核基因序列中的剪接位点,则可以将基因中的表达区域和非表达区域区分开。为了对剪接位点取得更加精确的预测结果,本文采用HMM方法设计并构建剪接位点识别系统。该系统利用HM-SVM工作集最优化算法训练并优化HMM模型,依据剪接位点附近存在的序列保守性,高效地提取位点附近保守序列在边缘分布与条件分布上的统计特征。实验结果表明,该识别系统在用于剪接位点的识别中,较常用的机器学习方法,获得了更高识别率。

关键词： SNMP   MIB   数据挖掘   分类  

摘要： 网络管理的目标是最大限度地增加网络的可用时间,提高网络设备的利用率、网络性能、服务质量和安全性,提供网络的长期规划。随着网络规模的不断扩大、用户的快速增长,以及日益复杂的攻击和病毒的影响,网络的管理和维护变得越来越重要,越来越困难。 传统网管软件使网络管理者能动态的观察网络中的设备状态及网络位置,但是无法得到各个设备间的故障关联,无法得到各个协议间的性能影响,同样无法发现隐藏的“软性”故障。这些“软”故障往往由网络攻击造成,并且慢性蔓延,往往在造成了实质性的网络瘫痪之前,已经潜伏了很长时间。如何能够在“软性”故障产生初期就能够发现,从而预测到之后实质性网络故障的发生,这对管理网络有重要的现实意义。 网管系统、入侵检测系统、防火墙等网络管理软件每天产生大量网络性能数据和告警。这些数据中有大量潜在的关于网络运行过程中,各个设备的性能数据,这些数据是网络性能的真实反映,隐含着网络各元素间关系的真实情况。基于这些数据而获得的知识对网络的性能分析和维护有重要意义。因此我们必须找出新的方法研究网络性能,而数据挖掘的方法对网络性能知识发现有非常重要的意义。如何将“事后”处理策略变为“事先”,如何能够预测到问题的出现,则是本课题研究的目的。 针对课题,论文主要侧重于通过对网络数据的收集和分析,选定适用的数据挖掘算法,并将分类算法具体应用为决策树算法,重点是解决挖掘方法的选择与多数据源的数据仓库的生成。通过对网络数据的分析,发现要达到预测网络故障的目的,仅仅采集传统网管数据是不够的,需要结合IDS和防火墙的其他针对网络攻击的告警数据。结合后的数据源,满足了系统的需求。在此基础上,研究了网络管理系统的体系结构和诊断方法,确定了模式分类所用到的各种运行数据信息。并且引入了一个改进的决策树算法C5,用这个算法作为数据挖掘的方法对故障信息进行分类。 文中第1章提出了现金网络管理中存在的问题以及基于数据挖掘技术的网络管理系统;第2章通过分析数据挖掘与网络管理技术的理论,提出不同发现模式对网络故障诊断预测的适应性问题,并给出答案,此为文中一个重点;通过前面的分析,第3章将发现方法定为分类方法的决策树算法,并且根据网络数据的特点,给出了关于网络风暴实例的决策树生成过程;文中的另一个重点是数据源的选择与数据仓库生成的问题,这在第4与第5.3节做了详细阐述;第5章主要是对系统实现框架的提出,和各个主要问题的说明;第6章搭建了实验环境并获得了预期的实验结果。

关键词： 蛋白质相互作用   结构域   配体相互作用预测   蛋白质序列编码   机器学习   数据库筛选   多肽鉴定   色谱保留时间  

摘要： 很大一部分的蛋白质相互作用是通过多肽结合型的结构域来介导的，这种结构域包括SH2，SH3，PDZ和MHC等等。然而用实验的方法筛选这些结构域结合的配体费时费力，而且，由于高丰度配体的抑制作用，实验方法很难筛选到低丰度的配体。一种理想的研究蛋白质相互作用的方法就是通过计算机高通量的筛选蛋白质序列数据库，然后再用实验的手段验证计算机预测出来的最可能的相互作用。目前的预测系统通常都在有限样本的交叉验证中表现良好，但这并不能保证他们在实际的数据库筛选中仍有好的表现。本文采用了三种新型的蛋白质序列编码方式，使用机器学习的方法建立了一个整合的预测系统，筛选了Swissprot和Genbank蛋白数据库来预测10个SH3和3个PDZ结构域的配体。预测结果中的部分配体蛋白已经被其他研究者的实验证实为阳性，这说明该系统具有良好的预测能力，它的预测结果对后续的验证实验具有一定的指导意义。 在应用二级质谱图鉴定多肽时，为了降低鉴定的假阳性率，通常会提高检索软件的阈值设定，这种行为导致了多肽鉴定的假阴性率的提高，大大降低了蛋白质组研究的效率。本文构建了经验的多肽保留时间数据库(Empirical Peptide RetentionTime，EPRT)，在二级质谱鉴定中引入了保留时间作为新的参数。在新的实验中，谱图质量低于一定标准的的多肽鉴定，其保留时间还要和它们在EPRT数据库中的经验保留时间相比较，来进一步决定它们是否为阳性鉴定。在18个标准蛋白混合物和尿蛋白质组的实验中，应用保留时间辅助，使鉴定的阳性谱图数增长了15％-60％，阳性多肽数增长了8％-18％。不考虑谱图的质量，仅使用保留时间新鉴定出的谱图的假阳性率为3.7％;如果加上最低的Xcorr阈值来控制谱图质量，则假阳性率降低为0.18％。这种方法可以鉴定出一些不合标准的低丰度多肽的谱图。另外，EPRT数据库也增加了多肽鉴定的可信度，这对那些仅由一张二二级质谱图鉴定出的多肽来讲尤其重要。随着更多的多肽的经验保留时间被收集到EPRT数据库中，质谱鉴定的效率会进一步提高。该方法可应用在任何标准的、可重复的分离系统中。

关键词： 入侵检测   机器学习   支持向量机   数据压缩   特征相关矩阵  

摘要： 入侵检测是一种用于检测计算机网络中入侵行为的信息安全技术,是网络信息安全主动防护技术的基石。针对目前越来越频繁出现的分布式、多目标、多阶段的组合式网络攻击事件,以及下一代互联网可能会出现的未知安全问题,要求提高入侵检测系统的检出效率和智能化的呼声也越来越高。机器学习方法是用于分类和预测的一类方法。近来也在入侵检测领域得到不同程度的应用,但这些方法对于诸如样本相关性大、重复训练样本多、训练时间长以及入侵样本标记困难等问题并没有得到很好的解决。 针对入侵检测特征数据中的重复或相似样本以及各特征参量之间可能存在的相关性,本文提出了一种集成主元分析和免疫聚类算法的特征数据压缩算法——PCA-IC。PCA-IC算法在不损失数据隐含的特征知识的前提下,进行数据压缩,以减少机器学习的样本数。PCA-IC算法先用基于主元分析方法,去除各特征参量之间的相关性,再用免疫聚类方法去除相似样本。在KDDCUP99入侵检测数据集上进行仿真实验,样本的压缩率达到89%。 误用入侵检测是对已知网络系统和应用软件的弱点进行入侵建模,从而对观测到的用户行为和资源使用情况进行模式匹配而达到检测的目的,属于多模式分类识别问题。针对普通多类支持向量机需要使用所有的两类分类器进行计算,重复训练样本多、速度慢、实时性差的问题,提出了一种快速的、带入侵优先级的二叉树结构支持向量机误用检测分类算法——BTPM-SVM。BTPM-SVM方法引入优先级的概念,将多个支持向量机按优先级构成不对称分级二叉树结构,每一级的SVM训练样本数目,随级数的增加而迅速减少,极大地减少了重复训练样本,提高训练速度。在KDDCUP99的误用入侵检测数据集上进行仿真试验,样本的识别率为96%,在相同数据量下节约57%的计算时间。 异常入侵检测是根据网络流量特征和主机审计记录等观测数据来区分系统的正常行为和异常行为。针对异常入侵检测中训练样本是未标定的不均衡数据集的情况,将其视为一个孤立点发现问题。提出了适用于孤立点检测的超球面One-class SVM的异常检测算法。在新墨西哥大学提供的“MIT lpr”系统调用数据集样本上进行仿真试验,在1001个异常样本中被正确识别1000个。 用户异常检测是对系统中一些合法用户的行为进行监察,以防止这些合法用户进行非授权操作,或者防止其他用户冒用这些合法用户的账号进行非法或恶意操作。采用相关出现矩阵的二维建模方法来模拟用户行为,同时针对样本维数庞大的特点,采用主元分析法进行样本的降维处理,再对处理的样本采用多分类支持向量机方法进行识别。通过SEA数据集进行性能测试,样本的识别率为80.4%。 为了实现IPv4网络向IPv6网络的顺利过渡,以保障下一代互联网安全有序的运转。基于上述算法,设计并实现一个基于机器学习技术的入侵检测原型系统——MLIDS。MLIDS原型系统在IPv4和IPv6环境下的仿真试验的检测率分别达到97%和98%,有较高的检测准确度,证明了所提出的BTPM-SVM和超球面One-class SVM算法的有效性和实用性。

关键词： 模式识别   生物信息   序列数据   分类预测   特征提取   相似度   线性降维   数字信号处理   互信息   决策树   膜蛋白   信号肽  

摘要： 序列数据是数据挖掘问题中一类特殊数据,广泛存在于社会生活各个领域,如何从这些复杂海量序列数据库中挖掘蕴含其中的有用信息是数据挖掘的新研究课题,具有重要理论意义和实际价值。本论文以蛋白质序列数据为例进行序列数据分类研究,亦为生物信息学中课题。 论文围绕蛋白质序列数据的分类预测这一主题,在综合众多序列数据分析算法的基础上,将序列特征分析归纳为两类主要方法,基于特征提取的方法和基于相似性模型的方法,由此将研究路线分为两条。一方面基于特征提取方法,分别针对膜蛋白及信号肽序列,根据序列各自特性提取相应特征进行分类。另一方面,基于相似性模型,提出基于全序列比对的相似度以预测信号肽,进而嵌入核空间提高预测稳定性,达到提取序列明确属性向量的目的,至此实现两条技术路线的统一。论文还进一步通过线性降维实现冗余及不相关维数约简及可视化。总的来说,本论文集中于蛋白质序列的分类预测研究,着重于以下几个创新点: (1)针对不同序列有区别有目的地提取序列特征生成属性向量,从而训练分类器并提供对新样本的预测。其中对于序列长度相对较长的膜蛋白序列,首先进行数值化编码生成时间序列,将其作为各样本以不同时间间隔抽样的离散信号,从而基于数字信号处理理论进行序列分析,避免了以往算法忽略序列次序信息的缺点。分析发现借助信号低频的幅度及相位信息,可以有效提取序列特征并可减少噪声带来的影响。实验结果表明这种基于频域的特征提取方法可以有效提取膜蛋白序列特征,以利于分类预测。 (2)在对序列长度相对小的信号肽序列预测时,采用滑动窗截断的方式将不等长序列转换为固定长度的序列片断,经过互信息分析发现其内部各位点间存在复杂的耦合作用,针对已有算法盲目定义这种耦合作用的情况,提出基于多决策树方式提取规则,并借助其识别信号肽及其断裂点。经实验证明这种处理方式在信号肽预测问题中可有效提高序列片断及信号肽剪切点的预测率。 (3)以相似性作为分类预测的基石,定义基于全序列比对的相似度预测信号肽,避免了采用滑动窗所带来的不平衡样本等诸多问题。通过分析此相似度的数学特性,详细证明其为一种度量。另外将其应用于信号肽预测中,在预测率及稳健性方面获得了良好效果,结果表明此相似度确实可以表征样本之间的相似关系,并为预测分类提供了良好的信息表示方式。提出的算法已经通过internet在网上提供相应使用服务,为扩大算法的使用范围提供了快速有效的途径。 (4)探讨非正定核的处理方法,在分析基于全序列比对的相似度与欧氏距离偏差基础上,提出基于全序列比对的非正定核算法,并应用于信号肽分类预测中;另一方面,在保证预测率的前提下,实现提取序列样本特征向量的目的,将问题重新化归于基于特征的模式识别问题。实验结果表明算法确实可以有效提取蛋白质序列特征,方便信号肽预测工作。 (5)针对线性降维中的“小样本问题”,充分利用类内离散度矩阵的空空间的特性,提出新的降维方法,且有效处理了小特征值导致的不稳定问题。信号肽预测工作中,在已经得到高维属性向量前提下,约简大量冗余和不相关属性,提高处理效率并实现了可视化的要求,取得了理想的效果。

关键词： machine   learning   support   vector   machines   artificial   neural   networks   structure   risk   minimization   yarn   quality   prediction  

摘要： Although many works have been done to constructprediction models on yarn processing quality, the relationbetween spinning variables and yam properties has not beenestablished conclusively so far. Support vector machines(SVMs), based on statistical learning theory, are gainingapplications in the areas of machine learning and patternrecognition because of the high accuracy and goodgeneralization capability. This study briefly introduces theSVM regression algorithms, and presents the SVM basedsystem architecture for predicting yam properties. *** which amounts to search in hyper-parameter spaceis performed for study of suitable parameters with grid-research method. Experimental results have been comparedwith those of artificial neural network(ANN) models. Theinvestigation indicates that in the small data sets and real-life production, SVM models are capable of remaining thestability of predictive accuracy, and more suitable for noisyand dynamic spinning process.

关键词： 机器学习   神经网络   知识发现   数据挖掘  

摘要： 学习是人工智能研究中非常活跃且范围甚广的一个领域。学习研究的动因很多,最主要的动因在于让机器完成某些任务,从而使其在某些方面服务于人类。本文介绍了机器学习的定义和基本结构,阐述了各种机器学习方法,包括机械学习、归纳学习、类比学习、解释学习、基于神经网络的学习以及知识发现等。

关键词： 环氧化酶-2抑制剂   分子描述符   机器学习方法  

摘要： 与传统的非甾体类消炎药相比,选择性环氧化酶-2抑制剂具有无胃肠道粘膜损伤,溃疡和肾功能障碍等严重的副作用,设计选择性环氧化酶-2抑制剂具有重要意义。本文用支持矢量学习机和神经网络两种机器学习方法建立选择性环氧化酶-2抑制剂的活性预测模型,以期为选择性环氧化酶-2抑制剂药物的合成提供先导化合物。我们将467个环氧化酶-2抑制剂用Kennard-Stone方法分为训练集,验证集和独立测试集,对每一抑制剂分子我们计算了463个包含组成描述符和拓扑描述符的分子描述符来表征其分子结构,并通过F-Score方法选取最重要的分子描述符用于分类模型的建立。结果表明,SVM方法通过变量筛选后具有很好的预测能力,其预测正确率达到93.30%。

关键词： Genes   Support Vector Network   Dataset   Binding Sites   data integration   Machine Learning   Learning methods   Artificial Intelligence   online databases   Biological data   Classifiers  

摘要： Gene expression is modulated by transcription factors (TFs), which are proteins that generally hind to DNA adjacent to coding regions and initiate transcription. Each target gene can be regulated by more than one TF, and each TF can regulate many targets. For a complete molecular understanding of transcriptional regulation, researchers must first associate each TF with the set of genes that it regulates. Here we present a summary of completed work on the ability to associate 104 TFs with their binding sites using support vector machines (SVMs), which are classfication algorithms based in statistical learning theory. We use several types of genomic datasets to train classifiers in order to predict TF binding in the yeast genome. We consider motif matches, subsequence counts, motif conservation, functional annotation, and expression profiles. A simple weighting scheme varies the contribution of each type of genomic data when building a final SVM classifier, which we evaluate using known binding sites published in the literature and in online databases. The SVM algorithm works best when all datasets are combined, producing 73% coverage of known interactions, with a prediction accuracy of almost 0.9. We discuss new ideas and preliminary work for improving SVM classification of biological data.