关键词： 机器学习   入侵检测   网络安全  

摘要： 入侵检测技术是近20年来才出现的一种有效保护网络系统免受网络攻击的新型网络安全技术。随着网络技术的迅速发展、安全问题的日益突出,传统的入侵检测系统已难以满足对越来越复杂的网络攻击的检测任务,将机器学习的技术引入到入侵监测系统之中以有效地提高系统性能,已成为入侵检测技术的研究热点。本文主要介绍了入侵检测系统的基本结构以及几种机器学习方法在入侵检测中的应用,其中包括:基于贝叶斯分类的方法、基于神经网络的方法、基于数据挖掘的方法与基于支持向量机的方法。

关键词： 机器学习法   分子结构   内分泌干扰物   QSAR预测模型   支持向量机   概率神经网络  

摘要： 在环境化学中，定量结构-活性相关方法(QSAR)对于有机化合物的生态风险性评价、污染控制和预防等具有十分重要的意义。QSAR目前已经成为鉴定潜在环境内分泌干扰物的有效工具。本篇论文主要聚焦于目前在计算机领域流行的机器学习方法和它们在建立环境内分泌干扰物QSAR预测模型中的应用。传统的Hansch QSAR模型主要应用于结构差异性较小的同类化合物，将其用于结构复杂、作用机制复杂的内分泌干扰物有一定的局限性.而机器学习方法，则可以克服这一缺点。机器学习是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，是继专家系统之后人工智能应用的又一重要研究领域，也是人工智能和神经计算的核心研究课题之一。本文中第一部分使用机器学习方法所建立的定量模型被用来预测连续范围的值，而第二部分所建的判类模型把化合物分成两类，进行定性预测。\n 在本论文的第二章，我们使用了一种重要的无约束最优化方法--共轭梯度法(CG)来改进目前应用最广泛的BP人工神经网络，用于环境雌激素的QSAR研究。这种两阶段训练法，可以充分利用两种算法的优点，彼此取长补短，有效地克服了单纯使用BP网络所存在的网络训练易于过度、收敛速度慢、预测结果不稳定、易陷入局部极小的问题。得到了稳健、准确的预测模型，模型的R2=0.845，预测集的q2pred=0.81，均方根误差(RMSE)=0.688。所得结果说明这种方法能够为筛选有机物的雌激素活性提供一种迅速、可行的工具。\n 我们在文章第三章使用一种新型的径向基神经网络-广义回归神经网络基于131个结构多样性的雌激素化合物建立QSAR预测模型。从化合物的分子结构计算所得，并且经过客观和主观变量选择后的9个分子描述符作为广义回归神经网络的输入值。广义回归神经网络在选取输入神经元数目之后，网络的结构和连接权值也随之确定，仅需确定一个平滑参数值。通过样本外数据集预测能力与鲁棒性对所建模型进行验证，可以发现模型在预测能力上不逊色于目前所使用的传统方法，并且推广性能强，人为调节参数少，收敛速度快，更为智能化。与BP网络相比，其算法易于实现、结构简单、便于编程。因此，广义回归神经网络可作为内分泌干扰物QSAR研究的有效手段，可以适应在实际应用中满足高通量筛选的需要。\n 我们在文章第四章使用了两种新颖的机器学习方法-概率神经网络和支持向量机，应用于建立判类模型来预测化合物是否具有雌激素活性。从化合物的分子结构计算得到的四个分子描述符被用来作为概率神经网络和支持向量机模型的输入值，这些分子描述符的重要性程度由接受者操作特性曲线进行分级，并且可以揭示出化合物分子与雌激素受体之间的作用机制。为了进行客观的评估，所建立的模型使用5个样本外数据集进行预测能力的验证。通过与文献的比较，我们所使用的两种方法所建模型都能取得另人满意的预测结果，并且概率神经网络操作更简单，所建模型的预测效果也更好。当概率神经网络对Yeast assays数据集进行预测时，所得预测结果的假阴率为零，假阴率是生态风险评估中的重要参数，本文所取得的结果将会为实际应用的毒理学评估提供相对可信的清单。最后，在本文和文献中均被错误预测的化合物被归纳总结，在训练集和预测集中被预测为假阴的物质都被仔细分析，这些工作将会在实际应用中辅助QSAR模型对雌激素的预测，并且有效地降低假阴错误率。\n 在文章的第五章，除了在上章节中介绍过的概率神经网络和支持向量机外，学习向量量化方法也被引入，这三种方法基于11个分子描述符，所建立的判类模型被用来判别化合物的雄激素活性。其中，概率神经网络模型取得最精确的预测结果，其针对样本外预测集的预测准确率达到86.67％，但学习向量量化模型给出了0.00％的假阴率。另外，综合了三种基本模型的共识性模型也被建立。与基本的独立模型相比，共识性模型预测准确率达到86.67％，而假阴率为0.00％。所得结果说明所建立的判类模型能够为迅速筛选潜在的雄激素提供一种可行的工具。

关键词： 机器翻译   译文质量   自动评价方法   机器学习方法  

摘要： 机器翻译是人工智能中最活跃的研究领域之一。作为机器翻译的一个主要分支，基于实例的机器翻译(Example-basedMachineTranslation,EBMT)涉及到许多机器学习问题，并探索了如何在自然语言处理中使用类比和实例复用等认知过程。作为面向特定领域的一个良好切入点，EBMT能够比较经济、快速地建立实用的翻译系统。因此，对于EBMT的研究具有重要的理论意义和实用价值。本文以基于实例的机器翻译方法为研究主线，就其中的一些关键技术进行研究。作为EBMT的重要组成部分，首先研究了翻译实例库的构建方法，并对搭配翻译实例这一翻译获取中的难点进行专门研究。在此基础上，进一步研究基于实例的翻译模型构建问题。另外，还对输出译文质量自动评价方法进行了探索。具体地讲，本文从如下几个方面进行了研究：\n 1.研究了翻译实例库的构建方法。提出了浅层句法信息和概率统计模型相结合的翻译实例获取方法。首先，利用浅层句法信息划分源语言和目标语言的翻译单元；然后，在词对齐结果的指导下，确定候选翻译单元（语块）对齐方式，从而降低了语块对齐方式的搜索空间；最后，通过语块对齐概率模型确定源语言和目标语言翻译单元之间的映射关系，从而获取翻译等价单元。该方法一方面，避免了完全句法分析结果不十分可靠的缺点，同时又利用了统计方法的灵活性和通用性。\n 2.研究了搭配翻译实例的获取。针对翻译知识获取中的难点——搭配翻译实例的获取提出了一种利用单语语料库进行搭配翻译的方法。该方法采用对数线性模型综合利用多种特征信息构建搭配翻译模型，除了搭配内部的翻译概率之外，还进一步引入了上下文信息进行译文消歧，有效地提高了搭配译文的准确率。\n 3.研究了基于实例的翻译模型构建方法。探讨了如何利用机器学习方法（而不是根据人类以往的直觉和经验）来指导EBMT模型的构建。一方面，形式化地构造高维特征空间以涵盖翻译实例库中所蕴含的各类特征信息；另一方面，通过最大熵模型来试图挖掘各类特征信息对于翻译过程的的贡献以及这些信息之间的相互影响。\n 4.研究了输出译文质量的自动评价方法。从EBMT的应用角度出发，与现有的面向参考译文的质量自动评价标准不同，本文探讨了如何在支持向量机的回归模式下对人工评价函数和人工评价过程进行拟合，训练过程中充分采集了精确率、召回率、句法属性、语义属性、频率信息以及编辑距离等多层面的信息特征，从而提高了自动评价方法与人工评价方法的相关性。

摘要： Avalanche forecasting is a complex process involving the assimilation of multiple data sources to make predictions over varying spatial and temporal resolutions. Numerically assisted forecasting often uses nearest-neighbour methods (NN), which are known to have limitations when dealing with high-dimensional data. We apply support vector machines (SVMs) to a dataset from Lochaber, Scotland, UK, to assess their applicability in avalanche forecasting. SVMs belong to a family of theoretically based techniques from machine learning and are designed to deal with high-dimensional data. Initial experiments showed that SVMs gave results that were comparable with NN for categorical and probabilistic forecasts. Experiments utilizing the ability of SVMs to deal with high dimensionality in producing a spatial forecast show promise, but require further work.

关键词： 视频标注   视频检索   机器学习   半监督学习   主动学习   多概念   多模态   镜头大小  

摘要： 随着存储设备、计算机网络和压缩技术的发展,产生了大量的视频数据,如何有效地处理和访问这些数据,成为一个迫切需要解决的问题。视频语义标注可以根据视频所体现的内容按概念对其赋予标号,在此基础上可以实现高效的视频数据处理（如索引、检索和缩略等）。 完全使用人工来实现视频标注任务,无疑可以获得相当精确的结果。然而手工标注是一项费时费力的工作,无法在大规模的数据集和概念集上应用。因此,使用机器学习方法来实现这一任务成了必然的选择。本文主要针对基于机器学习的视频标注展开研究,提出了一系列方法,以期能够对非特定领域数据集和概念集,自动地或在尽量少的人工参与情况下,取得与完全手工标注尽可能接近的结果,达到可实际应用的目的。本论文的主要研究工作如下: 1.在传统的核密度估计方法中引入未标注数据的信息,提出了半监督核密度估计以及半监督自适应核密度估计,以解决视频标注中训练数据不足的问题。传统的核概率密度估计方法形式简单,便于使用,但是其性能非常依赖于训练样本的数目,当训练样本很少时,会导致其性能降低。而在视频标注中,训练数据不足是经常遇到的问题。通过引入未标注数据,可解决这个问题,改善核概率密度估计方法的性能。另外,木文还分析了所提算法和基于图的半监督学习之间的关系。 2.我们提出了一种统一自动视频标注方法。除了训练数据不足的问题.视频标注中还存在着一系列其它的问题,包括维数灾难、距离度量的选择和时间连续性的挖掘。本文通过分析,指出这些问题都可以归结为样本的相似性度量问题或者半监督学习问题,因此这四个问题的应对可以描述为一个多图半监督学习的问题。本文提出一种名为最优多图半监督学习方法,将多张图集成到一个正则化框架中,并且可同时优化这些图的加权系数。 3.研究基于多概念多模态主动学习的半自动视频标注。主动学习是一种人机结合的学习途径,其通过学习和样本选择的迭代进行,可选出比随机挑选方法更为有效的训练集。因此使用主动学习来进行半自动视频标注,是解决训练数据不足的一种新途径。然而已有的主动学习算法大多没有考虑视频标注中的多概念和多模态的特点,本文针对这一问题提出了多概念多模态主动学习算法,可同时考虑这两个问题。在主动学习的每一轮中,具有最大期望性能增益的概念被选择,并且选取一批合适的样本来对该概念进行标注。在选取样本的过程中,从每个模态选取的样本数被限定为与该模态的期望性能增益成正比。之后,对每个模态使用基于图的半监督学习算法来标注该概念。通过这种途径,可充分挖掘人工标注的劳动,在尽可能少人工参与的情况下获得更好的标注结果。 4.研究对视频镜头大小的标注。目前视频标注中的待标注概念大多集中于场景、事件和物体等,而忽略了镜头大小这种特殊的概念。与一般的概念不同,视频镜头大小概念有其自身的特点,例如其互斥而又具有一定的顺序关系。此外,对于视频镜头大小的标注仅采用常用的底层特征很难取得好的效果,而这些概念与一些中层特征,例如视频帧中物体的数目以及大小等,有较强的联系。因此,本文介绍了一种基于底层特征和中层特征互训练的方法来标注视频镜头大小,此外,针对三种镜头大小概念之间的关系,引入代价函数并实现代价最小的判决。 虽然本文所提的算法都是面向视频标注,但是很多方法实质上也能直接应用于其它领域（如半监督核密度估计和多图半监督学习等）,在文中也会有具体介绍。视频标注问题,涉及到机器学习、计算机视觉以及认知科学等多个领域,希望本文的研究工作,也能为相关领域提供一些新的思路与方法。

关键词： Rice Cultivar   Machine Learning Method   Polymorphic Region   Important Crop Plant   Dideoxy Sequencing  

摘要： Motivation The major breakthrough at the turn of the millennium was the completion of genome sequences for individuals from many species, including human, worm and rice. More recently, it has also been important to describe sequence variation within one species, providing the first step towards the linkage of genetic variation to traits. Today, rice is the most important source for human caloric intake, making up 20% of the calorie supply and feeding millions of people daily. The more detailed understanding and findings on the molecular assembly of phenotypic rice varieties will therefore be essential for future improvement in rice cultivation and breeding. In order to reveal patterns of sequence variation in Oryza sativa (rice), the non-repetitive portion of the genomes of 20 diverse rice cultivars was resequenced, in collaboration with Perlegen Sciences, Inc., using a high-density oligonucleotide microarray technology. Methods Based on experience gained in polymorphism studies for Arabidopsis thaliana we developed a method for identifying single nucleotide polymorphisms (SNPs) from the array data using Support Vector Machines (SVMs). In a two-layered approach we trained SVMs to discriminate between SNP and non-SNP positions using information from each cultivar and, in a second step, across all cultivars. Wherever several SNPs or deletion/insertion polymorphisms occur in close vicinity, the hybridisation is suppressed and SNP calling in these regions becomes infeasible. We therefore adapted a machine learning method for sequence segmentation to predict highly polymorphic regions in O. sativa (cf. Figure 1). These regions can then be analysed in more detail using alternative experimental techniques. For training and evaluation we compiled a set of reference polymorphisms obtained by dideoxy sequencing of more than 3,500 fragments from the 20 cultivars. Results Across all cultivars, we discovered 1,349,341 SNPs with the machine learning (ML) method at 316,373 non-red

关键词： 蛋白质—蛋白质相互作用   蛋白质组学   生物信息学   串联质谱   机器学习算法  

摘要： 蛋白质组学成为后基因组时代的热点学科。生物质谱、蛋白质芯片等高通量实验技术的发明极大地推动了蛋白质组学的发展。本文致力于通过生物信息学的方法,进一步提高当前高通量实验技术的效率和精确程度,以更低的实验代价,获得更加全面、准确的实验结果。 蛋白质—蛋白质相互作用在生命过程中起着重要的作用。通过多年的生物学实验,已经积累了大量的蛋白质相互作用数据,但未知的相互作用还有很多。目前筛选蛋白质相互作用的实验方法既耗费人力物力,而且由于丰度抑制的原因而很难鉴定出低丰度的蛋白之间的相互作用。一条更简单的途径是通过生物信息学的方法首先用计算机筛选蛋白质数据库,预测出潜在的蛋白质相互作用,然后再用生物学实验进行验证。这个策略具有比实验手段高得多的通量,而且可以解决丰度抑制的问题。 在蛋白质—蛋白质相互作用的类型中,有相当一部分相互作用是通过蛋白质的某个结构域与其配体蛋白上的一段短肽相结合来实现的,这种结构域被称为多肽识别元件(Peptide recognition module,PRM)。本文的第一章通过研究PRM结合多肽的结合特性,预测了蛋白质—蛋白质之间的相互作用。 以PDZ结构域为例,结合了基于结构的和基于序列的预测方法,本文建立了一个整合的预测系统来预测结构域和配体间的相互作用。在这个系统中,我们提取了结构域和配体三维结构上相互接触的氨基酸残基来代替序列全长,利用三种新型的氨基酸编码方式,用支持向量机和人工神经网络两种机器学习算法分别建立了三个子预测系统,最后将它们的预测结果综合在一起。 用交叉验证的方法来评价,预测系统的特异性为0.99,灵敏度为0.60。然而,由于已知的一个结构域的配体通常只有几十或几百个,远远小于蛋白质数据库的上万个蛋白的规模,仅仅建立在少量数据上的交叉验证的评价结果不一定能保证预测方法在筛选数据库时的成功。为了验证这一点,本文从Swissprot人类数据库中为3个PDZ结构域筛选了配体蛋白序列,预测结果的相当一部分与高通量的体外实验(peptide SPOT array)的结果重合,证明了预测系统的泛化能力。 串联质谱技术(MS/MS)是常用的蛋白质组学研究方法。在这个方法中,蛋白质混合物首先被酶切为多肽混合物,在质谱仪中被离子化,再经过碎裂后产生大量的二级质谱图。数据库检索是常见的质谱数据处理方法。其主要思想是将实验谱图与数据库中的酶切多肽的理论谱图进行比对,通过特定的打分算法,找到匹配最佳的多肽。由于样品和实验原理的复杂性,质谱图带有很高的噪声,为后续的数据处理工作带来了很大的难度。目前已有多种算法用来优化多肽的鉴定,但阳性和阴性的多肽鉴定仍不能够被完美地区分。为了保证鉴定结果的可信,就不得采用更严格的参数限制来去除假阳性鉴定,与此同时不可避免地产生了大量的假阴性鉴定,降低了蛋白质组学研究的效率。 本文的第二章建立了一个新的参数Oscore,对实验谱图与多肽的匹配进行打分。Oscore基于logistic回归模型建立,以18个标准蛋白数据集作为学习集,可以直接地计算出谱图与多肽的匹配为正确匹配的概率。回归模型的自变量包括:SEOUEST软件输出的参数Xcorr,△Cn,Sp(preliminary score)和实验室自制的AMASS(Sun *** Cell Proteomics.2004 Dec;3(12):1194-9)软件的输出参数Rscore,Cont,Matchpct,以及多肽电荷数和漏切位点数(number of missed internal cleavage sites)。AMASS的三个参数考虑了子离子强度和b/y系列离子的连续性的信息,有助于区分阳性和阴性的多肽鉴定。由于上述的8个参数之间具有复杂的相关关系,将它们组合成Oscore可以提高鉴定的准确度。 与常用的软件PeptideProphet相比,Oscore同时在多个数据集上表现出更好的特异性(低假阳性率)和灵敏度(低假阴性率)。这些数据集包括标准蛋白混合物数据集和3个蛋白质组水平的数据集,涵盖了不同的样品复杂度、数据库规模和分离方式,在一定程度上表明了Oscore的泛化能力。通过一个同样基于logistic回归,但只采用PeptideProphet所用参数的新模型,本文探讨了Oscore具有更好的判别能力的原因。 目前的Oscore针对的是具有完全酶切的末端(即多肽的两端都是由胰酶酶切在氨基酸K或R之后产生)的多肽,提高非完全酶切的多肽的鉴定水平将是今后的工作。

关键词： 储备池方法   非线性系统   混沌系统   支持向量机   核方法  

摘要： 混沌理论是现代科学技术中的一朵奇葩,它揭示了复杂系统的内在运行规律。复杂系统常呈现出高度的非线性和初始状态敏感性,初始条件的细微差异也会导致截然不同的系统运行状态。然而这些纷纭杂沓的自然现象都遵循着某种潜在的运行规律,它就是混沌理论所揭示的有序性和确定性。二十余年间,国内外学者着力于混沌时间序列的预测问题研究,其成果颇丰。然而,现存方法大多停留于理论,而忽略实际观测过程中的不确定性,与此同时,预测模型的提取缺乏有效的非线性处理机制,泛化性能及鲁棒性能也存在诸多问题。作为一种针对动态系统的机器学习方法,储备池在混沌时间序列的预测问题中性能卓越;近年来,国内外学者对储备池的预测机制展开研究,但某些性质仍无法较好地解释。基于此,本文以混沌时间序列的储备池预测方法为题进行研究,以期探索储备池的非线性处理机制,另觅新的机器学习方法,主要研究内容包括: 1、分析和建立混沌时间序列的储备池预测模型。对于一些确定性混沌序列,基于储备池的迭代预测方法性能卓越,但其结构设置缺乏合理解释,而且到目前为止,这种方法较好地应用于含噪声的混沌时间序列。针对这些问题,本文首先证明此类模型对非线性系统状态轨迹的逼近特性,并探讨初始状态设置的任意性。其次,本文将储备池模型分为三类:常规状态反馈结构、输出反馈结构和前馈(静态)结构,而著名的迭代预测方法则可由输出反馈结构加以分析。通过进一步对比这三类结构,本文提出了基于储备池的混沌序列直接预测方法,该方法利用预测原点和预测时域之间的关系直接构建预测器。相对于已有的迭代方法,本文所建直接预测器的稳定性可预先加以保障,遂避免由于网络附加回路闭合而产生的稳定性和误差积累问题。 2、提出储备池正则化学习方法。在现有的储备池学习方法中,存在较为严重的不适定性,表现为奇异值分布较连续、条件数较大,得到的输出权值幅值较大,从而为储备池的应用埋下了隐患。针对这个问题,本文提出储备池的正则化学习方法。该方法可通过奇异值截断或惩罚方法实现,其中,截断方法直接处理病态的系数矩阵,通过矩阵的奇异值截断,舍弃较小的奇异值以解决不适定问题;惩罚方法则采用岭回归形式,改善待因子化矩阵的性质,使其对称正定,因而可通过高效的Cholesky或高斯消元法进行求解。此外,本文还探讨了正则化方法应用于含噪声混沌序列预测的理论问题。假设时间序列所含的噪声有界,从变量含误差(Errors-in-variables)模型的角度,可得到由噪声所引起的最坏预测误差。通过最小化该误差,便得到含噪混沌序列的鲁棒最优预测模型,该模型具有惩罚正则化的形式。 3、基于储备池方法,提出无核非线性支持向量机模型。传统的核方法实现了一种静态映射,但较难实现递归结构,因此无法直接处理动态模式。储备池具有“递归核”的功能,并可较好地应用于动态系统辨识。基于此,本文结合储备池的特点和传统支持向量机的处理方法,提出一种不依赖核的非线性支持向量机—支持向量回声状态机(Support Vector Echo-State Machines,SVESMs)。SVESMs的主要特点是不依赖核方法构建隐式的特征空间,它采用随机生成的储备池来处理非线性系统建模问题,在高维的储备池状态空间中进行计算。这种方法便于实现结构风险最小化(StructuralRisk Minimization),并可根据问题的不同引入不同的代价函数,当采用鲁棒损失函数时,SVESMs可处理包含异常点的预测问题。SVESMs可工作在递归模式和前馈模式。相对于传统递归神经网络,工作在递归模式的SVESMs易于训练,不存在局部最小点问题,且预测器精度高、泛化能力强;此外,工作在前馈模式的SVESMs可应用于静态模式识别问题,它具有与传统支持向量机类似的超参数和容量控制方法,但形式上与传统的前馈网络相同,从而建立起神经网络和支持向量机之间的内在联系。

摘要： Elucidating genetic networks provides the foundation for the development of new treatments or cures for diseased pathways, and determining novel gene functionality is critical for bringing a better understanding on how an organism functions as a whole. In this dissertation, I developed a methodology that correctly locates genes that may be involved in genetic networks with a given gene based on its location over 50% of the time or based on its description over 43% of the time. I also developed a methodology that makes it easier to predict how a gene product behaves in a cellular context by suggesting the correct Gene Ontology term over 80% of the time. The designed software provides researchers with a way to focus their search for coregulated genes which will lead to better microarray chip design and limits the list of possible functions of a gene product. This ultimately saves the researcher time and money.

关键词： machine learning   statistics   operations research   data mining   artificial intelligence  

摘要： This article proposes a methodology for the analysis of the causes and types of workplace accidents (in this paper we focus specifically on floor-level falls). The approach is based on machine learning techniques: Bayesian networks trained using different algorithms (with and without a priori information), classification trees, support vector machines and extreme learning machines. The results obtained using the different techniques are compared in terms of explanatory capacity and predictive potential, both factors facilitating the development of risk prevention measures. Bayesian networks are revealed to be the best all-round technique for this type of study, as they combine a powerful interpretative capacity with a predictive capacity that is comparable to that of the best available techniques. Moreover, the Bayesian networks force experts to apply a scientific approach to the construction and progressive enrichment of their models and also enable the basis to be laid for an accident prevention policy that is solidly grounded. Furthermore, the procedure enables better variable definition, better structuring of the data capture, coding, and quality control processes.