关键词： 推理机   机器学习   决策树   冲突消解   决策树剪枝  

摘要： 决策树机器学习方法,是一种模拟人类学习行为的有效方法,其核心问题是如何在己知训练样本数据的基础上构建树的拓扑结构。由于机器学习问题是一个与问题域紧密相关的问题,所以不同的应用目标会引发出一些现有理论框架所不能解决,或不能很好解决的更具体更深入的话题。本工作即以汽车变速器故障诊断问题为背景,以ID3算法为基本模型,而展开的面向任务性质的机器学习方法研究工作。 论文工作首先讨论了一种以ID3算法为基础的机器学习算法模型,其本质是对一组离散的目标函数进行逼近。学习后得到的函数被表示为一棵决策树,采用自顶向下的方式贪婪搜索遍历可能的决策空间。以此为基础,针对汽车变速器故障诊断问题,构建了以信息熵为节点分裂准则,以节点数据量,信息熵贡献度,结构深度为分裂停止准则的机器学习算法。 在基本学习模型的基础上,论文工作进一步讨论了决策树的剪枝和冲突消解问题。给出了基于悲观错误修剪和最小错误修剪的决策树修剪准则设计,以及一种新的冲突消解策略设计。 以上述工作为基础,论文工作最后讨论了汽车变速器故障诊断推理机设计问题,包括特征提取、故障诊断知识库与规则库的建立,属性表、决策表的建立,决策树学习建模的问题。并对所建立的决策树模型进行了测试分析。

关键词： 天然产物   合成分子   机器学习   打分模型   药物设计  

摘要： 随着药学的发展，人们逐渐发现通过化学合成的方式寻找新药具有研发成本高，研发周期很长，筛选命中率太低并且毒性很高等缺点，科学家们现在开始更多的从天然产物中寻找新药，天然产物成为药物发现的重要源泉。　　本课题首先研究了Etrl等人已发表的基于分子片段分离天然产物的方法，并通过实验证明该方法在预测分子量较大的天然产物时所存在的不足，之后本课题以多种机器学习算法为基础构建了化合物类天然产物性评价的打分方法，并对比了Etrl等人的方法。　　本文用14132个天然产物分子和42490个合成分子做训练集，用Dragon6.0软件计算得到了2514个分子描述符，并使用WEKA软件内设的CFS算法选出其中相关性最好的46个分子描述符进行模型的构建，构建好类天然产物性打分模型后，用测试集进行预测。结果显示决策树算法对天然产物的预测正确率为93.7％，对合成分子的预测正确率为97.7％，总预测正确率为96.7％;随机森林算法对天然产物的预测正确率为98.9％，对合成分子的预测正确率为99.8％，总预测正确率为99.6％;朴素贝叶斯算法对天然产物的预测正确率为97.6％，对合成分子的预测正确率为98.6％，总的预测正确率为98.3％。　　结果表明，本课题基于机器学习方法构建类天然产物性打分模型不仅对总样本的预测正确率较高，而且对正负样本都有很高的预测正确率，能对天然产物和合成分子进行很好的分离，与Etrl等人的方法相比有更好的准确率和普适性。

关键词： 支持向量机   特征提取   股票预测   金融数据分类  

摘要： 随着信息科技的发展，金融数据处理问题已经不仅仅拘泥于传统的数理统计方法，而更多的与人工智能领域的信息处理方法相结合，并取得了一些有开拓意义的研究成果。特别是支持向量机理论的崛起，为金融数据问题提供了一种新的解决方法。本文的主要工作有以下三方面： 1.建立了一个基于核主成分分析与支持向量机的股票预测模型，选取了纳斯达克指数、标准普尔指数、伦敦金融时报100指数、法兰克福指数、东京日经225指数和香港恒生指数等10种全球股票市场的核心指数十年的数据作为原始数据，将数据进行时间序列处理后，利用支持向量回归机对指数进行预测，取得了良好的效果。对比实验中将特征提取方法PCA与KPCA进行对比，结果说明经过特征提取后的数据的预测准确率要高于不经过特征提取的数据；而KPCA在对股票数据进行重构和特征提取时，性能要优于PCA。 2.建立了一个基于核主成分分析和稀疏的最小二乘支持向量机的上市公司分类模型，并对2004家上市公司进行了分类及绩效评价。最小二乘支持向量机具有快速的特点，但是却缺少了稀疏性。本文中引入了稀疏的最小二乘支持向量机来弥补最小二乘支持向量机的缺点，这使得计算复杂度更低、准确率更高。与其他模型不同是，本文提出了一个多分类的模型，将上市公司分为四类，这与真实情况更为相符，同时实验结果也表明，该模型预测准确率最高可以达到82%。对比实验中，比较了不同特征提取方法对模型的影响，实验结果表明KPCA的性能最好。 3.在金融大数据的背景下，第一次将深度信任网络用于金融数据的分类。实验数据选取了2010年中国A股市场上的2004只股票作为样本，不经过特征选择和提取，直接使用深度信任网络对原始数据进行重建和分类。实验证明，深度学习方法在解决金融大数据问题时具有一定的作用。

关键词： CANCER treatment   CANCER -- Radiotherapy   CANCER genetics   SINGLE nucleotide polymorphisms   MACHINE learning   CANCER research  

关键词： MACHINE learning   BATCH reactors   THERMAL analysis   FAULT tolerance (Engineering)   NEURAL networks (Computer science)   MULTILAYER perceptrons  

摘要： Fault diagnosis of a batch reactor gives the early detection of fault and minimizes the risk of thermal runaway. It provides superior performance and helps to improve safety and consistency. It has become more vital in this technical era. In this paper, support vector machine (SVM) is used to estimate the heat release (Q(r)) of the batch reactor both normal and faulty conditions. The signature of the residual, which is obtained from the difference between nominal and estimated faulty Q(r) values, characterizes the different natures of faults occurring in the batch reactor. Appropriate statistical and geometric features are extracted from the residual signature and the total numbers of features are reduced using SVM attribute selection filter and principle component analysis (PCA) techniques. artificial neural network (ANN) classifiers like multilayer perceptron (MLP), radial basis function (RBF), and Bayes net are used to classify the different types of faults from the reduced features. It is observed from the result of the comparative study that the proposedmethod for fault diagnosis with limited number of features extracted from only one estimated parameter (Q(r)) shows that it is more efficient and fast for diagnosing the typical faults.

关键词： 支持张量机   张量低秩映射   张量分解   张量核函数  

摘要： 在传统的机器学习领域,大多数经典的机器学习算法都是基于向量空间的数据进行设计的。然而在实际问题中,许多实际数据需要通过张量形式才能进行更好的表示。若只是直接的将张量数据其转化为向量数据进行操作,这样因为大量的结构信息的丢失使得学习结果不甚理想。因此近些年来基于张量数据的机器学习方法得到了众多研究者的极大关注。使用张量类型的数据,不但保留了其独特的空间结构信息,同时张量学习方法也可以有效的控制优化问题中变量的个数,从而克服了在向量学习过程中经常出现的过度拟合现象。目前,基于张量数据的机器学习新方法被广泛研究及应用,己成为当今数据挖掘领域的一个新的研究热点。 本文将从最优化方法的角度研究张量数据的学习问题,特别是基于张量数据学习问题的新模型的建立及其相应最优化方法,并将其最终应用于实际问题中。支持向量机方法是基于最优化方法解决向量型数据挖掘的有效方法,本文将以其为基础,针对张量数据建立各类数据挖掘问题的支持张量机新模型及其求解算法。本文所涉及的研究成果主要包括以下几个方面： 1.建立了全新的张量学习框架---低秩支持张量机模型 本文以统计学习理论为基础,讨论了经典支持张量机模型与支持向量机模型中存在的局限性。考虑打破经典支持张量机中张量权重参数的秩一限制,讨论了一种新的低秩映射方法,从而建立了全新的张量学习框架---低秩支持张量机模型。 2.设计了求解低秩支持张量机模型的相关优化算法：张量梯度下降算法与张量二步法 针对低秩支持张量机模型的求解,本文着重讨论了两个基于不同思想的张量优化算法：张量梯度下降算法和张量二步法。张量梯度下降算法通过对优化变量整体梯度的计算,避免了传统张量迭代算法中的大量的交替迭代过程。从而使得新方法在求解速度上得到了大大提升。张量二步法则基于找到一个较优的近似解的思路,通过顺序求解两个目标函数及可行域都更为简单的子优化问题,得到了低秩支持张量机原始模型的一个近似解。 3.不平衡数据分类低秩支持张量机的建立 基于本文所提出的低秩张量学习思想,通过对经典的双子支持向量机模型的推广,本文建立了用于解决张量数据的不平衡学习的新模型LS-TNPPC模型。新模型的提出不仅丰富了处理不平衡数据分类问题的数据挖掘方法,同时也说明了使用低秩张量模型的思想对传统的向量方法进行张量上的推广是行之有效的。 4.核方法张量学习与多标签核支持张量机 本文详细讨论了张量数据应用核方法时应遵循的原则。并根据张量数据的特点,给出了一种可应用于张量数据的核构造方法。通过这种核方法,本文建立了一个用以解决图像场景分类中多标签分类问题的优化模型,在实际问题中也取得了一定的成功。

摘要： The data from genome-wide association studies (GWAS) in humans are still predominantly analyzed using single marker association methods. As an alternative to Single Marker Analysis (SMA), all or subsets of markers can be tested simultaneously. This approach requires a form of Penalized Regression (PR) as the number of SNPs is much larger than the sample size. Here we review PR methods in the context of GWAS, extend them to perform penalty parameter and SNP selection by False Discovery Rate (FDR) control, and assess their performance (including penalties incorporating linkage disequilibrium) in comparison with SMA. PR methods were compared with SMA on realistically simulated GWAS data consisting of genotype data from single and multiple chromosomes and a continuous phenotype and on real data. Based on our comparisons our analytic FDR criterion may currently be the best approach to SNP selection using PR for GWAS. We found that PR with FDR control provides substantially more power than SMA with genome-wide type-I error control but somewhat less power than SMA with Benjamini-Hochberg FDR control. PR controlled the FDR conservatively while SMA-BH may not achieve FDR control in all situations. Differences among PR methods seem quite small when the focus is on variable selection with FDR control. Incorporating LD into PR by adapting penalties developed for covariates measured on graphs can improve power but also generate morel false positives or wider regions for follow-up. We recommend using the Elastic Net with a mixing weight for the Lasso penalty near 0.5 as the best method.

关键词： 自然语言处理   词义消歧   特征工程   机器学习方法   机器翻译  

摘要： 汉语的一词多义现象使机器对自然语言的处理带来了许多困难，很多自然语言处理领域的问题归根结底都是解决词语的歧义问题。如何才能让计算机理解一个歧义词在其特定的上下文中准确的含义是词义消歧需要解决的首要问题。词义消歧对于很多自然语言处理的应用问题都有非常重要的作用，诸如信息检索、机器翻译、文本分类和自动文摘等。 本文研究的是统计学习方法中的有指导的词义消歧方法，这种方法与机器学习方法的结合是当前主流的词义消歧方法。而且这种方法的灵活性好，扩展性高，同时还能够应付语言的发展变化，受到了国内外学者的一致好评。本文主要有以下几部分的研究内容： 首先，研究了词义消歧的多种分类方法，介绍了比较权威的词义消歧评测体系，并提出了在词义消歧的过程中可能遇到的问题及解决方案。 其次，研究了词义消歧特征工程的两方面内容：特征的提取和特征的选择。在特征提取部分，研究了基于滑动词窗和基于句法分析树的特征提取方法，重点阐述了句法分析树的建立过程以及基于句法分析树的特征提取方法的算法流程。在特征选择部分，研究了基于词的特征提取方法，利用句法信息的特点，提出了将句法信息和词性信息融合的特征选择方法。同时，根据朴素贝叶斯模型的鲁棒性和适用性等特点，优化了基于句法树的贝叶斯词义消歧分类模型。 最后，研究了词义消歧模块在机器翻译中的应用。在实际机器翻译系统中加入了词义消歧模块，虽然研究并不完善，得到的结果也不是很令人满意，但也能给机器翻译提供一定的现实意义。

关键词： 语音合成   泰语分词   条件随机场   机器学习  

摘要： 语音合成就是利用计算机等电子设备产生流利语音的技术。在汉语、泰语等语音合成系统中,需要对输入的文本进行分词。在大部分的印欧语系中,词与词之间存在着自然分界符,可以轻易地辨别和标记词边界。在泰语文本中,泰语单词之间则不存在自然分界符。在泰语文本分析过程中,我们需要从连续的泰语字符序列中划分词边界,这也是泰语语音合成的前提。 泰语属汉藏语系壮侗语族壮傣语支。泰语是一种分析型、孤立型语言,单音节词汇占据了大部分基本词汇,泰语通过声调的不同来区分词汇和语法。泰语的构词非常灵活,词的数目非常大,传统的基于字典匹配方法难以构造完备的字典,因此,利用机器学习算法实现泰语分词成为值得深入研究的问题。 本文以提高泰语分词效果为目的,分别采用多种机器学习方法,实现泰语分词。论文的主要工作包括： 1、阐述泰语分词研究现状与背景,结合中、英文及越南语等语言的分词方法,阐述了目前常用的几种分词方法,包括基于词典匹配算法和基于机器学习的方法。 2、阐述了朴素贝叶斯算法分类器,J48决策树算法分类器和支持向量机算法分类器模型,并介绍了在Weka平台下分别使用这三种分类器对泰语文本进行标注和分词的实现步骤。 3、在介绍隐马尔科夫模型和最大熵隐马尔科夫模型的基础上,阐述了条件随机场(CRF)模型的基本原理,以及应用于泰语标记和分词的优势。作为论文的主要内容之一,提出了利用CRF模型实现泰语分词的具体方案。 4、采用四种机器学习,进行泰语分词对比实验,并对实验结果进行分析讨论。 5、对四种机器学习进行不同的字符标注,分析其实验结果并进行讨论。 实验结果表明： (1)多类分类问题中利用条件随机场算法对泰语文本分词的准确率、召回率和F值都远高于朴素贝叶斯、决策树和支持向量机算法的准确率、召回率以及F值。 (2)两类分类问题中朴素贝叶斯算法、J48决策树算法和支持向量机算法的准确率、召回率以及F值都比多类问题分类的高。条件随机场的准确率得到了提高,但是其召回率和F值下降明显。

关键词： 核素识别   支持向量机   数据分析   机器学习  

摘要： 放射性物质目前广泛应用核电、工业探伤、医学检测等领域，其在提供大量便利的同时，一旦发生放射性泄漏事故对人体伤害非常巨大。2011年日本地震所引发的福岛核辐射危机后，社会对放射性物质的危害有了更深刻的认识，对其的使用安全给予了更广泛地关注，核安全监测被上升到前有未有的高度。随着计算机软硬件技术的不断发展，相关技术也不断应用于核素探测中，目前的核素探测装置-能谱仪也在不断的小型化、便携化。与此同时对其核素探测的准确性和快速性提出了更高的要求，为此本文通过支持向量机方法及在核素识别传统方法的深入研究，找到一种适合便携式γ能谱仪的快速核素识别方法。　　本文中的核素识别方法在传统方法的基础之上，做了两个方面的改进：　　一方面，根据核素识别的需要，优化γ能谱解谱方法，尽量保证其简单易行，以实现快速核素识别的目标。γ能谱解谱方法借鉴了传统的方法并在传统方法上针对其优缺点并结合实际需求做了部分改进。为了解决能谱中的涨落问题，在能谱分析中首先采用五点平滑法及 B样条平滑法进行数据平滑。其后为了解决能谱漂移等问题，使用已知能量的核素对γ能谱进行能量刻度。能量刻度完成之后得到以能量和计数为坐标轴的γ能谱进行寻峰计算，在寻峰计算中在现有方法的基础上提出联合寻峰方法来确定全能峰中的特征峰峰位。　　另一方面，在γ能谱解谱的基础之上，对特征峰峰位进行筛选，形成训练样本构建核素库，并引入支持向量机决策树分类方法使用全能峰特征峰峰值数据进行训练，训练完成后构建分类决策树。决策树构建后即可实现对核素的分类识别。