关键词： 情感分类   朴素贝叶斯   最大熵模型   支持向量机  

摘要： Web2.0网站的快速发展提供了大量的用户自产生的数据,这些数据中包含了用户的情感倾向,如对某件产品的喜好程度、对公众人物的评价以及对公众事件的看法等。对这些数据进行情感分类可以为买家提供产品好坏的信息、为卖家提供市场对产品接受程度的信息以及为政府决策提供参考等。 目前情感分类的研究工作主要着重于英文文本的情感分类,国内在汉语语言情感分类方面开展的工作不多。本文主要针对文档级别的汉语评论进行了研究,不仅分析了单源数据的情感分类,还分析了多源数据的情感分类。 对于单源数据的情感分类,本文提出了两种方法:一是以评论为元数据的情感分类,目的是选出最优的分类器和特征集;二是以句子为元数据的情感分类,目的是检测断句对单源数据情感分类的影响。实验结果表明经过断句处理的情感分类准确率比没经过断句处理的情感分类提高了六个百分点,达到91%。 对于多源数据的情感分类,本文提出了三种方法:跨类型的情感分类、忽略类型的情感分类和交叉类型的情感分类。这三种方法的实验结果表明,交叉类型的情感分类方法较好,在该方法中多源数据的平均准确率达到82%。

关键词： 生物信息学   机器学习   蛋白质结构类   蛋白质亚细胞定位   转录调控  

摘要： 近年来,随着基因组测序技术和物质结构解析技术的发展,生物序列和结构的数据呈指数形式增长.传统的生物实验方法已不能满足目前处理这些海量生物数据的需要.在这种情况下,生物信息学应运而生,其目的在于通过对生物数据的获取、加工、存储、检索与分析,揭示数据所蕴含的生物学意义.从信息科学技术的角度来看,生物信息学的研究是一个从“数据”到“发现”的过程.基于机器学习的数据挖掘技术在生物信息学研究中正发挥着越来越重要的作用,并取得了丰硕的成果.本文针对机器学习方法在生物信息学中的若干应用进行了研究,主要成果如下： (1)在第二章,提出了两种蛋白质结构类预测的新方法.第一种方法利用基于符号序列复杂度的距离度量构造k-近邻分类器,避免了蛋白质序列特征提取过程中的信息丢失.在标准数据集上的测试结果验证了该方法的有效性.第二种方法把传统的氨基酸组分和双肽组分推广到基于蛋白质序列PSI-BLAST profile(即PSSM矩阵)的情形,并利用支持向量机进行预测.该方法在具有较低序列相似性的数据集上取得了比较满意的预测结果. (2)在第三章,提出了一种改进的伪氨基酸组分模型预测凋亡蛋白的亚细胞定位.该模型利用自协方差变换从PSSM矩阵中提出序列特征,并使用支持向量机作为预测器.测试实验表明该模型具有良好的预测性能. (3)在第四章,首先利用ATTED-Ⅱ数据库提供的基因共表达数据构建了拟南芥全基因组的共表达网络,然后提出一种子图诱导的策略和基于最大团的图聚类算法改进了共表达基因的聚类,最后利用四种经典的模体搜索算法从每一组共表达基因中预测转录因子结合位点.实验结果验证了该方法的有效性和实用性. (4)在第五章,以模式植物拟南芥为研究对象,利用支持向量机预测转录因子和靶基因之间的调控关系.该方法利用基因表达谱数据构造特征向量,并在我们自己构建的数据集上取得了较高的预测准确度.

关键词： 结构化机器学习   条件随机场   稀疏高阶的条件随机场模型   两维Trie结构   序列标注   依存句法分析  

摘要： 相比于普通的机器学习算法,结构化机器学习可以利用结构信息达到更好的效果,但其时间复杂度要高很多,虽然有快速的近似解法,但精度的损失一定程度上抵消了结构信息带来的好处,因此研究快速精确的结构化机器学习算法成了一个重要的课题。 本文中,我们对结构化机器学习中的推断算法以及特征抽取两个重要环节进行改进。首先,我们针对序列标注问题,基于许多实际应用中高阶特征信息的稀疏性特点,提出了稀疏高阶的条件随机场模型和一种新的快速精确的推断算法,它可以同时处理局部特征和稀疏的高阶特征。由于稀疏性的存在,这种新的推断算法是十分高效的。在手写体识别任务上,我们采用词缀特征作为高阶特征,稀疏高阶的条件随机场模型达到了所有公开的实验结果中最高的精度。在中文组织机构名识别任务上,我们将人工抽取的规则转化为高阶特征,并取得了微软亚洲研究院数据集上第二名的成绩。这两个实验表明,在特征集相同的情况下,稀疏高阶的条件随机场模型明显优于其他的方法。 其次,我们提出了一种新的特征字符串索引结构以加速特征抽取,从而缩短解码时间。现在许多结构化机器学习方法采用模板生成数以百万千万的特征。复杂的模板可以产生大量复杂的特征,从而提高了精度,但却需要更多特征抽取的时间,大大影响了解码速度。为此,我们提出了两维的Trie结构,该结构可以利用模板之间的相互关系提高特征抽取的速度：一个模板生成的特征字符串是它的扩展模板生成的特征字符串的前缀,因此前一个特征字符串的索引号可以用来检索后一个特征字符串,从而节约了时间。我们将这种新的数据结构用在基于图模型的依存句法分析的任务上。在中文宾州树库上的实验表明,两维Trie的特征抽取速度是传统Trie的5倍,整个句法分析的解码速度是后者的4.3倍。

摘要： Gene duplication can lead to genetic redundancy or functional divergence, when duplicated genes evolve independently or partition the original function. In this dissertation, we employed machine learning approaches to study two different views of this problem: 1) Redundome, which explored the redundancy of gene pairs in the genome of Arabidopsis thaliana, and 2) ContactBind, which focused on functional divergence of transcription factors by mutating contact residues to change binding affinity. In the Redundome project, we used machine learning techniques to classify gene family members into redundant and non-redundant gene pairs in Arabidopsis thaliana, where sufficient genetic and genomic data is available. We showed that Support Vector Machines were two-fold more precise than single attribute classifiers, and performed among the best within other machine learning algorithms. Machine learning methods predict that about half of all genes in Arabidopsis showed the signature of predicted redundancy with at least one but typically less than three other family members. Interestingly, a large proportion of predicted redundant gene pairs were relatively old duplications (e.g., Ks>1), suggesting that redundancy is stable over long evolutionary periods. The genome-wide predictions were plot with similarity trees based on ClustalW alignment scores, and can be accessed at http://***. In the ContactBind project, we use Bayesian networks to model dependences between contact residues in transcription factors and binding site sequences. Based on the models learned from various binding experiments, we predicted binding motifs and their locations on promoters for three families of transcription factors in three species. The predictions are publicly available at http://***. The website also provides tools to predict binding motifs and their locations for novel protein sequences of transcription factors. Users can construct their Bayesian network

关键词： 音频水印   机器学习   核判别分析   最优水印问题   粒子群优化   多目标遗传算法   变长机制   降采样技术   能量关系调制   能量量化调制   常规信号处理   去同步攻击  

摘要： 随着互联网和数字多媒体技术的迅速发展,人们可以通过互联网等各种渠道方便快捷地获得、编辑、复制和传播越来越多的数字音频。这给人们带来了很大便利,但同时也产生了日益严重的安全问题,诸如数字音频的版权保护等。作为数字音频版权保护的一种重要手段,数字音频水印技术具有非常重要的应用前景,近年来已经取得了快速进展。然而,仍然存在着许多有待解决的关键问题。本文在深入分析鲁棒音频水印方法的基础上,对基于机器学习的水印方法进行了深入的研究,探讨了三种新颖的基于机器学习的音频水印技术。论文的主要内容如下: (1)针对现有的一些基于机器学习方法(诸如神经网络、支持向量机等)的训练算法复杂和训练时间长等问题,提出了一种基于核判别分析的音频水印方法。在降采样技术基础上,设计了一种能量关系调制技术。这种能量关系调制技术主要由两部分组成:一是能量关系的调制,二是DWT系数的比例调制方法。它带来的优点是能够较好地保障水印系统的不可感知性(即含水印音频的听觉质量),并且将能量关系隐藏到音频信号中。基于核判别分析的水印检测器通过学习在音频信号中所隐藏的能量关系以提取出水印。借助于核判别分析的强大的(非线性)学习能力和良好的泛化能力,这种水印检测器具有高的鲁棒性,同时核判别分析的训练算法具有简单、快速的优点。 (2)以寻求不可感知性和同时抵抗常规信号处理操作和去同步攻击的鲁棒性之间的平衡作为优化目标,提出了一种多小波域中的能够抵抗常规信号处理操作和去同步攻击的音频水印方案。首先,采用均值量化技术在时域嵌入同步码,其作用是用于确定水印信号的嵌入位置以抵抗去同步攻击对水印嵌入位置的破坏。其次,设计了一种能量量化调制方法用于实现水印的嵌入。该调制技术以低频多小波系数的局部能量指标作为调制对象,并通过代数学公式导出相应的多小波低频系数的修改公式。最后,利用粒子群优化技术所设计的音频水印优化过程自动地确定水印算法的最优水印参数。所得到的最优水印参数能够使不可感知性和同时抵抗常规信号处理操作和去同步攻击的鲁棒性之间达到最优平衡。 (3)最优音频水印问题本质上应该是一个多目标优化问题。然而,先前的基于遗传算法的水印方法或方案采用一种加权和形式将最优音频水印问题转化为一个单目标优化问题来求解。针对最优音频水印问题的多目标本质,提出了一种用于音频水印算法性能优化的多目标优化框架。以多目标遗传算法NSGA-II为基础,设计了一种具有变长机制的多目标遗传算法及其音频水印优化过程,其中变长机制包括变长染色体、初始化机制、混合交叉操作和变异操作。传统的音频水印算法容易被集成到这个框架中,并且利用这个音频水印优化过程能够为这些传统的水印算法自动地确定最优水印参数和搜索最合适的嵌入位置。此外,Pareto最优解集的多解特性能够为所设计水印系统提供更大的灵活性。

关键词： 机器学习   交叉销售   指纹图像分割   基于内容的图像检索   相关特征映射  

摘要： 随着信息技术的高速发展,人们已在很多应用领域积累了大量的数据,对这些数据进行分析并学习数据中蕴含的知识,成为了这些应用领域的共同要求。机器学习是当前人工智能领域的热点研究方向之一,它本身也是一个应用驱动的学科。已有的研究成果表明,很多应用问题采用机器学习的方法来解决是一种行之有效的渠道或手段。本文针对若干典型的应用问题,采用或提出合适的机器学习方法进行处理,取得了较好的效果。本文工作主要包括以下四个方面的内容： 1.类别不平衡学习、代价敏感学习及其在交叉销售上的应用研究。交叉销售已成为企业盈利的重要手段,如何解决其数据中普遍同时存在的类别不平衡和代价敏感问题是准确预测交叉销售客户的关键,也是难点之一。为解决上述应用问题,本文结合类别不平衡学习和代价敏感学习技术,提出了一种使用最优阈值投票的方法。该方法首先结合过抽样和欠抽样技术获取多个类别平衡的训练数据集,然后在每个平衡数据集上分别训练得到多个底层学习器,最后利用所提出的基于最优阈值的投票集成方法集成底层学习器得到决策模型。在PAKDD 2007数据挖掘竞赛的交叉销售数据集上的实验验证了该方法的有效性。 2.半监督学习及其在指纹图像分割上的应用研究。指纹图像分割是自动指纹识别系统预处理中的关键技术之一。传统的分割方法需要大量已标记的指纹图像作为训练数据,但实际应用中获取标记样本比较繁琐和耗时。本文根据半监督学习的思想,提出了一种基于协同训练的指纹图像分割方法,以综合利用已标记和未标记的指纹图像。该方法在基于像素水平的Coherence、Mean、Variance特征体系下,使用标记盒和支持向量机作为基分类器进行协同训练。在FVC 2002指纹库上的实验结果表明,该方法能够在标记信息较少的情况下取得较好的性能,并且在处理低质量指纹图像时也表现出了较强的鲁棒性。 3.距离度量学习及其在基于内容的图像检索(content-based image retrieval,CBIR)上的应用研究。在CBLR应用中,一个关键步骤就是度量图像间的距离或相似度。距离度量学习可以为给定的任务学习到恰当的距离度量准则并已被成功地应用于很多领域。然而,现有的多数距离度量学习均是离线式的方法,并不适用于CBIR的在线应用环境；现有的少数在线式距离度量学习方法也无法有效地利用图像库中充裕的未标记图像信息。为解决上述问题,本文提出了一种在线式的半监督距离度量学习方法并应用至CBIR中。该方法针对每个用户查询及其后续的相关反馈学习一个距离度量准则。检索任务被设计成一系列的凸优化问题,本文也给出了闭式解以实现快速求解。该方法根据用户的查询和反馈信息来产生约束信息,并基于Qsim的思想有效利用了图像库中的未标记图像。在COREL图像库上的实验也验证了该方法的有效性。 4.相关特征映射及其在CBIR上的应用研究。CBIR系统的最终目的就是依据用户的查询为用户搜索相关图像,其搜索的准确性和可靠性在很大程度上取决于系统内部的排序方法。本文提出了一种基于相关特征映射技术的排序方法。分析显示,映射之后的空间能更好地适用于CBIR的排序任务。本文也设计了一个新的排序算法以快速有效地在相关特征空间中实现排序和检索。该方法避免了高耗费的距离计算,这也大大不同于主流的基于距离或相似度度量的排序方法。在COREL图像库上的实验也表明该方法在检索性能和时间消耗上均优于现有方法。

关键词： .ID pages   Data with Absent   cation of Data  

摘要： This paper discusses the prediction of time series with missing data. A novel forecast model is proposed based on max-margin classification of data with absent features. The issue of modeling incomplete time series is considered as classification of data with absent features. We employ the optimal hyperplane of classification to predict the future values. Compared with traditional predicting process of incomplete time series, our method solves the problem directly rather than fills the missing data in advance. In addition, we introduce an imputation method to estimate the missing data in the history series. Experimental results validate the effectiveness of our model in both prediction and imputation.

关键词： 成分数据:对称对数比转换   非对称对数比转换   成分克里格  

摘要： 地球科学中成分数据(compositional data)非常普通,其在进行空间插值时必须满足4个条件:每一位置各组分之和为常数,每一组分为非负,插值结果无偏最优。本文以土壤连续分类模糊隶属度值为例,数据经对数正态变换、非对称对数比转换、对称对数比转换后进行普通克里格插值结果和成分克里格插值(compositional kriging)结果进行比较。结果表明,对原始数据和经对数正态变换后数据进行插值,每一位置预测结果隶属度之和不能满足常数1。经非对称对数比转换后,插值结果虽然满足各个位置组分之和为1,但是预测结果精度较低,且预测结果空间分布连续性不明显。数据经对称对数比转换后插值结果和成分克里格插值结果,都能满足成分数据空间插值的4个条件,但二者各有优势。相比较而言,对称对数比转换方法得到的预测结果更能体现土壤空间连续渐变特征,而成分克里格插值结果能保证隶属度本身是最优无偏估计。

关键词： 数据挖掘技术   智能推荐   教材管理   分类规则预测  

摘要： 本文主要研究数据挖掘技术在教材管理信息化平台教材选用智能推荐模块中的应用研究。说明了教材选用模块实现的功能,分析了智能推荐在教材选用模块中的重要性,详细阐述了基于属性分类规则预测在教材选用智能推荐实现的过程。

关键词： 遗传算法   机器学习   赋值  

摘要： 主要论述将遗传算子与两个机器学习方法—Michigan法和基于Pitt法的一个演化程序相结合,对某个输入信息通过其预先的属性和属性值,经过分级系统中分级规则,得出有意义的输出结果。并将这一理论应用到归纳推理代数中进行验证。