关键词： 机器学习方法   朴素贝叶斯分类器   特征构建  

摘要： piRNA的识别是目前生物信息学领域研究的热点问题之一。piRNA，又称Piwi-interacting RNA是一类重要的非编码小RNA，其长度大约是25到32个核苷酸，可以和Piwi蛋白结合形成piRNA复合物，并且与RNA沉默作有关。目前对于非编码RNA的研究工作主要分为两个方面，一是大规模非编码RNA的鉴定，主要借助于计算机，从已有的非编码RNA中提取特征信息，然后将特征信息进行全基因组尺度的识别；二是采用基因组学和实验方法研究非编码RNA的功能。本文以人类、小鼠、大鼠、果蝇等模式生物作为研究对象，通过搜集现有经实验验证的piRNA序列构建训练集合，分别构建了基于核苷酸组分和物理化学性质分类的多种特征表示模型，并采用朴素贝叶斯分类器结合5轮交叉检验的方法进行预测。最后对各种模型的预测结果进行了比较。结果表明k-mer频率结合核苷酸分类的特征组合模型得到了较好的预测性能，总准确度达到82%多，高于k-mer频率等的特征模型。 本文的主要内容安排如下： 第一章简述生物信息学的主要研究内容及本文的主要工作； 第二章概述非编码RNA的分类预测问题的背景和研究现状； 第三章介绍常见的特征构建和机器学习方法，包括k-mer法、核苷酸分类的特征表示方法、K-2阶马尔科夫模型等； 第四章介绍本文的主要工作——基于朴素贝叶斯的piRNA的识别问题研究； 第五章总结及未来展望。

关键词： 设计参数   缺陷   辨识   支持向量机   神经网络  

摘要： 机械产品设计参数的选择是决定产品质量的关键因素，因产品参数设计不合理引起的设计缺陷是造成产品开发周期延长、影响产品市场竞争力的的主要原因之一。为了在设计阶段初期实现机械产品设计参数缺陷的辨识，本文提出了基于支持向量机(SVM)以及人工神经网络(ANN)的参数设计缺陷辨识模型，对模型构建、参数选择及结果分析等内容进行了较为深入系统的研究。 针对高速机车车轴设计中因参数设计不合理造成的设计缺陷，提出了一种基于改进型支持向量机分类算法的设计缺陷辨识模型。考虑到设计样本间的差异和不同特征参数对设计结果的影响，采用了样本加权和特征加权相结合的方法改善模型。针对支持向量机参数选择难的问题，提出了基于支持向量回归(SVR)算法确定该模型的参数，可快速找到理想的模型参数以提高支持向量机的分类精度和泛化能力。考虑机车车轴轮座区参数设计不合理造成的几类设计缺陷，采用支持向量机分类算法对设计样本进行学习训练，建立了SVM模型，实现了对新车轴设计参数的缺陷辨识。 产品的设计缺陷不仅仅因为几何设计参数的设置不合理，还与包含产品材料选择、加工工艺参数设置、结构参数等广义设计参数有关。本文提出了基于BP神经网络的参数设计缺陷的辨识方法，以汽车保险杠的设计为研究对象，从保险杠的众多设计参数中选择对其质量影响重大的若干参数，通过对神经网络的训练实现了保险杠表面缺陷及整体缺陷两种类型设计缺陷的识别。 考虑产品同其他零部件发生诸如装配、加工等约束关系时，受外界约束参数影响而造成设计缺陷的现象，采用一类神经网络改进算法构建基于设计参数约束关系的缺陷辨识模型，研究约束参数变化对设计结果造成的影响。针对机械产品设计参数的随机性，引入设计参数灵敏度的概念，在神经网络模型的基础上计算各个随机设计参数的灵敏度，获得了设计参数随机变化对设计结果的影响，达到了指导设计参数、加工参数及装配精度参数选择的目的。 本论文研究的基于机器学习算法的设计缺陷辨识方法为机电产品参数设计缺陷辨识问题提供了一套行之有效的理论、方法和技术。

关键词： 多序列比对   DNA微阵列数据   隐马尔可夫模型   聚类算法   生物信息学   转录因子结合位点   集成学习   共变模型   随机上下文无关文法   非编码RNA   序列-结构比对   最大边权团   最小割  

摘要： 生物信息学是一个新兴的跨学科研究领域,通过采用计算方法来解决分子生物学问题,最终目的是能够发现隐藏于海量生物数据中的生物模式和信息,并应用这些信息来提高对一些重要的生物运行机制的理解。生物序列分析则是生物信息学领域重要的基础性研究工作。近年来,随着生物学实验数据的爆炸式增长,机器学习方法在生物序列分析和重要信息的提取中发挥着越来越重要的作用。机器学习通过建立适当的统计模型,可以捕捉隐藏于大量实验数据中的复杂模式并基于它们做出决策。因此,机器学习方法特别适用于类似生物信息学的拥有大量数据但相应理论很不完善的领域。 本文围绕机器学习方法在生物序列分析中的应用展开研究,主要做了以下工作： 1、求解多序列的最优比对是一个NP问题,目前已有大量的方法和程序被开发出来用于蛋白质多序列比对。但是,这些方法大多数都是使用优化得分函数的方法获得最佳或接近最佳的比对,因此只能产生一个单一的比对结果。最近的研究工作发现,通过最优化得分函数的方法取得的最佳序列比对结果,往往并不是最具有生物学意义的比对。因此,本文提出一种基于集成学习的多蛋白质序列比对方法,将隐马尔可夫模型作为集成学习中的基分类器,在对训练集中的序列进行排序后依次与隐马尔可夫模型进行比对,根据比对结果优化模型参数,最后生成一组分数较高的比对结果。在构建集成学习系统时,提出并证明了一种双序列比对方法,可以精确计算出两个给定蛋白质序列的具有领先分数的若干个比对结果,其计算的时间复杂度为二次函数。此外,针对蛋白质二级结构信息对序列比对结果的影响,在之前模型的基础上进行改进,通过一个匹配矩阵实现蛋白质二级结构的匹配分数计算,并初步分析和探讨了引入二级结构信息对不同测试组的比对精度影响。 2、针对目前基于共变模型的非编码RNA序列搜索软件计算效率低的缺点,对传统共变模型进行了改进。首先,对非编码RNA家族的成员序列与该家族的共变模型比对的结果进行了分析,结果表明在共变模型的任何状态,最优比对的子序列长度大多与一致结构的长度相差不多。据此,将RNA家族的二级结构分成若干个基本的结构单元,其中每一个结构单元代表二级结构中的一个茎或环,并为每个结构单元增加了长度限制。设计了一种结构单元的长度限制计算方法,在计算出上、下限的同时,给出相应的置信度。并根据各个结构单元的长度分布对家族中的序列在进化过程中出现插入和删除的次数进行了限定,从而显著降低了序列结构比对的计算时间。 3、转录因子结合位点在基因调控中起着非常重要的作用,准确预测它们在启动子区域的位置可以有助于理解特定基因的表达水平的调节。针对转录因子结合位点的识别,已经开发出了很多的计算方法和工具,但其预测的准确度并不理想。本文提出了一种基于图论的转录因子结合位点的预测方法。通过一个无向有权图来模拟同源基因的启动子区域内的所有子序列和它们之间的关系,从而把问题转化为图的最优化问题。同时,为了提高寻找问题的最佳解决方案的速度,提出了一种预处理技术,可以显著降低图的大小。最后,设计了一种枚举算法搜索图模型中的最大边权团,最大边权团对应的子序列即为预测的转录因子结合位点。 4、传统的聚类方法在用于DNA微阵列数据分析时,多数只能生成一种聚类结果,无法识别出与多组不同的基因表达模式相类似的基因。针对该问题,提出一种基于图形模型和图割算法的DNA微阵列数据聚类方法,将样本空间的整个数据集表示为一个有权图,然后迭代地求解图的最小割权值和第二小割权值,根据图割,将图分割为子图。此外,在数学上证明了图的第二最小割可以在多项式时间内算出。对高连通图的定义进行引申后,用于无向有权图中,并将高连通图的判据作为图分割的终止判据。

关键词： 人体运动捕获数据   运动风格   运动合成   独立成分分析   主成分分析  

摘要： 随着以三维电影和游戏为代表的数字媒体娱乐产业的兴起,计算机动画技术的得到了长足的发展,已经成为国内外学者研究的热点。其中,人体运动捕获技术因其相对于其他运动生成技术的巨大优势,在科学研究和商业领域中应用十分广泛,但人体捕获技术也存在捕获成本昂贵、运动捕获数据重用率低等问题。如何对运动捕获数据进行重用,利用已有运动序列获得新的运动,具有非常重要的研究和经济意义。 人体运动合成是指通过对运动数据库中的已有运动进行修改,产生符合要求的新的运动片段。本文工作的意义在于,通过机器学习算法中的成分分析方法对运动数据建立语义化参数模型,利用带有具体语义信息的低维参数控制具有高维特性的人体运动序列,从而合成出逼真、自然的运动片段。主要包括以下3方面内容。 1.基于独立成分分析的运动风格迁移算法。该方法将单个运动序列的每一帧作为样本,对两个具有不同风格的相似运动序列的组合进行独立成分分析,提取出独立成分中变化趋势差异较大的独立成分进行选择,将带有特有风格的独立成分分量在两个运动序列中迁移,合成出新的运动序列。通过实验验证了该算法能够实现运动风格的迁移。 2.基于主成分分析和分块主成分分析的人体运动合成。基于主成分分析的人体运动合成算法对运动数据库中的相似运动片段进行处理,将高维运动数据映射到低维空间中,通过修改低维参数合成新的运动,该算法存在低维参数的不可理解性问题。本文在此基础上,提出了一种基于分块主成分分析的人体运动合成方法。该算法根据人体骨骼模型对运动数据分组,对每个分组分别进行主成分分析,所获得的低维参数具有特定的语义。通过实验证明,用户可以直观地理解低维参数的语义,其算法效率也达到实时水平。 3.基于独立成分分析和分块独立成分分析的人体运动合成。基于独立成分分析的人体运动合成算法过程与基于主成分分析的人体运动合成算法相似,采用独立成分分析对运动数据进行处理,获得的低维语义参数解决了可理解性问题。本文对该算法进行了改进,结合独立成分分析与运动数据分组思想,提出了一种基于分块独立成分分析的人体运动合成算法。通过增加分组内独立成分的个数,提高了局部运动细节控制力度。实验证明,改进后的算法在满足用户要求的同时,降低了用户的交互复杂度。

关键词： 医学图像处理   机器学习   病理学穿刺样本   计算机断层扫描   直推式学习   代价敏感学习   多模态数据   稀疏表示分类器  

摘要： 医疗成像设备的发展和普及,大大促进了医学图像处理研究。作为医学图像处理的重要方法,机器学习技术扮演着重要的角色,已经成为最常使用的处理方法之一。本文围绕医学图像处理的两个应用：“肺癌病理细胞图像识别”和“前列腺CT图像分割”,针对其中存在的现实问题,尝试使用机器学习技术来解决。在本文中,我们提出了以下创新技术：(1)一种直推式代价敏感分类器mCLRLS (Multi-class Cost-sensitive Lapla-cian Regularized Least Squares)。为了解决肺癌图像分类错误诊断严重性不一致的问题：将正常图像错分为癌症图像意味着需要医生重新确诊,而癌症图像错分为正常图像意味着病人很有可能失去最佳治疗机会,引入了代价敏感学习中不同类别的错分代价不同的假设；与此同时为了减轻病理学家花费在标记大量病理学切片上的工作负担,引入了直推式学习中的拉普拉斯正则化项,假设未标记图像和已标记图像满足流形假设；在此基础上提出了新的直推式代价敏感学习分类器：mCLRLSo在真实肺癌病理图像数据集上有效地解决了所提出的问题。(2)一种多模态稀疏表示分类器mSRC (Multi-modal Sparse Representation-based Classification)。为了进一步提高癌症类型分类性能,研究了多模态信息对于不同癌症类型分类的作用,并在此基础上提出了一种多模态稀疏表示分类器(mSRC)。通过引入了多视图学习问题中的大差异性原则,采用遗传算法来指导多模态字典学习,保证单个模态的判别性和多个模态之间的差异性；最后通过层次融合策略来预测未知图像的类标。实验验证合理利用多模态之间的判别性和差异性信息将会有效地提高分类性能。(3)一种基于直推式学习的特征选择方法tLasso (Transductive Lasso)以及一种基于流形正则化的加权回归算法wLapRLS (Weighted Laplacian Regularized Least Squares)。传统的基于机器学习的前列腺图像分割方法分割结果受到病人前列腺移动幅度大小的影响,针对这一问题提出了一种交互式的前列腺图像分割方法,目的是花费少量医生的手动标注时间来提高分割效果。引入了直推式学习理论,在此基础上提出了病人特定信息的感兴趣区域提取方法IPRE (Iterative Propagation-based ROI Extraction),提出了基于直推式学习的特征选择方法tLasso,以及提出了基于流形正则化的加权回归算法wLapRLSo在真实CT前列腺图像集上进行验证,并取得了令人满意的分割效果。(4)一种基于直推式空间约束特征选择方法SCOTO (Spatial-COnstrained Transductive LassO)。为了解决基于机器学习的分割方法中,CT图像不同区域形态变化较大的问题,提出了基于直推式空间约束特征选择算法SCOTOo SCOTO能够针对不同局部区域选择不同的特征,同时保持相邻区域特征的平滑性,并在此基础上设计了一种可行的基于投影梯度下降的优化方法来求解该问题。实验效果在真实CT图像集上得到了有效的验证。

关键词： 前列腺   机器学习   深度神经网络   空间金字塔  

摘要： 前列腺癌是男性生殖系统最常见的恶性肿瘤，被视为危害中老年男性健康的主要原因之一，只有早发现、早治疗，才不会错过治疗的最佳时机。前列腺病理切片图像自动分析的核心算法，已成为国内外学者的研究热点。因此，研究前列腺病理切片的自动分类算法，对开发前列腺计算机辅助诊断系统，辅助医生诊断，有很大的帮助。 为提高医生工作效率和防止前列腺病理图像人为标记失误，本文提出了一种基于深度学习的前列腺病理图像组织来源的判断算法。该算法首先对前列腺病理图像按图像块进行随机采样，并通过白化等预处理后，用深度学习算法对这些采样图像块进行无监督的学习，然后将学习到的特征作为Softmax回归分类器的输入，对随机采样的图像块分类,最后利用ROC(Receiver Operating Characteristic)曲线，选取合适的阈值，对整幅图像进行分类，实现对前列腺病理图像组织来源的判断。 在前列腺癌病理图像识别方面，癌变前列腺病理图像空间整体结构相比正常前列腺病理图像有以下差异：前列腺间质结构紊乱，方向不规则;腺腔区域变小，甚至无腺腔;细胞核散乱分布。本文利用基于空间金字塔匹配(Spatial Pyramid Matching,SPM)的词袋模型(BagofWords,BoW)方法，对前列腺病理图像空间整体信息进行描述，最后用SVM分类器进行分类。 实验结果表明，本文提出的前列腺病理切片图像分析方法是可行的，具有较好的鲁棒性。

关键词： 网络流量预测   支持向量回归机   全局人工鱼群算法   ARMA   组合预测模型  

摘要： 随着互联网的迅速发展，互联网应用不断推陈出新，网络系统日益复杂。为了更好的控制网络行为、配置网络资源，应对网络攻击，也为了设计出更合理的互联网系统，就需要对复杂的网络行为进行分析和预测。网络流量的建模与预测对于监测网络行为、保证网络安全有着非常重要的意义。当前的研究表明，网络流量序列呈现出复杂的特性，如自相似性、长相关性、多重分形性等，且传统的网络流量预测方法和模型已经难以刻画日益复杂多变的互联网行为了。 论文对网络流量的复杂特性进行了简单的介绍，并从线性模型、非线性模型、组合模型三个角度分析了传统的网络流量预测模型的特点，对比了这些模型的优缺点。机器学习方法中的支持向量回归机算法是进行网络流量预测的重要智能方法，论文先对机器学习和支持向量回归机预测方法进行了简单的介绍，然后提出了两种基于它的改进模型。 针对支持向量回归机预测模型的参数选择方法上的不足，将一种新颖高效的智能搜索算法-全局人工鱼群算法运用于支持向量回归机的参数择优过程中，选择出使支持向量回归机的预测效果最好的一组参数，建立预测模型，并将这种模型运用于网络流量预测当中。仿真实验表明，这种预测模型与其它两类通过优化支持向量回归机的参数择优过程的改进模型相比，预测精度高，且稳定性强。 针对网络流量序列既具有短相关性，又具有长相关性的特点，先使用小波将原始序列解成两个子序列，使用在短相关领域表现良好的ARMA模型对原始序列的短相关的部分进行建模和预测，再使用在长相关领域表现良好的SVR模型对原始序列的长相关部分进行建模和预测，然后将两部分的预测结果融合，得到最终的预测结果，并将这种模型运用于网络流量预测当中。仿真实验表明，这种组合模型与单独的两个预测模型相比，预测效果好。

关键词： 核机器学习方法   机器视觉   缺陷检测   核主成分分析   核对齐  

摘要： 高精度印刷品生产过程中，易产生墨色堆积、混色、拉道子、甩色、缺印等问题，导致不合格品出现。采用视觉技术检测产品质量，并自动剔除不合格品，是提高生产力的最有效途径之一。在光源、相机等硬件条件确定的前提下，视觉检测技术的性能取决于图像处理能力。基于核机器学习的图像处理方法，集统计学习理论、核方法于一体，是处理非线性数据的有效手段之一。本文在高精度印刷品质量检测智能算法研发课题的支撑下，在深入分析研究核机器学习方法的基础上，结合高精度印刷品视觉检测的应用背景，以提高检测性能为目标，重点对图像处理系统中图像复原算法的改进、训练集的选择、核函数及参数的优化学习进行研究。 论文完成的主要内容包括： 1)在对核主成分分析深入研究的基础上，针对印刷品质量检测中存在的复原图像模糊问题，提出一种新的基于核主成分分析的图像复原算法。该算法假设同种印刷品的图像样本分布满足局部线性性质，利用图像样本在特征空间中的线性分布特征来计算最近邻居。然后依据最近邻居构成的线性几何结构，把残差最小化作为图像复原的优化目标，并用固定点迭代法对优化问题进行求解。最后给出所采用迭代格式的收敛性分析。通过数值实验，验证了算法的合理性与理论分析的正确性。实验结果显示，该算法的复原误差较现有算法降低了一半，同时解决了复原图像的模糊重影问题。 2)为提高图像处理的计算速度，提出了基于图像样本空间分布的选样算法。该选样算法不仅考虑了数据库中样本的分布密度，同时把边界图像样本选入训练集。基于核方法的图像处理系统中，包含N个图像样本的训练集，对训练集特征进行提取的算法时间复杂度是O(N3)，单个样本的检测时间复杂度是O(N2)。实验结果显示，在图像复原信噪比近似相等的前提下，当参与计算的500个样本减少到100个时，训练时间缩短了99.2%，检测时间缩短了96%。 3)为提高图像处理的计算精度，提出了基于核对齐的选样算法。基于核对齐选择显著图像样本算法，将图像样本对核矩阵的贡献作为选样标准，把对核矩阵有最大贡献的显著图像样本逐个从大数据集中选择出来，构成训练集。此选样算法便于新图像样本的选择与添加，选样与训练集更新可在线完成。当基于核对齐的选样算法应用于图像处理系统时，采用随机选择的100个样本与利用核对齐选择的100个样本，分别进行训练与图像复原测试，结果显示平均复原误差从1312.7个灰度值降到了462.9个灰度值。 4)设计了把标准化内积矩阵作为目标，学习核函数及其参数的算法。此算法可用于多元回归与非监督问题。并利用核对齐能有效度量核函数与目标函数相似度的性质，提出利用核对齐学习核函数的方法。经理论分析与研究发现，包含组合系数与高斯带宽两个变量的核对齐函数至多存在两个驻点，并依此提出计算该驻点的迭代算法。通过两组数值实验，对采用核对齐学习核函数的方法进行了验证，实验结果显示，采用学习的核函数及参数得到的计算结果接近统计最优值。 5)在对核机器学习方法中学习向量值核函数、学习半正定矩阵值核函数与多核学习三个扩展方向深入研究的基础上，提出了学习矩阵值核函数的方法。实验结果显示，学习的向量值函数和多元核函数有效的解决了多类问题、多元数据降噪与多元回归问题。

关键词： 养殖布局   支持向量机   水动力模型   桑沟湾   多输出支持向量机  

摘要： 海洋生物种类繁多，为人们提供了大量的化学能源、矿物能源、食用药用能源以及空间资源，因此，研究海洋经济是人们可持续发展的必要之路。海洋生物在海域中的养殖密度及分布布局都会对海水的潮汐潮流造成一定的影响，因此，因地制宜地进行增养殖是获得良好经济效益的前提，研究最优养殖布局对人们有着非常重要的作用。 作为统计学习理论基础上一种新的机器学习方法，支持向量机较好地解决了小样本、非线性、过学习、高维数等实际问题，在预测、分类及回归方面都有很好地应用。而由于海洋中的观测数据量相对少，影响因素较多，物理过程复杂等特点，很多数据都难以提取及准确的使用。基于此，本文使用将支持向量机和水动力相结合的方法解决海洋养殖布局问题。 针对桑沟湾特定养殖海区，在目前只有较少的观测数据的情况下，本文研究如何充分利用观测资料给出的数据，并结合水动力数值模式，使用统计学习方法，从有限数据中深入挖掘出有用的信息。在水动力模型中加入养殖筏架对整个流场产生的阻力，研究其对流场产生的影响，然后优化改进的模式，进而使用支持向量机求解整个湾内流速的变化。 此外，在求解过程中，根据海湾的固有特点，目标值的不固定性、多样性，本文又提出了将多输出支持向量机与水动力模式相结合的方法求解湾内流速的变化情况，经过实验的多次验证，使用多输出支持向量机不但节省了运算时间，并且得到的结果也比较准确，为海洋学的研究提供了大量的数据资料，对科学反映桑沟湾高密度养殖区的真实环境提供可能，为优化养殖布局、改善养殖环境提供科学的依据。

关键词： 语音反演   声道变量   球状轨迹   非唯一性  

摘要： 由于协同发音的影响，自动语音识别系统的性能会受到影响。已有的研究表明结合发音信息可以提高语音识别系统的性能，但是发音信息在话音环境中并不容易得到，因此语音反演被提了出来。语音反演是一种从语音信号中预测发音轨迹或者声道配置的方法。如果能够准确地预测发音信息，这些发音信息还能有助于语音合成、语言获取以及语音可视化等。 论文首先提出使用声道变量作为发音信息（代替传统的球状轨迹）来模式化语音动态，并比较了声道变量和球状轨迹的预测性能和非唯一性。论文将语音分别参数化为梅尔倒谱系数，感知线性预测倒谱系数和线性预测倒谱系数，并使用混合密度网络来预测声道变量和球状轨迹。实验结果表明声道变量比球状轨迹能被更准确地预测。另外，论文使用基于模型的统计公式计算声道变量和球状轨迹的标准化的非唯一性，结果表明对于相同的六个辅音，声道变量的非唯一性比球状轨迹的非唯一性低。 论文另一个研究内容为使用四种不同的语音反演的机器学习方法，即前馈人工神经网络、自回归人工神经网络、远端监督学习以及轨迹混合密度网络比较声道变量和球状轨迹，结果表明声道变量比球状轨迹有更好的性能，更适合基于发音器官特征的自动语音识别系统。另外论文分别将语音参数化为梅尔倒谱系数和声学参数，并比较了这四种方法对声道变量的预测性能，结果表明从整体来看三层隐层的前馈人工神经网络对声道变量的预测性能最好。