关键词： behavior prediction   Down syndrome   Naive Bayes   Ts1Cje   Ts65Dn  

摘要： Down syndrome (DS), caused by trisomy of human chromosome 21 (HSA21), is a common genetic cause of cognitive impairment. This disorder results from the overexpression of HSA21 genes and the resulting perturbations in many molecular pathways and cellular processes. Knowledge-based identification of targets for pharmacotherapies will require defining the most critical protein abnormalities among these many perturbations. Here the authors show that using the Ts65Dn and Ts1Cje mouse models of DS, which are trisomic for 88 and 69 reference protein coding genes, respectively, a simple linear Naive Bayes classifier successfully predicts behavioral outcome (level of locomotor activity) in response to treatment with the N-methyl-D-aspartate (NMDA) receptor antagonist MK-801. Input to the Naive Bayes method were simple protein profiles generated from cortex and output was locomotor activity binned into three levels: low, medium, and high. When Feature Selection was used with the Naive Bayes method, levels of three HSA21 and two non-HSA21 protein features were identified as making the most significant contributions to activity level. Using these five features, accuracies of up to 88% in prediction of locomotor activity were achieved. These predictions depend not only on genotype-specific differences but also on within-genotype individual variation in levels of molecular and behavioral parameters. With judicious choice of pathways and components, a similar approach may be useful in analysis of more complex behaviors, including those associated with learning and memory, and may facilitate identification of novel targets for pharmacotherapeutics.

关键词： 机器学习   无师自通   未标记数据集   稀疏编码   监督学习  

摘要： 机器学习的发展趋势，就是不断地使用易获得的、廉价的数据作为样本数据，来辅助训练数据进行学习。“无师自通”学习是迁移学习的一种改进，它使用未标记的数据集作为样本数据集，且并不假设未标记数据集和标记数据集有着同样的数据分布，它运用稀疏编码方法来对未标记数据集得到一个更高层次的表示。然后，再使用经典的监督学习方法如SVM方法来对得到的新的数据集进行机器学习。该文将介绍“无师自通”学习法的主要原理，并对其核心算法一稀疏编码算法进行深入分析并通过实验给出具体的实例。

关键词： 信用风险   数据挖掘   商业银行   贷款业务   预期贷款收益  

摘要： 贷款资产是商业银行的主要资产，同时也是商业银行日常经营中的一个重要利润来源。然而，不良的放贷行为将使银行蒙受巨大的经济损失，并可能导致银行经营失败，甚至妨碍社会经济稳定。所谓“不良放贷”，是指银行向其交易对手出借货币资金使用权，而交易对手未能按照贷款协议约定履行还本付息的责任，造成银行的实际贷款收益与预期贷款收益发生偏差。在银行实际运营中，这种偏差现象是否将发生的不确定性被称为银行贷款的“信用风险”，有时也称为“违约风险”。\n 正式论文将由“导论”、“文献综述”、“数据挖掘分类技术及其优越性”、“数据挖掘分类模型的应用”和“结论”五部分组成。“第1章导论”主要讨论数据挖掘技术应用于商业银行中的研究背景、研究的意义及研究目标、以及前人所做的相关研究。“第2章文献综述”主要对信用风险评估做了回顾。“第3章数据挖掘分类技术及其优越性”讨论了数据挖掘技术的基本思想及其在应用于信用风险分类的优越性。“第4章数据挖掘分类模型的应用”是本文的重点，分析数据挖掘分类技术(包括Logistic回归、神经网络和C5.0分类树)如何应用于信用风险类别预测，并采用某银行的数据对该问题做数据实验，以验证方法的有效性和准确性，最后分析试验结果，以得到该问题的有效解决方法。\n 最后，本文搭建并规范化了一套“‘由数据仓库导出数据’到‘数据格式转换’到‘以类别为单位的数据集融合为整集’再到‘数据录入数据挖掘系统并实施挖掘任务’”的银行数据挖掘工作流程。从结果评估部分看，我们可以准确地(超过90％的准确率)为新的贷款协议申请判别其风险类别，即区分“不良”类或“良好”类。同时，我们可以向此风险分类系统的使用者清楚地展现用以判定协议类别的分类规律。\n 本文通过数据实验得到：数据挖掘分类模型对于商业银行贷款信用风险类别预测问题广泛适用，它能够完全解决传统违约度量技术对于分值排序居中的贷款数据在类别判定上模棱两可、难以辨识的问题。同时，没有一种唯一最优的数据挖掘技术适用于贷款风险分类问题，应用者需要根据数据的实际情况选择最优的方法。

关键词： 图像分类   目标检测   支持向量机   最大化间隔方法   可变形部分模型   不平衡数据   模型选择  

摘要： 图像中包括哪些类别的对象?对象的具体位置在哪里?每一类的对象有几个?对象有什么姿势动作?它们之间的关系又是怎样?如果让人们回答这些问题,是一件很容易的事情。但普遍意义上的计算机理解图像内容,仍然是一个未解的难题。朝着这个最终目标,图像分类与目标检测这两个基础问题,受到了机器视觉领域的广泛重视,有着大量深入的研究。图像分类问题需要回答某一类或某几类对象是否存在于给定的图像中,但不需要给出对象的具体位置。而目标检测问题更为困难,除了要回答图像中存在哪些类别的对象,同时还要给出对象的具体位置。这两个问题既不同又相关。不同之处在于是否需要给出对象具体位置。相关之处在于能够处理目标检测的方法也自然能够完成图像分类,但是这样加大了问题的难度,事实上目标检测的正确率远远不如只作图像分类;但是图像毕竟还是按照目标对象是否存在而分类,图像的类别还是主要由对象所在的区域而决定。\n 本论文同时考虑了问题之间的差异性与相关性,并将这两者统一看成区域选择问题。假设测试图像中所有对象的范围都被标注清楚,那么无论是图像分类还是目标检测,剩下的工作就只是对范围之内的区域做类别区分。由此可见,这两个问题的特殊之处就在于区域的选择。从区域选择的角度也可以解释目前主要的研究工作与研究难点。\n 图像分类的优秀方法常常用到各种不同层次不同种类的图像特征合并,有些复杂的方法甚至先采用目标检测得到重点区域,然后再特别加入重点区域中的特征。这些方法虽然没有得到精确的对象区域,但隐含的尽量选择了对象可能存在区域的特征。如何排除掉明显无关的区域,尽量用对象所在区域决定图像类别正是这个问题的难点。\n 目标检测的两大流派分别是基于分割的方法和滑动窗口方法。前者先将图像预先分割成若干区域,然后判断每个区域是否属于目标类别,这相当于是对区域区域做了选择。此类方法的缺点是检测结果容易受到分割错误的影响,如果区域本身就存在错误,如果区域本身既不是整个对象,也不是对象的某个有效部位,那么无论模型怎么分类,也得不到有意义的检测结果。这时区域选择的难点是如何得到尽量正确的区域。后者将检测窗口置于图像中的每个位置,然后判断窗口内部是否包含目标对象,这种区域选择的方式就更为直接。此类方法虽然检测精确度较高,但检测速度较慢,而且还需要后处理方法压缩多个重合的检测窗口。此时的难点是如何尽量减少窗口搜索的区域。如果能有一种方法提供较为稳定准确的对象出现的位置,就可以只将窗口置于提供的那些位置上进行检测。\n 本论文从区域选择这个统一的角度出发,并根据具体问题与难点的不同,提出不同的图像分解方法,以及对分解得到的区域选择利用的方法。\n 针对图像分类的区域选择难点,本论文提出一种新的机器学习框架-分解学习。它同时利用了有类别和无类别的数据,以类似于子空间聚类的方式搜索图像原始输入空间中的有效区域。每个区域被看作类别概念的子概念,单个基础分类器在每个区域中独立训练,其输出将作为新特征空间的一个高层特征。在重建的新特征空间中训练最终分类器。实验在MNIST手写数字数据集和Caltech101图像分类数据集上进行,分解学习在不采用任何与机器视觉相关的特征提取方法的情况下,仍然有效的提高了分类的正确率。\n 针对基于分割的目标检测方法的区域选择难点,本论文提出一种最大化间隔分割选择方法。每张图像经过多种互补的分割方法预处理,得到多包区域,其中存在一包相对较好的对象分割结果。分割选择的目标是将每张图像的最佳分割结果选择出来,将其中的区域拿出组成训练集。“分割选择+分类”被统一建模为最大化间隔问题,目标函数被表示为二次规划的形式。此目标函数经过推导转化,得到其最终的对偶形式,并通过模拟煺火解法得到近似最优解。实验在PASCAL VOC2007数据集上进行,在绝大部分类别上,分割选择方法的检测精确度超过了单一分割方法。\n 针对滑动窗口目标检测方法的区域选择难点,本论文提出一种区域位置提示的可变形模型候选点检测算法。我们延续了上面的研究工作,通过仔细观察采样图像的分割结果,发现一个有趣的事实:虽然几乎每张图里都存在分割错误,但是在大多数情况下总会有某个区域的边角与对象真实位置的边角很接近。由此,如果重用之前的分割结果,检测窗口只需要置于这些边角位置,就可以避免大量不必要位置上的穷举搜索。可变形部分模型保证了检测器本身的精确性,而分割位置提示保证了检测的效率,同时避免了后处理操作。实验仍然在PASCAL VOC2007数据集上进行,候选点检测算法在一半类别上超过了穷举搜索方法。\n 除了以上难点之外,目标检测在具体训练时还有容易被忽视的地方。目标检测的训练数据由少量的目标对象和大量的其他对象或背景组成。这是典型的不平衡数据集,目标类别在其中只占一小部分。不平衡数据集往往

关键词： 暂态稳定评估   机器学习   支持向量机   随机森林   主成分分析法  

摘要： 理论和仿真研究表明,依靠少量受扰严重机组的动态特征能够有效地判别大电网的暂态稳定性。提出一种组合搜索严重受扰机组,并据此构造稳定评估原始输入特征的方法。进一步利用主成分分析法降低特征维数,构成机器学习评估模型的输入特征。在新英格兰39节点测试系统和IEEE 50机测试系统上,利用所提方法仿真实现了决策树、支持向量机和k最近邻法等暂态稳定评估模型,结果表明所提出的构建电力系统暂态稳定评估输入特征方法有效,有助于改变原始特征构建的主观和随意性。

关键词： 蛋白质组学   统计机器学习方法   数据降维效果   偏最小二乘法  

摘要： 蛋白质相互作用网络在细胞生命中起着非常关键的作用，当前蛋白质组学研究的一个首要任务即是构建整个细胞的蛋白质相互作用网络。所以无论是实验的方法还是计算的方法，准确的鉴定、预测蛋白质间的相互作用对当前蛋白质组学的研究都是非常重要的。\n 本文首先基于蛋白质结构域共现信息，采用半朴素贝叶斯模型对蛋白质间的相互作用进行预测。蛋白质对间的域信号共现信息可用来判定两个蛋白质间是否有相互作用。前人的研究中只关注单独的域信号对是否共现来作为判定的依据，我们借助半朴素贝叶斯模型挖掘到那些在同一个蛋白质内共现度较高的域信号对，以及在不同的蛋白质间共现度较高的域信号对。借助这些共现信息来预测蛋白质问的相互作用提高了预测的准确度。在10-折交叉实验中达到了的83.12％灵敏度和73.23％的特异度。\n 由于很多蛋白质的结构域信息不被其他蛋白质所共有，这就限制了半朴素贝叶斯模型的应用和推广。于是我们提出利用蛋白质的亚细胞和功能定位信息来对蛋白质间的相互作用进行预测。用包含蛋白质亚细胞和功能定位信息的特征向量来编码蛋白质，得到一个高维的稀疏向量。结合这种类型的向量和亚细胞、功能定位本身的生物学意义，我们提出了四种编码方式。四种编码方式都从不同的侧面去反映了每一维亚细胞、功能定位的信息。基于这四种编码方式，我们实验了随机森林、决策树、支撑向量机(SVM)、朴素贝叶斯、k近邻(k-NN)等多种分类器。其中随机森林算法表现出了更好的分类效果和鲁棒性。95.1％的特异度和77.5％的灵敏度表明我们的实验方案在蛋白质相互作用问题中有很好的应用前景。我们还验证了对于蛋白质相互作用预测，亚细胞和功能定位两者的重要程度，结果表明蛋白质功能定位更能决定蛋白质间的相互作用。\n 蛋白质质谱技术可用来对蛋白质进行鉴定，它具有相对便宜的成本和微创伤的实验代价。已经广泛的应用于癌症早期诊断的生物标记物发现，定量预知药物的疗效等领域。利用蛋白质质谱数据进行癌症预测可以为癌症的早期诊断和治疗提供依据。\n 针对蛋白质质谱数据具有高维度、低样本量的特点，本文采用偏最小二乘法对基于蛋白质质谱数据的癌症预测问题进行研究。偏最小二乘方法是一种新型的多元数据统计分析方法，它有回归建模、数据结构简化以及两组变量之间相关性分析三种特性。81.76％的灵敏度和71.25％的特异度表明偏最小二乘法在基于蛋白质质谱数据的癌症预测问题中具有较好的分类效果。我们还采用了四种特征选择的方法：t检验、显著性微阵列分析、统计量分析和主成分分析，来对数据降维，挖掘数据内在的信息。实验结果表明t检验和统计量分析方法有较好的数据降维效果。

关键词： unsupervised learning   supervised learning   cluster analysis   logistic regression   Poisson regression   logic regression   LASSO   ridge regression   decision trees   random forests   cross-validation   software  

摘要： Genetics Analysis Workshop 17 provided common and rare genetic variants from exome sequencing data and simulated binary and quantitative traits in 200 replicates. We provide a brief review of the machine learning and regression-based methods used in the analyses of these data. Several regression and machine learning methods were used to address different problems inherent in the analyses of these data, which are high-dimension, low-sample-size data typical of many genetic association studies. Unsupervised methods, such as cluster analysis, were used for data segmentation and, subset selection. Supervised learning methods, which include regression-based methods (e.g., generalized linear models, logic regression, and regularized regression) and tree-based methods (e.g., decision trees and random forests), were used for variable selection (selecting genetic and clinical features most associated or predictive of outcome) and prediction (developing models using common and rare genetic variants to accurately predict outcome), with the outcome being case-control status or quantitative trait value. We include a discussion of cross-validation for model selection and assessment, and a description of available software resources for these methods. Genet. Epidemiol. 35:S5S11, 2011. (C) 2011 Wiley Periodicals, Inc.

关键词： 脑电信号   特征提取   特征变换   分类  

摘要： 脑电信号是人脑的生理电信号,可以反映大脑的生理功能和思维状态,在神经系统疾病诊断和脑-机接口等领域都得到了广泛的应用。传统的脑电信号分析方法主要以人工阅读法为主,已经不能满足现代脑电信号分析的需求。基于机器学习的脑电信号自动分类正日益成为研究热点。 基于机器学习的脑电信号自动分类主要包含特征提取、特征变换、分类器三部分。本文提出了基于回声状态网络的脑电信号特征提取方法。不同于现有脑电信号特征提取方法,该方法不是去寻找一些脑电信号描述量,而是对脑电信号进行系统辨识,并将系统辨识的结果作为脑电信号的特征。该方法在脑电信号特征提取过程中信息损失较少,保证了脑电信号自动分类可以达到较高的分类精度。本文将特征变换引入到脑电信号自动分类,采用主成分分析和线性判别分析两种特征变换方法降低脑电信号特征空间维数,提高脑电信号自动分类精度。最后,结合关联向量机和极限学习机两种新型的机器学习分类器,实现了波恩大学癫痫研究中心脑电信号的自动分类。仿真结果显示：基于回声状态网络的脑电信号特征提取可以很好地胜任癫痫脑电信号自动分类的任务：特征变换方法的引入,能有效降低脑电信号特征空间维数,提高分类精度；基于关联向量机和极限学习机的脑电信号自动分类方法在取得较高分类精度的同时,模型稀疏性和算法效率得到了大幅提升。

摘要： High-throughput technologies produce genome-scale transcriptomic and metabolomic (omics) datasets that allow for the system-level studies of complex biological processes. The limitation lies in the small number of samples versus the larger number of features represented in these datasets. Machine learning methods can help integrate these large-scale omics datasets and identify key features from each dataset. A novel class dependent feature selection method integrates the F statistic, maximum relevance binary particle swarm optimization (MRBPSO), and class dependent multi-category classification (CDMC) system. A set of highly differentially expressed genes are pre-selected using the F statistic as a filter for each dataset. MRBPSO and CDMC function as a wrapper to select desirable feature subsets for each class and classify the samples using those chosen class-dependent feature subsets. The results indicate that the class-dependent approaches can effectively identify unique biomarkers for each cancer type and improve classification accuracy compared to class independent feature selection methods. The integration of transcriptomics and metabolomics data is based on a classification framework. Compared to principal component analysis and non-negative matrix factorization based integration approaches, our proposed method achieves 20-30% higher prediction accuracies on Arabidopsis tissue development data. Metabolite-predictive genes and gene-predictive metabolites are selected from transcriptomic and metabolomic data respectively. The constructed gene-metabolite correlation network can infer the functions of unknown genes and metabolites. Tissue-specific genes and metabolites are identified by the class-dependent feature selection method. Evidence from subcellular locations, gene ontology, and biochemical pathways support the involvement of these entities in different developmental stages and tissues in Arabidopsis.

关键词： 蛋白质亚细胞定位预测   蛋白质结构类预测   生物信息学   机器学习   神经网络  

摘要： 随着生物信息的爆炸性增长,采用实验的方法收集和分析相关的生物信息已远远不能满足实际研究的需要。人们已经迫切认识到,采用智能数据处理技术解决上述问题可以大大节省时间和成本。蛋白质序列信息是这个领域的研究重点之一,本论文运用机器学习方法对蛋白质亚细胞定位预测和蛋白质结构类预测展开研究,主要工作如下： 1、针对革兰阴性杆菌亚细胞定位预测问题,本文提出了改进的选择性集成Elman神经网络方法。首先以Elman网络作为基底分类器；然后利用多种不同的算法来训练Elman网络,以增加基底分类器的多样性；最后用GASEN算法选择合适的网络进行集成,使集成后的各个网络彼此互补,相互协调。采用氨基酸组成成分分析表示蛋白质序列,在自相容验证、留一法验证和独立测试集验证等三种实验模型上都取得了良好的效果。 2、针对蛋白质亚细胞定位预测问题,本文构造了一种新颖的亚细胞定位预测系统ELM-PCA,可以预先确定传统的伪氨基酸组成成分分析模型中反映氨基酸序列次序效应的参数。在该系统中,首先让参数λ取最大以包含尽可能多的序列次序信息,然后用主成分分析技术提取关键主特征,最后采用Elman神经网络作为分类器,实验表明ELM-PCA的性能要优于已有的预测系统；同时,将主成分分析技术和伪氨基酸组成模型结合,形成了新的蛋白质表示模型PPseAAC,在几个常用的机器学习算法实验中表明此模型要优于原始模型。 3、针对蛋白质结构类的预测问题,本文提出了改进的局部线性嵌入映射(LLE)算法,克服了传统局部线性嵌入映射算法在求取最优重构权值时常常出现的奇异现象。改进的算法基于共轭梯度算法,具有有限步收敛的性质,求解过程中不涉及矩阵的逆运算。在此基础上,把此改进的局部线性嵌入映射算法应用于蛋白质结构类的预测,采用k-nn分类器,伪氨基酸组成模型中参数λ值大于序列长度L。在Jackknife实验中,结果显示本方法具有较好的预测性能。