关键词： 图像分类   目标检测   支持向量机   最大化间隔方法   可变形部分模型   不平衡数据   模型选择  

摘要： 图像中包括哪些类别的对象?对象的具体位置在哪里?每一类的对象有几个?对象有什么姿势动作?它们之间的关系又是怎样?如果让人们回答这些问题,是一件很容易的事情。但普遍意义上的计算机理解图像内容,仍然是一个未解的难题。朝着这个最终目标,图像分类与目标检测这两个基础问题,受到了机器视觉领域的广泛重视,有着大量深入的研究。图像分类问题需要回答某一类或某几类对象是否存在于给定的图像中,但不需要给出对象的具体位置。而目标检测问题更为困难,除了要回答图像中存在哪些类别的对象,同时还要给出对象的具体位置。这两个问题既不同又相关。不同之处在于是否需要给出对象具体位置。相关之处在于能够处理目标检测的方法也自然能够完成图像分类,但是这样加大了问题的难度,事实上目标检测的正确率远远不如只作图像分类;但是图像毕竟还是按照目标对象是否存在而分类,图像的类别还是主要由对象所在的区域而决定。\n 本论文同时考虑了问题之间的差异性与相关性,并将这两者统一看成区域选择问题。假设测试图像中所有对象的范围都被标注清楚,那么无论是图像分类还是目标检测,剩下的工作就只是对范围之内的区域做类别区分。由此可见,这两个问题的特殊之处就在于区域的选择。从区域选择的角度也可以解释目前主要的研究工作与研究难点。\n 图像分类的优秀方法常常用到各种不同层次不同种类的图像特征合并,有些复杂的方法甚至先采用目标检测得到重点区域,然后再特别加入重点区域中的特征。这些方法虽然没有得到精确的对象区域,但隐含的尽量选择了对象可能存在区域的特征。如何排除掉明显无关的区域,尽量用对象所在区域决定图像类别正是这个问题的难点。\n 目标检测的两大流派分别是基于分割的方法和滑动窗口方法。前者先将图像预先分割成若干区域,然后判断每个区域是否属于目标类别,这相当于是对区域区域做了选择。此类方法的缺点是检测结果容易受到分割错误的影响,如果区域本身就存在错误,如果区域本身既不是整个对象,也不是对象的某个有效部位,那么无论模型怎么分类,也得不到有意义的检测结果。这时区域选择的难点是如何得到尽量正确的区域。后者将检测窗口置于图像中的每个位置,然后判断窗口内部是否包含目标对象,这种区域选择的方式就更为直接。此类方法虽然检测精确度较高,但检测速度较慢,而且还需要后处理方法压缩多个重合的检测窗口。此时的难点是如何尽量减少窗口搜索的区域。如果能有一种方法提供较为稳定准确的对象出现的位置,就可以只将窗口置于提供的那些位置上进行检测。\n 本论文从区域选择这个统一的角度出发,并根据具体问题与难点的不同,提出不同的图像分解方法,以及对分解得到的区域选择利用的方法。\n 针对图像分类的区域选择难点,本论文提出一种新的机器学习框架-分解学习。它同时利用了有类别和无类别的数据,以类似于子空间聚类的方式搜索图像原始输入空间中的有效区域。每个区域被看作类别概念的子概念,单个基础分类器在每个区域中独立训练,其输出将作为新特征空间的一个高层特征。在重建的新特征空间中训练最终分类器。实验在MNIST手写数字数据集和Caltech101图像分类数据集上进行,分解学习在不采用任何与机器视觉相关的特征提取方法的情况下,仍然有效的提高了分类的正确率。\n 针对基于分割的目标检测方法的区域选择难点,本论文提出一种最大化间隔分割选择方法。每张图像经过多种互补的分割方法预处理,得到多包区域,其中存在一包相对较好的对象分割结果。分割选择的目标是将每张图像的最佳分割结果选择出来,将其中的区域拿出组成训练集。“分割选择+分类”被统一建模为最大化间隔问题,目标函数被表示为二次规划的形式。此目标函数经过推导转化,得到其最终的对偶形式,并通过模拟煺火解法得到近似最优解。实验在PASCAL VOC2007数据集上进行,在绝大部分类别上,分割选择方法的检测精确度超过了单一分割方法。\n 针对滑动窗口目标检测方法的区域选择难点,本论文提出一种区域位置提示的可变形模型候选点检测算法。我们延续了上面的研究工作,通过仔细观察采样图像的分割结果,发现一个有趣的事实:虽然几乎每张图里都存在分割错误,但是在大多数情况下总会有某个区域的边角与对象真实位置的边角很接近。由此,如果重用之前的分割结果,检测窗口只需要置于这些边角位置,就可以避免大量不必要位置上的穷举搜索。可变形部分模型保证了检测器本身的精确性,而分割位置提示保证了检测的效率,同时避免了后处理操作。实验仍然在PASCAL VOC2007数据集上进行,候选点检测算法在一半类别上超过了穷举搜索方法。\n 除了以上难点之外,目标检测在具体训练时还有容易被忽视的地方。目标检测的训练数据由少量的目标对象和大量的其他对象或背景组成。这是典型的不平衡数据集,目标类别在其中只占一小部分。不平衡数据集往往

关键词： 暂态稳定评估   机器学习   支持向量机   随机森林   主成分分析法  

摘要： 理论和仿真研究表明,依靠少量受扰严重机组的动态特征能够有效地判别大电网的暂态稳定性。提出一种组合搜索严重受扰机组,并据此构造稳定评估原始输入特征的方法。进一步利用主成分分析法降低特征维数,构成机器学习评估模型的输入特征。在新英格兰39节点测试系统和IEEE 50机测试系统上,利用所提方法仿真实现了决策树、支持向量机和k最近邻法等暂态稳定评估模型,结果表明所提出的构建电力系统暂态稳定评估输入特征方法有效,有助于改变原始特征构建的主观和随意性。

关键词： unsupervised learning   supervised learning   cluster analysis   logistic regression   Poisson regression   logic regression   LASSO   ridge regression   decision trees   random forests   cross-validation   software  

摘要： Genetics Analysis Workshop 17 provided common and rare genetic variants from exome sequencing data and simulated binary and quantitative traits in 200 replicates. We provide a brief review of the machine learning and regression-based methods used in the analyses of these data. Several regression and machine learning methods were used to address different problems inherent in the analyses of these data, which are high-dimension, low-sample-size data typical of many genetic association studies. Unsupervised methods, such as cluster analysis, were used for data segmentation and, subset selection. Supervised learning methods, which include regression-based methods (e.g., generalized linear models, logic regression, and regularized regression) and tree-based methods (e.g., decision trees and random forests), were used for variable selection (selecting genetic and clinical features most associated or predictive of outcome) and prediction (developing models using common and rare genetic variants to accurately predict outcome), with the outcome being case-control status or quantitative trait value. We include a discussion of cross-validation for model selection and assessment, and a description of available software resources for these methods. Genet. Epidemiol. 35:S5S11, 2011. (C) 2011 Wiley Periodicals, Inc.

关键词： 脑电信号   特征提取   特征变换   分类  

摘要： 脑电信号是人脑的生理电信号,可以反映大脑的生理功能和思维状态,在神经系统疾病诊断和脑-机接口等领域都得到了广泛的应用。传统的脑电信号分析方法主要以人工阅读法为主,已经不能满足现代脑电信号分析的需求。基于机器学习的脑电信号自动分类正日益成为研究热点。 基于机器学习的脑电信号自动分类主要包含特征提取、特征变换、分类器三部分。本文提出了基于回声状态网络的脑电信号特征提取方法。不同于现有脑电信号特征提取方法,该方法不是去寻找一些脑电信号描述量,而是对脑电信号进行系统辨识,并将系统辨识的结果作为脑电信号的特征。该方法在脑电信号特征提取过程中信息损失较少,保证了脑电信号自动分类可以达到较高的分类精度。本文将特征变换引入到脑电信号自动分类,采用主成分分析和线性判别分析两种特征变换方法降低脑电信号特征空间维数,提高脑电信号自动分类精度。最后,结合关联向量机和极限学习机两种新型的机器学习分类器,实现了波恩大学癫痫研究中心脑电信号的自动分类。仿真结果显示：基于回声状态网络的脑电信号特征提取可以很好地胜任癫痫脑电信号自动分类的任务：特征变换方法的引入,能有效降低脑电信号特征空间维数,提高分类精度；基于关联向量机和极限学习机的脑电信号自动分类方法在取得较高分类精度的同时,模型稀疏性和算法效率得到了大幅提升。

摘要： High-throughput technologies produce genome-scale transcriptomic and metabolomic (omics) datasets that allow for the system-level studies of complex biological processes. The limitation lies in the small number of samples versus the larger number of features represented in these datasets. Machine learning methods can help integrate these large-scale omics datasets and identify key features from each dataset. A novel class dependent feature selection method integrates the F statistic, maximum relevance binary particle swarm optimization (MRBPSO), and class dependent multi-category classification (CDMC) system. A set of highly differentially expressed genes are pre-selected using the F statistic as a filter for each dataset. MRBPSO and CDMC function as a wrapper to select desirable feature subsets for each class and classify the samples using those chosen class-dependent feature subsets. The results indicate that the class-dependent approaches can effectively identify unique biomarkers for each cancer type and improve classification accuracy compared to class independent feature selection methods. The integration of transcriptomics and metabolomics data is based on a classification framework. Compared to principal component analysis and non-negative matrix factorization based integration approaches, our proposed method achieves 20-30% higher prediction accuracies on Arabidopsis tissue development data. Metabolite-predictive genes and gene-predictive metabolites are selected from transcriptomic and metabolomic data respectively. The constructed gene-metabolite correlation network can infer the functions of unknown genes and metabolites. Tissue-specific genes and metabolites are identified by the class-dependent feature selection method. Evidence from subcellular locations, gene ontology, and biochemical pathways support the involvement of these entities in different developmental stages and tissues in Arabidopsis.

关键词： 蛋白质亚细胞定位预测   蛋白质结构类预测   生物信息学   机器学习   神经网络  

摘要： 随着生物信息的爆炸性增长,采用实验的方法收集和分析相关的生物信息已远远不能满足实际研究的需要。人们已经迫切认识到,采用智能数据处理技术解决上述问题可以大大节省时间和成本。蛋白质序列信息是这个领域的研究重点之一,本论文运用机器学习方法对蛋白质亚细胞定位预测和蛋白质结构类预测展开研究,主要工作如下： 1、针对革兰阴性杆菌亚细胞定位预测问题,本文提出了改进的选择性集成Elman神经网络方法。首先以Elman网络作为基底分类器；然后利用多种不同的算法来训练Elman网络,以增加基底分类器的多样性；最后用GASEN算法选择合适的网络进行集成,使集成后的各个网络彼此互补,相互协调。采用氨基酸组成成分分析表示蛋白质序列,在自相容验证、留一法验证和独立测试集验证等三种实验模型上都取得了良好的效果。 2、针对蛋白质亚细胞定位预测问题,本文构造了一种新颖的亚细胞定位预测系统ELM-PCA,可以预先确定传统的伪氨基酸组成成分分析模型中反映氨基酸序列次序效应的参数。在该系统中,首先让参数λ取最大以包含尽可能多的序列次序信息,然后用主成分分析技术提取关键主特征,最后采用Elman神经网络作为分类器,实验表明ELM-PCA的性能要优于已有的预测系统；同时,将主成分分析技术和伪氨基酸组成模型结合,形成了新的蛋白质表示模型PPseAAC,在几个常用的机器学习算法实验中表明此模型要优于原始模型。 3、针对蛋白质结构类的预测问题,本文提出了改进的局部线性嵌入映射(LLE)算法,克服了传统局部线性嵌入映射算法在求取最优重构权值时常常出现的奇异现象。改进的算法基于共轭梯度算法,具有有限步收敛的性质,求解过程中不涉及矩阵的逆运算。在此基础上,把此改进的局部线性嵌入映射算法应用于蛋白质结构类的预测,采用k-nn分类器,伪氨基酸组成模型中参数λ值大于序列长度L。在Jackknife实验中,结果显示本方法具有较好的预测性能。

关键词： Classification of Web objects   Web caching   machine learning methods  

摘要： Web caching is a technology to improve network traffic on the Internet. It is a temporary storage of Web objects for later retrieval. Three significant advantages of Web caching include reduction in bandwidth consumption, server load, and latency. These advantages make the Web to be less expensive yet it provides better performance. This research aims to introduce an advanced machine learning method for a classification problem in Web caching that requires a decision to cache or not to cache Web objects in a proxy cache server. The challenges in this classification problem include the issues in identifying attributes ranking and improve the classification accuracy significantly. This research includes four methods that are Classification and Regression Trees (CART), Multivariate Adaptive Regression Splines (MARS), Random Forest (RF) and Tree Net (TN) for classification on Web caching. The experimental results reveal that CART performed extremely well in classifying Web objects from the existing log data with a size of Web objects as a significant attribute for Web cache performance enhancement.

关键词： 股票   支持向量机   时间序列   小波变换   预测  

摘要： 股票至今已经有400多年的发展历史了。股票市场的变化,间接地反映了整个国民经济的发展状况和股票公司的运营情况,它是整个社会经济的“晴雨表”和“报警器”。研究股票市场未来若干天的数据变化对广大的投资者来说有很重要的意义。 从事股票数据研究的学者主要分为三类:第一类学者主要应用技术分析的方法来研究市场过去和现在的行为反应,从而预测整个股市和某支股票价格未来的大致变化趋势;第二类学者主要通过时间序列分析方法来预测股票市场的走势;第三类学者则应用机器学习的方法建立各种学习模型来研究股票数据。 本文对股票预测研究现状、机器学习、统计学习理论、支持向量机、混沌时间序列、小波理论作了一些介绍,并根据这些理论建立了预测的模型。该预测模型的核心是支持向量机的学习方法。支持向量机建立在统计学习理论的基础之上,其结构简单,在解决小样本、非线性的问题时效果很好,而且能够避免“维数灾难”和“过学习”等现象。 具体的来说,本文完成的工作主要有以下几点: 一、将支持向量机与混沌时间序列结合起来建立预测模型。根据相空间重构的方法将现有的数据变换成混沌时间序列,然后将时间序列数据划分成训练数据和测试数据,从而建立支持向量机的预测模型。 二、在最优参数的搜索方面主要应用了遗传算法。支持向量机的参数选取方法直接影响着预测模型的性能。遗传算法的在解决非线性问题和多维空间寻优问题上效果卓著,文中应用遗传算法搜索得到的参数能够取得较好的预测效果。 三、采用小波变换的方法将股票数据分解成高频数据和低频数据,然后分别建立预测模型并得到高频和低频的预测结果,最后通过小波重构的方法将两类数据的预测结果合并,从而得到未来若干天的股票数据。这种方法得到的预测效果比较好,但是预测结果受小波种类的影响较大。

关键词： 机器学习   彩色体数据   分类   高斯混合模型   局部线性嵌入  

摘要： 近年来,可视化技术在医学领域发挥越来越重要的作用。连续扫描的二维医学图像通过可视化技术三维重建,能够提供更丰富的解剖学和病理学信息。彩色体数据一般来源于人体的生理切片图像,由于记录每一个采样点的真实颜色,因此较传统标量体数据提供了更多的信息量。但是由于彩色体数据缺乏物质密度、吸收系数等物理信息,使体素的不透明度设置难度增加,无疑给彩色体数据分类带来了挑战。对体素赋予适当的不透明度值,可以增强感兴趣组织和特征结构的显示,辅助体数据有效合理的分类。传统标量体数据的分类技术已比较成熟,但是彩色体数据的分类研究则相对较少。 针对上述问题,本文分析了彩色体数据的特征属性,即颜色及其导出的纹理属性,提出了基于特征空间聚类的彩色体数据分类方法。 本文首先提出了基于颜色的高斯混合模型(GMM)分类方法,在颜色空间对彩色体数据进行初步分类,并且用户可以交互地调整生成的高斯模型,获得更好的分类结果。 对于颜色空间中不易区分的特征结构,本文又提出了基于高维纹理向量降维聚类的分类方法,把图像处理领域中的纹理分析方法应用于彩色体数据,获得一阶、二阶和高阶纹理属性组成的高维纹理向量,并运用局部线性嵌入(LLE)方法进行降维聚类,用户可以在降维后的特征空间中,直观简洁地选择感兴趣的特征结构。 最后,论文展示了基于上述高斯混合模型(GMM)和用局部线性嵌入(LLE)方法在可视人彩色体数据的分类结果,实验结果表明了本文提出的方法在彩色体数据分类上的有效性。

关键词： Neural networks  

摘要： In this study, we investigate the quantitative correlation between human factors and the shooting accuracy of the T75 assault pistol. We carry out live pistol firing. Eleven shooters are selected to fire 30 rounds each. We obtain 330 data successfully. Interest factors are assigned to three human factors, whereas performance evaluation methods are assigned to three parameters of impact points;these experiment datasets are measured using an I-CubeX glove force sensor system. Three prediction models (for shooting score, shooting precision and shooting trueness) are established by using a Least Squares Support Vector Machine (LS-SVM), Back-PropagationNeural Network (BPNN) and Response Surface Methodology (RSM);the results of present study indicate that the model developed by using an LS-SVM exhibits excellent prediction ability. The force of the shooter's right index finger abdomen for pulling the pistol trigger and the force of the shooter's left palm for gripping the pistol significantly influence shooting performance. An inexperienced shooter can use the results of this study as a reference for improving his or her shooting skills. Furthermore, this study will greatly assist efforts to upgrade pistol design and performance. © 2011 Asian Network for Scientific Information.