关键词： multicollinearity   factor analysis   statistics   regression   genetic programming   artificial neural network   ANN   machine learning   principal component analysis   PCA  

摘要： Multicollinearity occurs in a dataset due to correlation between the predictors. Models derived from such data without a check on multicollinearity may lead to erroneous system analysis. This problem can be eliminated by the selection of appropriate predictors from the dataset. Variable reduction methods like B2, B4, VIF, KIF and factor analysis (FA) can be used to overcome this problem. Such methods are useful particularly when used in conjunction with modelling methods that do not automate variable selection, such as artificial neural network (ANN) and fuzzy logic. The literature reveals that the current problem is aptly described in the field of statistics but is paid little attention in the field of machine learning. In this paper, multicollinearity is presented involving the estimation of fat content inside the body. Commonly used statistical methods such as stepwise regression, radial basis function partial least squares, partial robust M-regression, ridge regression and principal component regression are applied to this problem. The machine learning methods FA-ANN and genetic programming are also applied. The results are discussed with the interpretation and comparison of the modelling methods summarised in order to guide users on the proper techniques for tackling the multicollinearity problem.

关键词： 介词短语   依存句法分析   机器学习方法   介词短语边界  

摘要： 句法分析是自然语言处理研究过程中的重要技术之一。近几年依存句法分析的研究也越来越被关注。但相对于英文的依存句法分析研究成果而言汉语的依存句法分析还处于初级阶段。为此本文以现有的汉语依存句法分析研究成果为指导，采用基于决策式句法分析模型和基于分类器的训练算法相结合的依存句法分析方法，结合汉语固有的语法特点，针对汉语句子中含有介词短语的句法分析问题进行了研究和探索。 介词短语是一种复杂的短语结构，在汉语句子中占有很大的比例，汉语介词短语的研究主要是解决边界问题，正确识别介词短语对于汉语句子的依存关系分析具有重要的意义。本文首先对一些常见的依存句法分析方法进行了讲述，其中详细研究了Arc-eager算法和RPP算法,然后针对Arc-eager算法和RPP算法在分析过程中出现的错误问题，本文对RPP算法的介词短语边界识别策略做了相关的改进。由于Arc-eager算法只能处理邻近词之间的依存关系，所以Arc-eager算法在处理长距离右依存时会出现错误，RPP算法虽然对Arc-eager算法做了相关的改进，但是RPP算法在处理含有动词的介词短语时往往会出现错误分析的问题。为此，本文在对汉语句子进行依存关系分析时，根据汉语介词短语的固有特点，借鉴RPP算法的右边界后续词特征对介词短语进行边界识别，同时对RPP算法进行了一定的改进。经过改进后的介词短语依存关系分析算法，不但可以解决介词短语长距离分析时出现的过早依存问题，而且还可以处理含有动词的介词短语边界识别问题。 通过采用哈工大的依存关系语料库作为实验数据和基于支持向量机的句法分析器作为实验工具对本文提出的汉语句法分析策略进行了全面的测试和评估。实验结果表明本文提出的策略对汉语句子中含有介词短语的句法分析是有效的，而且显著的提高了分析的准确率。

摘要： Recently, the greatest statistical computational challenge in genetic epidemiology is to identify and characterize the genes that interact with other genes and environment factors that bring the effect on complex multifactorial disease. These gene-gene interactions are also denoted as epitasis in which this phenomenon cannot be solved by traditional statistical method due to the high dimensionality of the data and the occurrence of multiple polymorphism. Hence, there are several machine learning methods to solve such problems by identifying such susceptibility gene which are neural networks (NNs), support vector machine (SVM), and random forests (RFs) in such common and multifactorial disease. This paper gives an overview on machine learning methods, describing the methodology of each machine learning methods and its application in detecting gene-gene and gene-environment interactions. Lastly, this paper discussed each machine learning method and presents the strengths and weaknesses of each machine learning method in detecting gene-gene interactions in complex human disease.

关键词： Computer science   Biomedical Data   High-Dimensional   Imbalanced   Machine Learning  

摘要： Learning from high dimensional biomedical data attracts lots of attention recently. High dimensional biomedical data often suffer from the curse of dimensionality and have imbalanced class distributions. Both of these features of biomedical data, high dimensionality and imbalanced class distributions, are challenging for traditional machine learning methods and may affect the model performance. In this thesis, I focus on developing learning methods for the high-dimensional imbalanced biomedical data. In the first part, a sparse canonical correlation analysis (CCA) method is presented. The penalty terms is used to control the sparsity of the projection matrices of CCA. The sparse CCA method is then applied to find patterns among biomedical data sets and labels, or to find patterns among different data sources. In the second part, I discuss several learning problems for imbalanced biomedical data. Note that traditional learning systems are often biased when the biomedical data are imbalanced. Therefore, traditional evaluations such as accuracy may be inappropriate for such cases. I then discuss several alternative evaluation criteria to evaluate the learning performance. For imbalanced binary classification problems, I use the undersampling based classifiers ensemble (UEM) strategy to obtain accurate models for both classes of samples. A small sphere and large margin (SSLM) approach is also presented to detect rare abnormal samples from a large number of subjects. In addition, I apply multiple feature selection and clustering methods to deal with high-dimensional data and data with highly correlated features. Experiments on high-dimensional imbalanced biomedical data are presented which illustrate the effectiveness and efficiency of my methods.

关键词： trading strategies   high frequency trading   machine learning   clustering  

摘要： Not long ago securities were traded by human traders in face-to-face markets. The ecosystem of an open outcry market was well-known, visible to a human eye, and rigidly prescribed. Now trading is increasingly done in anonymous electronic markets where traders do not have designated functions or mandatory roles. In fact, the traders themselves have been replaced by algorithms (machines) operating with little or no human oversight. While the process of electronic trading is not visible to a human eye, machine-learning methods have been developed to recognize persistent patterns in the data. In this study, we develop a dynamic machine-learning method that designates traders in an anonymous electronic market into five persistent categories: high frequency traders, market makers, opportunistic traders, fundamental traders, and small traders. Our method extends a plaid clustering technique with a smoothing framework that filters out transient patterns. The method is fast, robust, and suitable for a discovering trading ecosystems in a large number of electronic markets.

关键词： 贷款违约预测   非平衡数据   随机森林   并行计算  

摘要： 如何在发放贷款前有效的评价和识别借款人潜在违约风险,计算借款人的违约概率,是现代金融机构信用风险管理的基础和重要环节,也是数量经济学、金融学等领域中的研究热点问题。 现有的贷款违约数据大部分都是非平衡的,以往的研究并未足够注意这一特征也就重视这一问题的深入研究,本文主要研究如何借助非平衡数据分类的思想对银行等金融机构的历史贷款数据进行分析,预测贷款违约的可能性。对于非平衡数据问题,采用基于数据平衡的方法构造随机森林；针对数据较大的问题,采用具有并行特性的随机森林算法。基于上述研究,本文提出了一种改进的带权重的并行平衡随机森林算法(WPBRF)。WPBRF算法在构造随机森林的每个决策树的同时利用OOB数据估计该决策树的预测性能,并据此赋予每个决策树不同的权重；此外,WPBRF算法利用了随机森林算法的可并行计算的特点,减少了单个决策树的训练时间。 实验结果表明,WPBRF在准确率和平衡准确率等方面超过了SVM、KNN、C4.5等常见分类算法和随机森林算法。此外,利用随机森林的并行性的WPBRF算法大幅降低了算法的学习时间,提高了算法的执行效率。

关键词： Overhead distribution system   Distribution reliability   Weather & animal-related outages   Ensemble learning methods  

摘要： Because a majority of day-to-day activities rely on electricity, it plays an important role in daily life. In this digital world, most of the people's life depends on electricity. Without electricity, the flip of a switch would no longer produce instant light, television or refrigerators would be nonexistent, and hundreds of conveniences often taken for granted would be impossible. Electricity has become a basic necessity, and so any interruption in service due to disturbances in power lines causes a great inconvenience to customers. Customers and utility commissions expect a high level of reliability. Power distribution systems are geographically dispersed and exposure to environment makes them highly vulnerable part of power systems with respect to failures and interruption of service to customers. Following the restructuring and increased competition in the electric utility industry, distribution system reliability has acquired larger significance. Better understanding of causes and consequences of distribution interruptions is helpful in maintaining distribution systems, designing reliable systems, installing protection devices, and environmental issues. Various events, such as equipment failure, animal activity, tree fall, wind, and lightning, can negatively affect power distribution systems. Weather is one of the primary causes affecting distribution system reliability. Unfortunately, as weather-related outages are highly random, predicting their occurrence is an arduous task. To study the impact of weather on overhead distribution system several models, such as linear and exponential regression models, neural network model, and ensemble methods are presented in this dissertation. The models were extended to study the impact of animal activity on outages in overhead distribution system. Outage, lightning, and weather data for four different cities in Kansas of various sizes from 2005 to 2011 were provided by Westar Energy, Topeka, and state climate office at K

关键词： 机器学习方法   朴素贝叶斯分类器   特征构建  

摘要： piRNA的识别是目前生物信息学领域研究的热点问题之一。piRNA，又称Piwi-interacting RNA是一类重要的非编码小RNA，其长度大约是25到32个核苷酸，可以和Piwi蛋白结合形成piRNA复合物，并且与RNA沉默作有关。目前对于非编码RNA的研究工作主要分为两个方面，一是大规模非编码RNA的鉴定，主要借助于计算机，从已有的非编码RNA中提取特征信息，然后将特征信息进行全基因组尺度的识别；二是采用基因组学和实验方法研究非编码RNA的功能。本文以人类、小鼠、大鼠、果蝇等模式生物作为研究对象，通过搜集现有经实验验证的piRNA序列构建训练集合，分别构建了基于核苷酸组分和物理化学性质分类的多种特征表示模型，并采用朴素贝叶斯分类器结合5轮交叉检验的方法进行预测。最后对各种模型的预测结果进行了比较。结果表明k-mer频率结合核苷酸分类的特征组合模型得到了较好的预测性能，总准确度达到82%多，高于k-mer频率等的特征模型。 本文的主要内容安排如下： 第一章简述生物信息学的主要研究内容及本文的主要工作； 第二章概述非编码RNA的分类预测问题的背景和研究现状； 第三章介绍常见的特征构建和机器学习方法，包括k-mer法、核苷酸分类的特征表示方法、K-2阶马尔科夫模型等； 第四章介绍本文的主要工作——基于朴素贝叶斯的piRNA的识别问题研究； 第五章总结及未来展望。

关键词： 设计参数   缺陷   辨识   支持向量机   神经网络  

摘要： 机械产品设计参数的选择是决定产品质量的关键因素，因产品参数设计不合理引起的设计缺陷是造成产品开发周期延长、影响产品市场竞争力的的主要原因之一。为了在设计阶段初期实现机械产品设计参数缺陷的辨识，本文提出了基于支持向量机(SVM)以及人工神经网络(ANN)的参数设计缺陷辨识模型，对模型构建、参数选择及结果分析等内容进行了较为深入系统的研究。 针对高速机车车轴设计中因参数设计不合理造成的设计缺陷，提出了一种基于改进型支持向量机分类算法的设计缺陷辨识模型。考虑到设计样本间的差异和不同特征参数对设计结果的影响，采用了样本加权和特征加权相结合的方法改善模型。针对支持向量机参数选择难的问题，提出了基于支持向量回归(SVR)算法确定该模型的参数，可快速找到理想的模型参数以提高支持向量机的分类精度和泛化能力。考虑机车车轴轮座区参数设计不合理造成的几类设计缺陷，采用支持向量机分类算法对设计样本进行学习训练，建立了SVM模型，实现了对新车轴设计参数的缺陷辨识。 产品的设计缺陷不仅仅因为几何设计参数的设置不合理，还与包含产品材料选择、加工工艺参数设置、结构参数等广义设计参数有关。本文提出了基于BP神经网络的参数设计缺陷的辨识方法，以汽车保险杠的设计为研究对象，从保险杠的众多设计参数中选择对其质量影响重大的若干参数，通过对神经网络的训练实现了保险杠表面缺陷及整体缺陷两种类型设计缺陷的识别。 考虑产品同其他零部件发生诸如装配、加工等约束关系时，受外界约束参数影响而造成设计缺陷的现象，采用一类神经网络改进算法构建基于设计参数约束关系的缺陷辨识模型，研究约束参数变化对设计结果造成的影响。针对机械产品设计参数的随机性，引入设计参数灵敏度的概念，在神经网络模型的基础上计算各个随机设计参数的灵敏度，获得了设计参数随机变化对设计结果的影响，达到了指导设计参数、加工参数及装配精度参数选择的目的。 本论文研究的基于机器学习算法的设计缺陷辨识方法为机电产品参数设计缺陷辨识问题提供了一套行之有效的理论、方法和技术。

关键词： 多序列比对   DNA微阵列数据   隐马尔可夫模型   聚类算法   生物信息学   转录因子结合位点   集成学习   共变模型   随机上下文无关文法   非编码RNA   序列-结构比对   最大边权团   最小割  

摘要： 生物信息学是一个新兴的跨学科研究领域,通过采用计算方法来解决分子生物学问题,最终目的是能够发现隐藏于海量生物数据中的生物模式和信息,并应用这些信息来提高对一些重要的生物运行机制的理解。生物序列分析则是生物信息学领域重要的基础性研究工作。近年来,随着生物学实验数据的爆炸式增长,机器学习方法在生物序列分析和重要信息的提取中发挥着越来越重要的作用。机器学习通过建立适当的统计模型,可以捕捉隐藏于大量实验数据中的复杂模式并基于它们做出决策。因此,机器学习方法特别适用于类似生物信息学的拥有大量数据但相应理论很不完善的领域。 本文围绕机器学习方法在生物序列分析中的应用展开研究,主要做了以下工作： 1、求解多序列的最优比对是一个NP问题,目前已有大量的方法和程序被开发出来用于蛋白质多序列比对。但是,这些方法大多数都是使用优化得分函数的方法获得最佳或接近最佳的比对,因此只能产生一个单一的比对结果。最近的研究工作发现,通过最优化得分函数的方法取得的最佳序列比对结果,往往并不是最具有生物学意义的比对。因此,本文提出一种基于集成学习的多蛋白质序列比对方法,将隐马尔可夫模型作为集成学习中的基分类器,在对训练集中的序列进行排序后依次与隐马尔可夫模型进行比对,根据比对结果优化模型参数,最后生成一组分数较高的比对结果。在构建集成学习系统时,提出并证明了一种双序列比对方法,可以精确计算出两个给定蛋白质序列的具有领先分数的若干个比对结果,其计算的时间复杂度为二次函数。此外,针对蛋白质二级结构信息对序列比对结果的影响,在之前模型的基础上进行改进,通过一个匹配矩阵实现蛋白质二级结构的匹配分数计算,并初步分析和探讨了引入二级结构信息对不同测试组的比对精度影响。 2、针对目前基于共变模型的非编码RNA序列搜索软件计算效率低的缺点,对传统共变模型进行了改进。首先,对非编码RNA家族的成员序列与该家族的共变模型比对的结果进行了分析,结果表明在共变模型的任何状态,最优比对的子序列长度大多与一致结构的长度相差不多。据此,将RNA家族的二级结构分成若干个基本的结构单元,其中每一个结构单元代表二级结构中的一个茎或环,并为每个结构单元增加了长度限制。设计了一种结构单元的长度限制计算方法,在计算出上、下限的同时,给出相应的置信度。并根据各个结构单元的长度分布对家族中的序列在进化过程中出现插入和删除的次数进行了限定,从而显著降低了序列结构比对的计算时间。 3、转录因子结合位点在基因调控中起着非常重要的作用,准确预测它们在启动子区域的位置可以有助于理解特定基因的表达水平的调节。针对转录因子结合位点的识别,已经开发出了很多的计算方法和工具,但其预测的准确度并不理想。本文提出了一种基于图论的转录因子结合位点的预测方法。通过一个无向有权图来模拟同源基因的启动子区域内的所有子序列和它们之间的关系,从而把问题转化为图的最优化问题。同时,为了提高寻找问题的最佳解决方案的速度,提出了一种预处理技术,可以显著降低图的大小。最后,设计了一种枚举算法搜索图模型中的最大边权团,最大边权团对应的子序列即为预测的转录因子结合位点。 4、传统的聚类方法在用于DNA微阵列数据分析时,多数只能生成一种聚类结果,无法识别出与多组不同的基因表达模式相类似的基因。针对该问题,提出一种基于图形模型和图割算法的DNA微阵列数据聚类方法,将样本空间的整个数据集表示为一个有权图,然后迭代地求解图的最小割权值和第二小割权值,根据图割,将图分割为子图。此外,在数学上证明了图的第二最小割可以在多项式时间内算出。对高连通图的定义进行引申后,用于无向有权图中,并将高连通图的判据作为图分割的终止判据。