关键词： machine learning   statistics   operations research   data mining   artificial intelligence  

摘要： This article proposes a methodology for the analysis of the causes and types of workplace accidents (in this paper we focus specifically on floor-level falls). The approach is based on machine learning techniques: Bayesian networks trained using different algorithms (with and without a priori information), classification trees, support vector machines and extreme learning machines. The results obtained using the different techniques are compared in terms of explanatory capacity and predictive potential, both factors facilitating the development of risk prevention measures. Bayesian networks are revealed to be the best all-round technique for this type of study, as they combine a powerful interpretative capacity with a predictive capacity that is comparable to that of the best available techniques. Moreover, the Bayesian networks force experts to apply a scientific approach to the construction and progressive enrichment of their models and also enable the basis to be laid for an accident prevention policy that is solidly grounded. Furthermore, the procedure enables better variable definition, better structuring of the data capture, coding, and quality control processes.

关键词： 数据挖掘   突水预测   二项Logistic回归   概率神经网络   CART树  

摘要： 长期以来,煤层底板突水问题一直严重影响着我国主要煤矿生产基地—华北型煤田的煤矿安全生产,煤层底板突水事故的发生造成了重大的人员伤亡和财产损失。进行煤层底板突水预测是亟待解决的关键问题。煤层底板突水是多种因素综合作用的结果,为了进行多因素影响下的煤层底板突水预测,获取煤层底板突水规则,将煤层底板突水预测问题归纳为数据挖掘分类问题,引入数据挖掘分类技术,提出了基于数据挖掘分类技术进行煤层底板突水预测的新方法。 本文基于数据挖掘分类技术开展了突水信息特征选择、突水预测模型构建、突水规则获取和突水预测分类系统研发四个方面的研究。首先,在煤层底板突水信息分析的基础上,以各类突水信息为自变量,以是否突水为因变量,利用二项Logistic回归方法建立了煤层底板突水的二项Logistic回归概率模型,完成了煤层底板突水信息第一次特征选择;其次,分别建立了煤层底板突水预测的BP神经网络和PNN神经网络模型,对比分析了不同特征组合条件下BP神经网络和PNN神经网络的分类精度,完成了煤层底板突水信息的第二次特征选择;再次,为了获取煤层底板突水规则,分别建立了煤层底板突水预测的C4.5决策树和CART树模型,获得了基于C4.5决策树和CART树的煤层底板突水规则,分类结果说明CART树规则有较优的分类性能;最后,集成具有较高分类正确率的PNN神经网络和CART树算法研发了煤层底板突水预测数据挖掘分类系统并以华北煤田某矿下组煤首采面突水预测为例开展了系统的应用研究。结果表明数据挖掘分类技术能有效的进行煤层底板突水预测,所开发的煤层底板突水预测数据挖掘分类系统具有实际应用价值。

关键词： Support Vector Machine   Feature Selection   Radial Basis Function   Expectation Maximization   Support Vector Machine Classifier  

摘要： Background: Several classification and feature selection methods have been studied for the identification of differentially expressed genes in microarray data. Classification methods such as SVM, RBF Neural Nets, MLP Neural Nets, Bayesian, Decision Tree and Random Forrest methods have been used in recent studies. The accuracy of these methods has been calculated with validation methods such as v-fold validation. However there is lack of comparison between these methods to find a better framework for classification, clustering and analysis of microarray gene expression results. Results: In this study, we compared the efficiency of the classification methods including;SVM, RBF Neural Nets, MLP Neural Nets, Bayesian, Decision Tree and Random Forrest methods. The v-fold cross validation was used to calculate the accuracy of the classifiers. Some of the common clustering methods including K-means, DBC, and EM clustering were applied to the datasets and the efficiency of these methods have been analysed. Further the efficiency of the feature selection methods including support vector machine recursive feature elimination (SVM-RFE), Chi Squared, and CSF were compared. In each case these methods were applied to eight different binary (two class) microarray datasets. We evaluated the class prediction efficiency of each gene list in training and test cross-validation using supervised classifiers. Conclusions: We presented a study in which we compared some of the common used classification, clustering, and feature selection methods. We applied these methods to eight publicly available datasets, and compared how these methods performed in class prediction of test datasets. We reported that the choice of feature selection methods, the number of genes in the gene list, the number of cases (samples) substantially influence classification success. Based on features chosen by these methods, error rates and accuracy of several classification algorithms were obtained. Results revealed

关键词： 人脸识别   机器学习   特征提取   遗传算法   进化特征提取   Adaboost   非负矩阵分解  

摘要： 人脸识别是人工智能领域中重要的研究课题,在过去的几十年中,它得到了研究者们广泛的关注。由于机器学习这个领域不断受到专注,基于机器学习方法的人脸识别技术是目前最流行的方法。本文主要研究人脸识别的特征提取算法以及人脸识别系统。 本文首先给出了特征提取的定义并回顾一下主成分分析(PCA)和线性判别分析(LDA)以及Eigenfaces和Fisherfaces的基本原理;研究了遗传算法的一般框架和研究现状;提出一种与Bagging方法相结合的进化特征提取算法(BEFE),并将它应用于人脸识别。与其它基于遗传算法的特征提取算法相比,该算法有着很低的空间维数和较高的搜索效率。这个算法的另一个优点是它提供了一种简单但有效的方法来研究同一初始数据空间的不同子空间的差异。除此之外,由于使用白化的主成份分析(WPCA)和带权值的适应度函数,并且和Bagging方法相结合,Bagging进化特征算法(BEFE)能适用于“训练集合很小”以及“类很多”的情况,并且具有很好的、稳定的分类性能。 接下来本文对人脸识别系统给出了一般解释;详细介绍了Adaboost算法以及改进方法,非负矩阵分解(NMF)的定义、算法以及各种改进方法;对人脸识别性能指标进行了介绍;并且研究了一个基于Adaboost方法和非负矩阵分解方法的人脸识别系统,并将该系统的人脸识别部分—非负矩阵分解在标准人脸库上进行了测试与分析,验证了有着局部化以及稀疏的特点的非负矩阵分解方法非常适合用于人脸识别上。

关键词： 机器学习   先验信息   归一化互信息   人工神经元网络   模型构造   模型选择   模式识别   回归分析  

摘要： 本文对基于互信息与先验信息的机器学习方法进行了研究。针对模式识别,本文研究了基于互信息的分类模型选择问题,提出了归一化互信息(Normalized MutualInformation)学习准则,分析并讨论了在处理二类和多类分类问题时,它与其它分类准则(准确率、精确率、召回率、ROC曲线、P-R曲线等)之间的非线性关系,并以支撑向量机方法中核函数选择问题为例,应用统计方法对互信息学习准则进行了研究;针对回归分析,本文研究了带广义约束的神经元网络模型(Generalized Constraint NeuralNetworks),讨论了神经元网络与部分已知关系进行结合的基本方法,通过应用先验知识来构造解决特定问题的神经元网络模型,以增加神经元网络的“透明度”。本文的主要工作和贡献有以下几个方面: ①针对模式识别,研究了基于互信息的模型选择问题。提出了归一化互信息学习准则,推导并分析了在处理二类和多类分类问题时,它与其它分类准则(准确率、精确率、召回率、ROC曲线、P-R曲线等)之间的非线性关系,并对其应用特点与局限性作出初步解释。指出基于信息理论为学习准则的机器(分类、或聚类)学习原理就是将无序(类标、或特征)数据转变为有序(类标、或特征)数据的过程,其中转变效果是以信息熵为测量尺度。虽然不确定度(信息熵)为分类器设计者提供了独特的,不同于传统性能准则的有用信息,但该准则在分类问题应用上还有一定的局限性,特别是不确定度与传统分类性能指标并非有一致而单调的函数关系,在进行分类器设计选择时仍然需求传统分类性能指标的辅助计算。 ②以支撑向量机方法中核函数选择问题为例,应用统计方法对互信息学习准则进行了研究。通过综合实验和根据气象数据进行的特性实验表明:不同模型评估准则之间存在差异,但应用统计方法可以从这些差异中发现一些规律。同时,不同统计方法之间也存在差异,且这种差异对模型评估的影响要大于由于评估准则的不同而产生的影响。互信息学习准则作为一个综合性指标,在一定程度上可以弥补其它单一评估准则的不足。所以,在模型选择和模型评估时,要在应用多种统计方法的基础上,综合考评多种评估准则。 ③对人工神经元网络在解决“黑箱”问题方面的研究进展进行了文献综述。提出了“透明度”研究中的多层次划分分类框架,并针对回归分析,研究了基于先验信息的模型构造方法。讨论了带广义约束的神经元网络模型与部分已知关系进行结合的基本方法,特别是其中两种最为常见的“加和模型”和“乘积模型”。初步分析了广义约束神经元网络模型优于传统神经元网络学习性能的条件和应用特点。

关键词： 构造性机器学习   改进算法   覆盖算法   随机选择   人工神经网络   关联规则  

摘要： 如今,科学技术正处于多学科互相交叉和渗透的时代。特别是计算机科学与技术的迅速发展,从根本上改变了人类的生产与生活。同时,随着人类生存空间的扩大,人们对科学技术提出了新的更高的要求。在现在信息爆炸的时代,要从各种各样海量信息中找出我们大家感兴趣的、有价值的信息,信息处理显得尤为重要。聚类、分类等各种信息处理方法层出不穷。从1943年到现在,人工神经网络虽然历经波折,但也取得长足发展,应用范围越来越广,如:模式识别、最优化问题计算、复杂控制、通信等等。然而传统的网络的本质缺陷限制了神经网络在海量数据中的应用。　　覆盖算法就是在前向神经网络的不断发展和推进下发展起来的。与传统的前向神经网络相比,覆盖算法具有运行速度快、精度高的特点,在众多领域得到广泛应用。大批的研究者在优化覆盖算法上也做出了巨大的贡献,在原始覆盖算法的基础上提出了大量的改进算法,如:领域覆盖算法、增量覆盖算法、核覆盖算法、多侧面覆盖算法、概率覆盖模型算法等等。但是各种算法中,领域的初始中心一般是随机选择,从而造成覆盖网络性能也具有随机性。同时,领域覆盖网络中领域存在冗余,由此可见覆盖算法有待进一步深入研究。　　本文的主要工作包括:　　1.概述了人工神经网络的发展过程,比较分析构造性机器学习方法的主要模型,并详细介绍了覆盖算法的思想,比较分析基于覆盖算法的神经网络的主要模型和算法;2.提出了基于聚类的交叉覆盖算法:与传统的前向神经网络相比,覆盖算法具有运行速度快、精度高的特点,但覆盖算法的初始领域中心是随机选取的。实验表明网络性能与学习顺序有密切的关系。本文在前向神经网络交叉覆盖算法基础上提出了一种新型改进的交叉覆盖算法――基于聚类的交叉覆盖算法。该方法是一种根据聚类结果确定学习顺序的方法。实例表明这种改进的算法是确定性学习方法,可以有效减少覆盖数量,提高交叉覆盖算法的测试速度,减少拒识样本数,提高识别的精度。　　3.提出基于关联规则的领域覆盖算法:前向神经网络网络的覆盖算法根据样本数据构造性地建立神经网络,网络结构易于确定,执行效率高。但由于噪声数据的存在,可能造成覆盖领域多,从而增加了网络结构的复杂性,并产生一些不必要的误识。本文借鉴数据挖掘中关联规则的支持度与可信度的概念,对覆盖领域进行约简,简化覆盖网络的结构,提高网络的稳定性和推广能力。

摘要： While the complexity of biological systems often appears intractable, living organisms possess an underlying correlation derived from their hierarchical association. This notion enables methods such as machine learning techniques, Bayesian statistics, nearest neighbor, and known sequence-to-structure exploration, to discover and predict biological patterns. As proteins are the direct expression of DNA, they are the center of all biological activity. Thousands of new protein sequences are discovered each year, and knowledge of their biological importance relies on the determination of their folded or tertiary structure. Secondary structure prediction plays an important role in protein tertiary prediction, as well as in the characterization of general protein structure and function. The protein secondary structure prediction problem is defined as a three-state classification problem. Given any linear sequence of one-letter coded amino acids, the goal is to predict the secondary structure membership of each amino acid. Machine-learning based techniques are commonly and increasingly used for secondary structure prediction. For the past few decades, several algorithms and their variations have been used to predict protein secondary structure, including multi-layered neural networks and ensembles of support vector machines. DARWIN is new protein secondary structure prediction server that utilizes a novel two-stage system that is unlike any current state-of-the-art method. DARWIN specifically responds to the issue of accuracy decline due to a lack of known homologous sequences, by balancing and maximizing PSI-BLAST information, by using a new method termed fixed-size fragment analysis (FFA), and by filling in gaps, ends, and missing information with an ensemble of support vector machines. DARWIN comprises a unique combination of homology consensus modeling, fragment consensus modeling, and support vector machine learning. DARWIN has been tested against several leading pred

关键词： 划分聚类   一般模糊极小极大神经网络   机器学习   案例推理   固体火箭发动机总体设计  

摘要： 将基于划分的模糊聚类算法和一般模糊极小极大神经网络分类算法相结合,提出了一种新的机器学习方法,实现了基于类比的案例推理学习模型。具体实现思想是,首先利用基于确定性退火技术的划分聚类算法对已知案例进行聚类标识,由所得结果建立一般模糊极小极大神经网络分类模型,然后用该模型实现新目标问题的案例相似性检索,最后针对目标问题结果案例完成案例学习。通过实例表明,该算法具有较好性能,并在基于案例推理的固体火箭发动机总体设计中成功应用,得到了论域覆盖面大的设计结果集。

关键词： 指代   共指   指代消解   共指消解   机器学习方法  

摘要： 指代消解处理是自然语言处理的关键环节,也是众多语言工程项目的核心任务。本文针对指代消解的一些基本问题进行阐述,按照时间线索,对国内外各类指代消解技术方法的研究情况进行分析,阐明了指代消解技术目前的主流方法和技术线路,最后对未来汉语指代消解技术的研究前景加以展望。

关键词： 类不平衡   模式识别   机器学习   分层学习   代偏重的最小化最大概率机   自适应提升算法  

摘要： 产品质量自动检测是一种类不平衡的模式识别分类。传统的机器学习方法考虑整体精度而偏重多数据类,但分布少的缺陷类才是重要类。本文提出对类不平衡的机器学习采用分层进行,首先对样本进行两分类学习,目标是通过简单分类器在许可的错误率下分离出易于分离的绝大多数合格类样本,然后对不平衡性得到缓解的剩余样本进行两分类或多分类学习。在学习后的检测分类中,第1层的简单分类器和第2层的复杂分类器并行工作,前面的分类器分类为合格的可提前结束后面分类器的工作,提高总体分类速度。对比实验表明本方案有效改进了学习性能和检测分类速度。