关键词： 药物靶标   机器学习   树状贝叶斯   蛋白质信号通路   数据挖掘  

摘要： 药物的发展历史甚久，中国古代就有神农尝百草的故事以及本草纲目等名著。从人类基因组计划基本完成的那一刻起，生物数据作为一种非物质的新型生产资料正在逐渐引发着生物医学的变革，新药的研发迈入了一个全新的阶段。近年来“大数据”概念受到越来越多的关注，而随着生物科技的不断进步，高通量测序技术得到快速发展，使得生命科学研究获得了强大的数据产出能力，海量产出了包括基因组学、转录组学、蛋白质组学、代谢组学等各种生物学数据。这些数据具有“4V”特点：数据量大(Volume)、数据多样化(Variety)、有价值(Value)、高速(Velocity)。如果能合理地收集，管理并利用好这样的生物数据，从中挖掘有用的生物信息，将对人类疾病的诊疗送来福音。为了提高新药研发的效率，给疾病患者尽早带来福音，作为新药研发的首要步骤，利用机器学习的方法挖掘潜在药物靶标已成为生物制药领域的研究热门。对此，本文完成了如下几个方面的研究工作：\n (1)基于蛋白质序列信息的潜在药物靶标预测研究。尽管研究者已经总结出了部分药物靶标的特征，但是药物靶标的完整特征仍在摸索阶段。而药靶蛋白质的序列信息只依赖于测序技术，相对于各种生物假设是独立的。因此利用蛋白质的序列信息预测潜在的药物靶标，能够避免对于药物靶标生物假设的片面性和盲目性。本文首先从细胞组件，分子功能以及生物过程三个方面，对载体、转运以及酶三类药靶蛋白质进行了对比分析，从而确保了三组已知药物靶标蛋白质数据可以作为一个正面训练集整体进行机器学习的可行性。进一步采用较为成熟的计算软件，基于蛋白质的序列信息提取了多种物化属性作为特征集。接着设计了两种策略从蛋白质样本的测试集中提取分类器所需要的阴性数据集，并使用三种核函数对训练数据进行学习，比较了三种支持向量机核方法的分类性能。第一种策略的特点是“不放过”测试集中的潜在的药物靶标。第二种策略的特点是对于测试集中潜在的药物靶标“不选错”，两种策略各有优势。本文结果表明在对药靶蛋白质进行大批量筛选时，推荐使用第一种策略。而对药靶蛋白质进行精选时，推荐使用第二种策略。最后分析了预测的药物靶标蛋白质中具有富集效应的通路，并在通路中标出了具有研究意义的靶点，这些靶点对于药物开发具有一定的研究价值。\n (2)基于经典贝叶斯分类方法提出了一种新的分类方法BFC(Bayesian Forest Classifier)。首先分析了基于贝叶斯分类方法的分类器的研究现状，着重介绍了朴素贝叶斯分类器与贝叶斯网络分类器的原理，并指出现有方法在处理有限样本多维特征数据方面的不足。然后基于朴素贝叶斯的框架提出了一种新的多树结构的贝叶斯分类器BFC。BFC利用隐变量分类模型的策略建立协变量间相互依赖的关系。首先把协变量按照他们与分类变量之间的关系以及变量互相之间的关系分成四个大组。在协变量互相之间有关联的组中，再采用树状模型又把这些互相关联的协变量不断划分重组为子组块，从而最终实现协变量的有效分类。利用细节平衡的MCMC采样步骤时，这种树组策略在仿真数据和实际应用中都能够取得很好的效果。本文进一步从理论上证明了算法中所设计的MCMC采样的细致平衡性。最后通过三组仿真实验以及15组真实基准数据测试了BFC的分类能力，并与11种常用的分类方法细致的比较研究。新的分类方法不仅可以用在药物靶标的筛选、蛋白质调控关系的预测等方面，而且在机器学习与模式识别的各个领域都能有广泛的应用。\n (3)基于蛋白质序列信息以及蛋白质互作用网络的拓扑特征的潜在药物靶标挖掘研究。本文从三种视角对药物靶标蛋白质的拓扑属性进行了分析：药靶蛋白质作为网络的中介，药靶蛋白质作为信号源以及药靶蛋白质的群簇特征。总共比较了网络的节点度、介数、平均距离、偏心距、聚类系数、核数以及社区性等7个拓扑特征。发现药靶蛋白质在6、9、12、18核的子网络中具有较高的全局比，在偏心距为7、8、9的位置具有较高的概率密度，与药靶蛋白质相互作用的蛋白质也都存在于较高连接度的群簇，对于这些特征的分析有助于从系统的角度进一步理解药物靶标的作用机理。本文进一步利用网络特征从测试蛋白质集合中提取阴性训练集，比较了三种分类器(SVM、AdaboostBayes以及BFC)对训练数据的分类性能，从测试集中预测得到了102个潜在的药物靶标。最后对预测得到的药靶中富集显著的通路进行了分析，并在通路中标出了具有进一步实验价值的相关靶点。\n (4)提出了一种针对信号通路中蛋白质间激活与抑制调控关系的预测方法。药物与靶标蛋白质相结合，通过靶标蛋白质对其他蛋白质的相互作用对整个信号通路起到调节的作用。因此，对于信号网络中蛋白质调控关系的研究有助于发现新的药靶蛋白质。本文给出了信号通路研究的数据资源，并介绍了基因本体以及蛋白质结构域两组数据资源以及其特点

关键词： sepsis   clinical decision support tool   probabilistic modeling   Partially Observable Markov Decision Processes   POMDP   CDSS  

摘要： Background: A tantalizing question in medical informatics is how to construct knowledge from heterogeneous datasets, and as an extension, inform clinical decisions. The emergence of large-scale data integration in electronic health records (EHR) presents tremendous opportunities. However, our ability to efficiently extract informed decision support is limited due to the complexity of the clinical states and decision process, missing data and lack of analytical tools to advice based on statistical relationships. Objective: Development and assessment of a data-driven method that infers the probability distribution of the current state of patients with sepsis, likely trajectories, optimal actions related to antibiotic administration, prediction of mortality and length-of-stay. Methods: We present a data-driven, probabilistic framework for clinical decision support in sepsis-related cases. We first define states, actions, observations and rewards based on clinical practice, expert knowledge and data representations in an EHR dataset of 1492 patients. We then use Partially Observable Markov Decision Process (POMDP) model to derive the optimal policy based on individual patient trajectories and we evaluate the performance of the model-derived policies in a separate test set. Policy decisions were focused on the type of antibiotic combinations to administer. Multi-class and discriminative classifiers were used to predict mortality and length of stay. Results: Data-derived antibiotic administration policies led to a favorable patient outcome in 49% of the cases, versus 37% when the alternative policies were followed (P=1.3e-13). Sensitivity analysis on the model parameters and missing data argue for a highly robust decision support tool that withstands parameter variation and data uncertainty. When the optimal policy was followed, 387 patients (25.9%) have 90% of their transitions to better states and 503 patients (33.7%) patients had 90% of their transitions to worse state

关键词： Ensemble feature ranking   Prediction   Shellfish farm closure prediction  

摘要： Shellfish farms are needed to be closed if they are contaminated during their production as otherwise it may lead to serious health hazard. The authorities monitor a number of water quality variables to check the health of shellfish farms and to decide on the closure of the farms. The research presented in this paper aims to automate this process by developing novel algorithms to identify the cause of closure and also predicting the closure. As the frequency of closure is relatively very small, the labelled data sets are imbalanced in nature. We have developed a novel ensemble feature ranking algorithm that explicitly deals with class imbalance problem and identifies the cause of closure. We have also presented a class balancing ensemble classifier to predict shellfish farm closure. The class balancing ensemble classifier predicts closure/opening with as high as 71.69% accuracy and achieves best balancing act with decision tree base classifier in 75% locations. Rain and salinity are found to be the key causes of closure and the causality depends of the properties of the locations. Crown Copyright (C) 2014 Published by Elsevier B.V. All rights reserved.

关键词： 入侵检测   机器学习   特征选择   RBF神经网络   误报消除  

摘要： 网络的出现及广泛应用，给人们的生活和工作带来了便捷，但同时也带来了很多安全问题，各种类型的病毒、漏洞、攻击都造成了巨大的损失。如何保护信息不被攻击和泄露，维护其完整性、可用性和保密性，是当前研究的关注重点。面对网络安全的现状，目前主要采取访问控制、数据加密、身份认证、防火墙、和入侵检测技术等措施，保障网络和信息系统的安全。入侵检测技术通过收集操作系统、系统程序、应用程序、以及网络流量包等信息，发现被监控系统或网络中违背安全策略，或危及系统安全的行为，是保障系统和网络安全的有效手段。 机器学习方法用计算机模拟人类的学习活动，研究如何通过计算机学习现有的知识，发现新的知识，并通过不断完善，提升学习的效果。机器学习中包含大量的数据预处理和分类方法，与统计学、人工智能、信息论等学科有关联。其基本过程是通过从已有的经验中学习并构建学习机，进一步对未知的数据进行分类或预测。 本文将机器学习的部分典型方法和算法应用于入侵检测中，探索其中的相关数据处理方法在入侵检测中应用的有效性和可行性。本文的研究在一个基于机器学习的入侵检测系统（Intrusion Detection System, IDS）框架下，主要研究三个方面的问题，并实现相应的解决方案。首先，入侵检测中通常面临安全数据的高维度问题，采用特征选择方法降低特征维度；其次，入侵检测技术的关键问题是如何提高检测的效果，提出一种粒子群优化人工神经网络的算法，用以提高检测准确率；第三，入侵检测系统面临着结果警报中误报高的问题，提出采用聚类分析实现误报消除的方法。具体内容包括如下四个方面： （1）一个入侵检测系统框架。参考已有的网络安全模型和入侵检测模型，针对实际应用中的需求，提出一种基于机器学习的入侵检测系统框架。框架满足提出的三个条件：事件处理流程的完整性，通用性，以及灵活性。 （2）两类特征选择方法。采用四种典型的过滤式特征选择方法，按照特征的重要性进行排序，给出安全数据的特征序列。进一步引入K近邻（K-Nearest Neighbor,KNN）算法与支持向量机（Support Vector Machine, SVM）算法作为分类器，构建包裹式特征选择方法，按照分类器的效果选择特征子集。所选择的特征子集作为入侵检测方法的实验数据特征。 （3）一个优化的神经网络算法。将人工神经网络方法应用于异常入侵检测中，研究这种应用的有效性和可行性。提出采用粒子群优化算法（Particle SwarmOptimization, PSO）对径向基函数（Radial Basis Function, RBF）神经网络进行优化的方法，并实现相应的算法。实验表明能够有效的提高入侵检测的准确率。 （4）一种误报消除方法。入侵检测系统结果的警报数据中误报率高，导致有效的警报数据比例少，分析困难。提出并实现采用聚类分析对误报进行消除的方法，将入侵检测系统的警报结果中真实的警报和误报分离开，并验证这种方法的有效性和可行性。 本研究的创新点主要有以下四点：（1）提出了基于机器学习的入侵检测系统框架，基于这一框架展开其它的工作；（2）实现与KNN和SVM结合的包裹式特征选择方法；（3）提出PSO优化的RBF神经网络算法；（4）采用两种典型的聚类分析算法实现入侵检测中误报的消除。 综上所述，本文的研究是探讨机器学习方法在网络入侵检测中应用的有效性和可行性。包括一个系统框架，两类特征选择方法，一个神经网络的优化算法，以及一种误报消除方法，分别应用于降低网络安全数据的维度，提高入侵检测的检测率，以及降低警报结果中的误报。每个章节中，通过设计实验，验证所提出方法和算法的效果，以期为其他的研究者提供参考，并具有一定的实际意义。

关键词： Machine learningMachine learning--Mathematical modelsAuthorshipResearch--Mathematical modelsAuthorship   Disputed  

摘要： Broadly speaking, the authorship identification or authorship attribution problem is to determine the authorship of a given sample such as text, painting and so on. Our main work is to develop an effective and mathe-sound approach for the analysis of authorship of doubted books. Inspired by various authorship attribution problems in the history of literature and the application of machine learning in the study of literary stylometry, we develop a rigorous new method for the mathematical analysis of authorship by testing for a so-called chrono-divide in writing styles. Our method incorporates some of the latest advances in the study of authorship attribution, particularly techniques from support vector machines. By introducing the notion of relative frequency of word and phrases as feature ranking metrics our method proves to be highly effective and robust. Applying our method to the classical Chinese novel Dream of the Red Chamber has led to convincing if not irrefutable evidence that the first 80 chapters and the last 40 chapters of the book were written by two different authors. Also applying our method to the English novel Micro, we are able to confirm the existence of the chrono-divide and identify its location so that we can differentiate the contribution of Michael Crichton and Richard Preston, the authors of the novel. We have also tested our method to the other three Great Classical Novels in Chinese. As expected no chrono-divides have been found in these novels. This provides further evidence of the robustness of our method. We also proposed a new approach to authorship identification to solve the open class problem where the candidate group is nonexistent or very large, which is reliably scaled from a new method we have developed for the closed class problem in which the candidates author pool is small. This is attained by using support vector machines and by analyzing the relative frequencies of common words in the function words dictionary and most frequ

关键词： 数据预测   数据分类   特征分析   降维度处理   半参数回归模型   支持向量机   频域特征分析   特选选择  

摘要： 数据预测与分类是数据挖掘领域非常重要的研究课题,长期以来受到了广泛的关注。数据预测与分类理论是管理科学、经济、数学、计算机等不同学科相互交叉融合的结晶,并已经被广泛应用于能源价格市场分析、金融市场价格预测和风险控制、生物信息识别、商务智能客户行为分析等众多领域。近年来,随着信息技术、互联网技术的迅猛发展,云计算、大数据分析的逐步成熟,复杂数据预测与分类研究充满了机遇与挑战,一方面,随着上述新兴技术、产业的发展与推广,大量实时在线数据的快速收集得以实现,以数据预测与分类为代表的数据挖掘技术将在更多的领域中发挥更大的作用。另一方面,从数据维度、数据类型以及数据体量等不同层面来看,数据对象正变的越来越多样化、复杂化,这极大的增加了精准化和精细化挖掘的难度,同时也从知识获取的准确性、合理性、可靠性以及实用性等多个方面对数据预测与分类研究提出了更高要求。本文在对国内外数据预测与分类有关基础理论、实现方法和建模策略进行梳理和总结的基础上,重点从数据的维度复杂性、频域特征复杂性、多源信息识别与匹配三个方面出发,紧密围绕数据预测与分类的关键问题,以电力系统负荷数据、电力市场价格数据为主要研究对象和案例,对复杂数据预测与分类问题展开研究。本文的主要研究内容及创新点总结如下：(1)提出了一种基于相似性测度的半参数回归概率密度预测框架,系统性分析了传统数据预测方法的适用范围及存在的问题。在此基础上,针对研究对象的多源相关性特征,构建了基于非参数修匀的半参数回归模型,同时结合Bootstrap概率区间估计进行分析。其次,针对所选择的多影响因素指标与研究对象之间作用机制难以确定的问题,结合相似性测度、因子分析以及因果关系检验等方法,给出了一种规范化的指标变量提取与识别策略。通过实验验证所提出预测框架的有效性,进而为深入研究不同指标变量与对象数据之间的复杂建模机制提供了借鉴。(2)提出了一种基于数据降维的分段可加半参数回归概率密度预测框架,针对数据的周期性、多维多粒度波动特性,受到可加建模思想的启发,提出了基于分段可加的半参数回归模型,并结合Bootstrap概率区间估计进行分析。为保证样本外预测的可行性和合理性,基于Bootstrap重采样技术对气象数据的未来趋势进行了有效模拟。该数据预测框架引入了可加建模思想对数据作降维度处理,并结合指标变量筛选与匹配方法从而完成概率分布建模,给出了一种可行的大跨度外延预测方法,同时提高了数据预测在电力需求分析中的实用性和鲁棒性。(3)提出了一种基于特征提取的半参数回归概率密度预测框架,针对数据的周期性、多频域特征混叠特性,基于EEMD频域分解方法对原始序列进行多尺度分析,结合频域特征选择与识别方法确定原始序列的特征信号和随机信号,并对不同频域信号进行重构。结合正交最小二乘估计、Bootstrap概率区间估计,构建了非参数修匀策略的半参数回归模型。基于所提出的模型对不同特征成分和趋势成分分别建模并集成预测。该数据预测框架引入了频域分析方法对数据作降维度处理,通过合理的筛选特征信号和趋势信号并进行概率分布建模,为有效分析具有复杂趋势融合特征的非平稳时间序列数据提供了一种新思路。(4)提出了一种基于特征选择和支持向量机的高维数据分类框架,针对连续型数值预测方法用于非平稳、极端波动趋势分析时容易失效的问题,基于数据分类的思想将传统的数据类别看作是描述对象数据变化的“概率空间”,并增加对象数据的所属类别及类别范围从而将区间预测转化为模式分类问题。通过融合Filter和rapper两种不同特征选择思路对SVM进行改进,给出了基于多分类的SVM-RFE-MRMR分类方法,并结合PCA-DP时间序列分割等方法,从模式判别的角度给出了一种复杂数据预测新框架,进而为高维数据波动规律分析、非平稳高频波动数据预测等问题的研究提供了新思路。

关键词： TRAFFIC accidents   EXTERNALITIES (Economics)   TRAFFIC estimation   DATA mining   BACK propagation (Artificial intelligence)   LOGISTIC regression analysis  

摘要： With the ever-increasing number of vehicles on the road, traffic accidents have also increased, resulting in the loss of lives and properties, as well as immeasurable social costs. The environment, time, and region influence the occurrence of traffic accidents. The life and property loss is expected to be reduced by improving traffic engineering, education, and administration of law and advocacy. This study observed 2,471 traffic accidents which occurred in central Taiwan from January to December 2011 and used the Recursive Feature Elimination (RFE) of Feature Selection to screen the important factors affecting traffic accidents. It then established models to analyze traffic accidents with various methods, such as Fuzzy Robust Principal Component Analysis (FRPCA), Backpropagation Neural Network (BPNN), and Logistic Regression (LR). The proposed model aims to probe into the environments of traffic accidents, as well as the relationships between the variables of road designs, rule-violation items, and accident types. The results showed that the accuracy rate of classifiers FRPCA-BPNN (85.89%) and FRPCA-LR (85.14%) combined with FRPCA is higher than that of BPNN (84.37%) and LR (85.06%) by 1.52% and 0.08%, respectively. Moreover, the performance of FRPCA-BPNN and FRPCA-LR combined with FRPCA in classification prediction is better than that of BPNN and LR.

关键词： 自然语言处理   词义消歧   特征工程   机器学习方法   机器翻译  

摘要： 中文中的词语灵活性造成了一词多义现象的大量存在，这对自然语言处理来说是一个难点，许多自然语言处理领域中的问题最终都是处理词语的歧义问题。如何让计算机能够根据特定的语言环境对一词多义现象进行处理是词义消歧需要解决的首要问题。词义消歧对于许多自然语言处理领域的应用都有非常重要的作用。 本文的研究内容主要是基于统计学习理论中有监督的词义消歧方法，这种方法是现今词义消歧领域中较为主流的方法之一。这种方法可扩展性、灵活性较好，可以适应语言的变化和发展，得到了国内外相关研究领域的广泛应用。本文的研究内容主要由以下几个部分组成： 首先，本文对词义消歧领域中具有指导意义的方法做了列举和比较，介绍了词义消歧准确率的评判方法和权威评价体系，阐述了仍待解决的影响词义消歧研究的问题。 其次，研究了词义消歧的特征提取方法，其中包括语料的解析过程、特征的选择和特征的提取。深入研究了基于语义的特征提取方法，主要包括单层语义信息、三层语义信息、词形信息三种不同的语义信息的提取。同时通过这三种不同的特征提取手段建立特征向量集。利用特征提取中的三种不同的向量集来构建基于语义信息的贝叶斯词义消歧分类器，通过对比实验来验证新方法的词义消歧性能。 最后，针对词义消歧在其他自然语言处理分支中的扩展应用做了举例。在机器翻译系统中增加词义消歧模块，来提高机器翻译实际应用中的准确率。虽然研究并不完善，但是也给词义消歧在实际中的应用提供了一些现实意义。

关键词： 对外客运需求   机器学习   降噪自编码   随机森林  

摘要： 城市对外客运交通需求预测是城市开展城市综合交通系统规划与设计的基础工作,合理准确的交通需求预测可为城市的对外客运枢纽系统选址、布局、方案比选等工作提供数据支撑,实现既满足城市居民出行需求,又节约项目建设资金的目标。由于对外客运需求预测研究中相关影响因素之间存在日趋增加的相关性关系以及统计数据中的异常值等原因,传统的时间惯性与相关因素原理预测模型表现欠佳。近几年由于社会统计工作的逐渐完善,可供选择研究统计数据不断积累增多,为学者使用新型方法进行研究提供了相关基础。本文采用机器学习中降噪自编码、随机森林两种方法进行交通需求预测,以缓解浅层机器学习方法在交通需求预测问题中的不足。首先引入深度学习理论中降噪自编码方法:降噪自编码方法通过数据的逐层自编码、解码过程获得良好的交通需求预测网络初始化参数,使得网络初始总体损失值较优,缓解了浅层需求预测方法的局部极值与梯度弥散问题。此外人工主动随机噪声,迫使网络在输入包含噪声的情况下重构原始输入,进而训练所得交通需求预测网络鲁棒性、泛化能力更强,不易过拟合。另外考虑对外客运出行需求的相关影响因素间的关联性和时间惯性,将时间序列数据研究中的窗口滑移与机器学习中的随机森林方法相结合,提出时间窗-随机森林组合方法的对外客运总体需求预测方法。随机森林方法在训练过程中共进行两重随机过程,第一重随机为在宏观交通相关数据总体训练样本中随机抽取部分样本训练决策树模型,未被抽取数据用以评价所得交通需求决策树预测模型泛化性能,多次随机抽样获得多颗决策树构成交通需求预测森林模型;第二重随机为在单棵决策树节点分裂过程中随机选取部分属性。两重随机过程使得模型过度拟合特定样本的概率大大减少,预测模型的泛化性增强。同时以北京市宏观经济影响因素数据集为基础进行实例分析,模型精度良好,验证了方法的可行性和有效性,可运用于对外客运需求预测工作。本研究侧重基于机器学习方法的对外客运需求预测,分别从方法由来、数学原理与方法实现等方面进行了详细阐述,可对省份、城市等范围区域进行交通运输发展规划研究工作提供参考与借鉴。对机器学习理论与交通问题的结合有着积极的作用。

关键词： Student Dropout   E-Learning   Prediction   Machine Learning  

摘要： The dropout high rate is a serious problem in E-learning programs. Thus, it is a concern of education administrators and researchers. Predicting the dropout potential of students is a workable solution for preventing dropouts. Based on the analysis of related literature, this study selected students' personal characteristics and academic performance as input attributions. Prediction models were developed using Artificial Neural Network (ANN), Decision Tree (DT) and Bayesian Networks (BNs). A large sample of 62,375 students was utilized in the procedures of model training and testing. The results of each model were presented in a confusion matrix and were analyzed by calculating the rates of accuracy, precision, recall, and F-measure. The results suggested all of the three machine learning methods were effective for student dropout prediction, but DT presented a better performance. Finally, some suggestions were made for future research.