摘要： Android is the most popular mobile operating system with a market share of over 80%. Due to its popularity and also its open source nature, Android is now the platform most targeted by malware, creating an urgent need for effective defense mechanisms to protect Android-enabled devices. In this dissertation, we present a novel characterization and machine learning method for Android malware classification. We first present a method of dynamically analyzing and classifying Android applications as either malicious or benign based on their execution behaviors. We invent novel graph-based methods of characterizing an application's execution behavior that are inspired by traditional vector-based characterization methods. We show evidence that our graph-based techniques are superior to vector-based techniques for the problem of classifying malicious and benign applications. We also augment our dynamic analysis characterization method with a static analysis method which we call HADM, Hybrid Analysis for Detection of Malware. We first extract static and dynamic information, and convert this information into vector-based representations. It has been shown that combining advanced features derived by deep learning with the original features provides significant gains. Therefore, we feed each of the original dynamic and static feature vector sets to a Deep Neural Network (DNN) which outputs a new set of features. These features are then concatenated with the original features to construct DNN vector sets. Different kernels are then applied onto the DNN vector sets. We also convert the dynamic information into graph-based representations and apply graph kernels onto the graph sets. Learning results from various vector and graph feature sets are combined using hierarchical Multiple Kernel Learning (MKL) to build a final hybrid classifier. Graph-based characterization methods and their associated machine learning algorithm tend to yield better accuracy for the problem of malware de

关键词： 主动学习   机器学习   序列标注   训练集  

摘要： 近年,随着人工智能的快速发展,机器学习逐渐成为学术研究的热点。其传统监督学习问题中,学习算法是外界给定已标注实例集作为训练集进行训练,从中归纳出模型。而现实应用中,对实例集进行标注代价昂贵、枯燥乏味或是异常困难[1]。有监督的学习方法都依赖于标注的样本,所以很多情况下,算法和处理方法实现了,就是缺少样本,所以就需要人工进行标注,这里遇到一个问题,如何在保证分类准确率的情况下,减少人工标注的数量。解决这个问题的一种方法就是主动学习。其核心思想是算法通过少量标注,可以实现与从训练集中获取更高精度的数据。

关键词： 土壤有机碳密度   土壤类型   影响因子   机器学习方法   空间预测  

摘要： 土壤有机碳(SOC)是陆地生态系统中最大的碳库之一,对全球气候和农业有非常重要的影响。作为评价土壤质量的一个重要指标,土壤有机碳可以维持土壤良好的物理结构、土壤稳定性、和土壤生物多样性。自然和人为的干扰对土壤有机碳的分布和储量有着重要影响,而且影响的关系随着不同研究尺度而变化。在不同地理环境和地形地貌上,土壤有机碳影响因素和空间分布也有所不同。本文以多山丘陵地区农田土壤为研究对象,研究区域选在重庆江津区,借助数字地形分析方法,地理信息系统,计算机技术,应用经典统计学方法和机器学习方法全面系统地探讨了土壤类型,土地利用类型,地形因子对土壤有机碳密度的影响和作用机理。分类探讨了影响因子对研究区不同土壤类型的影响。将分类决策树,支持向量机,梯度提升回归树和随机森林应用到土壤有机碳密度预测分析中,并比较四种方法的预测精度,应用最佳预测方法完成影响因子的相对重要性分析和土壤有机碳密度制图。得到以下结论:(1)研究区农用地0-20cm土壤有机碳密度的变化范围为0.45 kg/m2-6.18 kg/m2,变异系数为39.8%,属于中等程度变异,平均值为2.64 kg/m2。通过预测得出研究区的农田土壤有机碳密度的最大值为3.92 kg/m2,最小值为1.03 kg/m2,均值为2.74kg/m2,低于全国土壤有机碳密度(3.0kg/m2)。(2)研究区土壤类型包括水稻土、冲积土、紫色土和黄壤土四类。不同土壤类型的土壤有机碳密度平均值大小不同,水稻土有机碳密度(2.68 kg/m2)最高,其次为黄壤有机碳密度(2.53 kg/m2),紫色土有机碳密度(2.21kg/m2)最低。(3)研究区农用地的土地利用类型主要有水田、旱地、果园、其他园地四中类型中,水田(3.17 kg/m2)的土壤有机碳密度最高,其次为果园(2.53 kg/m2),其他园地(2.13kg/m2)的土壤有机碳密度最低。(4)研究区的坡位分为六种:山脊、上坡、中坡、平坡、下坡和沟谷。土壤样点在具体坡位的分布情况为中间坡位(中坡和平坡)分布最多,沟谷中分布最少。在所有影响因子中坡位对有机碳密度的相对重要性程度为中等,其中坡位对水稻土有机碳的影响程度最大,对冲积土的有机碳密度影响程度最小。(5)本研究中,相关分析得出的土壤有机碳密度与地形因子的相关关系与随机森林得出的地形因子对有机碳密度的影响关系走势大致相同,但是地形因子在不同的区间对土壤有机碳密度的影响程度和局部趋势有所变化。土壤有机碳密度与地形因子均呈及显著相关关系((p<0.01)。海拔,SAGA湿度指数,谷底平坦综合指数对土壤有机碳密度的影响程度较大且为正相关关系。沟谷网络垂直距离,坡向对土壤有机碳密度的影响程度极小。(6)通过建立预测模型,并进行影响因子重要性排序,影响土壤有机碳密度因子重要性排序前三为:土壤类型、土地利用类型、海拔;水稻土有机碳密度影响因子的重要性排序前三的为:SAGA湿度指数、沟谷深度、坡长坡度因子;紫色土有机碳密度影响因子重要性排序前三为:土地利用类型、SAGA湿度指数、谷底平坦综合指数;黄壤有机碳密度影响因子重要性排序前三的为:土地利用类型、谷底平坦综合指数、SAGA湿度指数;冲积土有机碳密度影响因子重要性排序前三的为:SAGA湿度指数、沟谷深度、谷底平坦综合指数。土壤类型对土壤有机碳密度的影响程度最大,影响因素的相对重要性在不同土壤类型中不同。土地利用类型对紫色土和黄壤土有机碳密度重要影响程度最大,SAGA湿度指数对水稻土和冲积土有机碳密度影响程度最大。土地利用类型对冲积土土壤有机碳密度的几乎没有影响。(7)在本研究中,比较随机森林,梯度提升回归树,支持向量回归和回归树四种土壤有机碳密度预测模型精度,结果表明,对全区土壤有机碳密度而言,随机森林的预测精度最高,在水稻土和紫色土有机碳密度预测模型中,随机森林的预测精度明显高于其他三种预测模型,在黄壤和冲积土有机碳密度预测模型中,回归树的预测模型精度最高。(8)应用随机森林得到研究区的农田土壤有机碳密度的分布图,由图可知土壤有机碳密度的变化趋势大致与研究区的地形变化和土壤分布趋势大致相同。土壤有机碳密度的高值区主要分布在沿江的西北部分和地形两翼之间部分,土壤有机碳密度的低值区主要分布在沿江中部地区和地形尾部东南地区。

关键词： 人工智能   蚁群算法   数据分类   蛋白质功能预测  

摘要： 随着大数据时代的到来,数据挖掘和数据分类日益成为研究人员关注的焦点。由于大数据的复杂性、冗余性和难于建模等特点,目前的算法很难很好的对其进行分类处理。人工智能启发式算法在解决数据分类等优化问题上具有一定的优势。人工蚁群智能系统是借鉴蚂蚁群体觅食的社会行为而发展的新型智能算法。蚁群算法包含了自组织、记忆功能、正反馈等进化学习机理,为复杂的优化问题提供了新的解决方案和思路。本文主要针对数据分类问题的应用实例研究人工蚁群智能算法。首先介绍了人工蚁群智能算法的生物学机理、研究现状及其算法原理。接着分别对数据分类问题和蛋白质功能预测问题进行分析,并基于人工蚁群智能算法,提出了相应的改进算法。通过仿真实验,改进的算法在相应的优化问题中均有明显的优势。本文主要工作如下:(1)在解决数据分类问题上,本文提出了基于人工蚁群智能算法的多规则集合分类算法AntMinermbc。该算法提出了一个新型的分类模型,由多个基分类器组成,基分类器之间可以互相弥补,从而提高算法的分类准确性。另外,设计了一个新的启发式因子,能够有效的避免算法的过拟合性。最后,采用加权投票机制对未知数据进行准确分类。(2)在解决蛋白质功能预测问题上,本文提出了一种新的基于人工蚁群智能算法的分层多标签分类算法hmAnt Minerorder。该算法改进了轮盘选择策略,设计一个有序轮盘能够明确的区分蛋白质数据属性的优劣,从而引导人工蚂蚁搜索更好的解。另外,设计了一个新型的信息素更新策略,加强hmAntMinerorder算法的收敛性,避免在处理蛋白质功能预测问题时陷入局部最优解。

关键词： Hadoop   决策树   不确定概率   嘈杂数据   林业数据  

摘要： 互联网的快速发展,使数据规模呈指数级增长,海量的数据中蕴含着非常多的信息,需要我们挖掘与分析其中价值,在使用传统驻留内存的数据挖掘算法处理海量数据时受到了单机性能问题的限制,而Hadoop的海量数据存储系统和并行化编程框架技术为处理海量数据的需求提供了一种有效的解决方案。我国的森林资源较为丰富,在多年的监测和整理后,森林资源的基础数据资料已经初具规模,其具有高维、噪声、量大等特点,而传统的林业数据分析手段在处理上也越来越乏力,已经无法满足林业的需求,急需引入一种科学的、高效的技术手段。基于以上,本文提出一种基于Hadoop平台的不确定概率C4.5 (Imprecise Probability C4.5, IP-C4.5)算法,可以对数据集的不可靠性带来的误差进行优化,并具有处理海量数据的能力。同时将改进的IP-C4.5算法引入林业应用,对森林成熟度、森林覆盖类型进行分类预测,从而对今后林业数据的分析开辟了一种新的模式。本文的具体研究内容如下：(1)选择了在实际应用中使用较多的C4.5决策树算法进行研究和改进,利用开源软件Weka提供的J48代码进行研究学习；改进的C4.5算法在选取分裂属性时,用基于不确定概率的信息增益率代替原有的信息增益率,这样会更加适合处理嘈杂的数据集。(2)研究了云计算技术,重点学习研究了Hadoop平台的文件系统HDFS以及并行编程框架MapReduce,结合传统决策树算法的算法模型,在计算属性选择度量时将数据集进行纵向划分,以一种基于文件分裂的方式对改进的算法进行并行化设计。在保证没有牺牲掉分类准确率为代价的前提下,使并行化的算法在处理海量数据时具有高效性及可扩展性。(3)林业数据具有高维性、噪音多、海量等特点,而改进的C4.5算法正适合处理嘈杂的数据,基于Hadoop平台的并行化程序又适合处理海量数据,所以,最后将设计好的程序应用于处理林业数据。实验从封闭和开放两个方面对一组林分小班数据集进行森林成熟度的预测,之后对来自UCI国际机器学习数据库的较大量的森林覆盖类型数据集Covertype建立决策树模型,预测森林覆盖的类型。实验结果表明,改进的算法在处理嘈杂数据时具有更高的准确率,同时并行化后的改进算法在分类精度上也没有损失,并且在处理海量数据时具有绝对优势,有着较为理想的加速比和效率；在林业数据分类预测方面,本文的算法有着更高的准确率和较好的时间优越性。

关键词： 数据挖掘   急诊胸痛   分类预测   医疗大数据  

摘要： 目的：在心血管病专科医院急诊科室中,存在大量的胸痛患者,而且胸痛待诊患者涉及病因种类多,且危重程度悬殊。如何快速、准确的辨别出胸痛患者所患疾病,对门急诊青年医师来说是一件十分有挑战性的事情。故本课题试图通过大数据、数据挖掘等新型方法来构建一个分类预测模型,该模型能够根据患者疾病信息来判定患者所患疾病种类,从而辅助医生快速、准确的得出诊断结果,减少漏诊、误诊现象。方法：应用数据挖掘中的多种分类算法来构建预测模型,首先用CART (Classification And Regression Tree, CART)决策树计算出胸痛患者患每种疾病的概率,然后对可能得的每种疾病分别应用最近邻法、C5.0决策树、支持向量机、人工神经网络、朴素贝叶斯和随机森林六种分类算法来最终判定该患者是否得该疾病。结果：在诊断是否冠心病模型中,人工神经网络判别性能最佳,准确率是93.75%,AUC (Area Under Curve, AUC)值0.849；在冠心病细分为心梗和心绞痛模型中,支持向量机分类性能最好,准确率是82.35%,AUC值0.826；在主动脉夹层和其他疾病诊断模型中,人工神经网络的表现也是最好,准确率分别是96.30%和89.36%,AUC值分别是0.924和0.867。在预测急性心梗患者出院后是否会发生严重不良事件中,随机森林在30天、半年和一年的预测最为可靠,准确率分别是94.36%、92.63%和92.72%,AUC值均高于0.9。结论：各个模型中最适宜的算法分类预测准确率均82%以上,而急性心梗患者出院后严重不良事件预测更是高达92%以上,结果证明通过数据挖掘手段建立的分类预测模型可以对心血管病专科医院急诊科室的胸痛患者进行准确分类,能够为医务人员提供提供一定的辅助,减少漏诊、误诊现象。

关键词： Depression   Machine learning   Treatment   Prediction   Review  

摘要： Depression is a complex clinical entity that can pose challenges for clinicians regarding both accurate diagnosis and effective timely treatment. These challenges have prompted the development of multiple machine learning methods to help improve the management of this disease. These methods utilize anatomical and physiological data acquired from neuroimaging to create models that can identify depressed patients vs. non-depressed patients and predict treatment outcomes. This article (1) presents a background on depression, imaging, and machine learning methodologies;(2) reviews methodologies of past studies that have used imaging and machine learning to study depression;and (3) suggests directions for future depression-related studies. (C) 2015 The Authors. Published by Elsevier Inc.

关键词： 网络新闻   相似性检测   重复性检测   文本分类   价值预测  

摘要： 随着互联网的发展和普及,网络已经走进千家万户,人们获取新闻资讯的方式逐渐的由传统的报纸、广播、电视等方式向互联网媒体转变。可是面对海量的数据资源,人们往往难以从中筛选出对自己有价值的信息,而且这些庞大的信息如何有效的整合和管理也是个问题。所以为了有效的整合网络新闻资源,以及方便用户简洁而又全面的阅读体验,本系统中设计了一套完整的包含新闻爬取、关联分析、分类以及价值预测的新闻分析系统。主要工作包含以下几个方面:、在新闻相似性检测方面,实现了基于2特征提取和夹角余弦相似计算的新闻相似性度量,通过计算找出内容相似的新闻,根据相似新闻之间的关联关系发现新闻话题,以及根据新闻的发布时间,找出话题的源头等功能。、在新闻的重复性检测方面,提出了一种基于#)度量的新闻重复性度量方法。为了过滤标记重复新闻,改善用户阅读体验,本系统中还在相似计算的基础上进行新闻的重复性检测。该方法是受传统编辑距离算法的启发而来,在新闻的重复性检测中能够保证更高的检测准确率。、在新闻分类方面,本文中系统的分析了常用的多分类组合策略的优劣势,结合本项目的特点,提出并实现了一种基于特殊结构的二叉树支持向量机多分类算法3 2 2的新闻文本自动分类系统。、在新闻的价值预测方面,结合新闻价值的要素,设计了一套通过百度新闻搜索平台提取与新闻价值相关的特征,并编写定时器自动采集时间序列数据,应用3神经网络进行预测的新闻价值预测系统。4、基于上述的算法和功能点,实现了一个互联网新闻的分析服务与管理系统。通过该系统能够实现网络新闻的自动增量采集、相似性和重复性检测、分类以及价值预测等功能,能够有效的将互联网新闻资讯进行整合、提高信息使用效率,该平台具有广泛的应用前景和商业价值。目前该系统已经上线运行,已有4万终端用户。

关键词： 电力负荷分类   聚类分析   灰色模型   粒子群优化   负荷预测  

摘要： 电力系统中的电力数据分析如负荷分类与电量预测一直是电力部门进行分时电价制定、变电系统调节、负荷总量预测、避峰错峰管理等方案制定的基础。有效的分类与预测方法能够给电力规划提供正确的数据管理依据,对掌握不同用户负荷特性的变化以及长、中、短期电量的预测有着较好的应用前景。针对电力数据分析中负荷分类与中短期电力预测两个问题本文进行了如下工作:1)首先对电力负荷分类与预测进行综述,总结了当前研究现状,并分别针对各自特点详细分析,包括各方法的优势与问题,并给出了有效性指标与评价标准。2)针对传统的K-均值聚类方法在初始化时选用随机点作为中心的问题,本文提出了基于负荷差异性的初始化方法。在负荷最大最小值之差的基础上,按用户量分布选定初始中心,根据改进的方法,结合电网实际电力数据,对用户进行分类处理,实验证明了该方法在实际电力负荷分类中的可行性与有效性。3)针对负荷预测的问题,本文分析了灰色预测模型(Grey Model,GM)在电力预测中的运用现状,从其序列生成的不足之处出发,通过引入了季节周期性思想,在序列生成时,实现了去周期性。并给出预测模型精度检验的方法,在之后的实验中,通过与原始方法对比证明了该方法的有效性。4)在普通灰色模型以及本文上部分改进的序列生成方法的基础上,本文提出了智能优化背景值的混合预测模型。针对传统GM方法,首先在序列生成时去除其季节周期性;其次针对建模时背景值选择上的不足,重新构建了可调参数的背景值构造公式;再用粒子群算法(Particle Swarm Optimization,PSO)对可调参数进行优化。在改进的去周期性序列生成方法下,通过迭代寻优背景值公式中的可调参数获得全局最优值,从而得到优化后的模型发展系数与灰度参数,建立预测模型。我们将该模型应用在电网实际数据中,通过与原始方法和其他方法的对比,结果证明了该模型可以有效的提高预测精度。

关键词： 建筑节能   能耗模型   机器学习   敏感性分析   预测精度  

摘要： 在建筑能耗分析领域,建立建筑能耗模型是深入分析其能耗特点的重要手段,而且能够为建筑节能提供优化节能措施。因此,建立可靠准确的建筑能耗模型是建筑节能研究中的重要任务。机器学习方法近年来在建筑能耗分析领域的应用越来越广泛。机器学习方法由于其先进的数据分析能力,可以用于分析多变量之间的复杂模式以及交互作用,在调整完机器模型中算法参数后,能够达到计算速度快的特点,非常适合应用于建筑能耗模型的建立和分析。所建立的机器学习能耗模型,可进一步用来进行建筑能耗的不确定性和敏感性分析、贝叶斯分析和最优化计算等方面。本文重点从单体建筑能耗和区域建筑能耗两方面来比较几种常用的机器学习方法对建筑能耗预测的准确性,包括完全线性回归、LOSSO回归、高斯过程回归、多元自适应回归样条法、自助多元自适应回归样条法、随机森林、支持向量机和促进法。结果表明在单体办公建筑的能耗预测中,多元自适应回归样条法、自助多元自适应回归样条法和随机森林法三种方法适用于取暖能耗的模型建立,对于制冷和用电能耗预测,自助多元自适应回归样条法是计算精度最好的机器学习方法。同时发现制冷能耗模型与取暖能耗模型相比,由于存在着更加复杂的非线性关系,其预测难度更大。办公建筑外围护结构因素的敏感性分析得出,对于建筑的取暖能耗的影响最为显著的因素为建筑高度,而对于制冷和用电情况来说建筑规模的影响程度更大。在区域建筑能耗的预测中,支持向量机模型和自助多元自适应回归样条法的预测效果最好,而且自助多元自适应回归样条法所建立模型预测值的不确定性区间要小于支持向量机的预测值不确定性区间,所以其建立的模型更加精确。同时,研究结果表明电能预测的统计模型与燃气预测的统计模型相比所需模型变量数目少,但是电能预测模型比燃气模型的预测难度高。