关键词： Protein dynamics   machine learning   Markov state model   reinforcement learning   transfer learning  

摘要： Molecular dynamics (MD) simulations are critical to understanding the movements of proteins in time. Yet, MD simulations are limited due to the availability of high-resolution protein structures, accuracy of the underlying force-field, computational expense, and difficulty in analysing big data-sets. Machine learning algorithms are now routinely used to circumvent many of these limitations and computational biophysicists are continuously making progress in developing novel applications. Here, we discuss some of these methods, varying from traditional dimensionality reduction approaches to more recent abstractions such as transfer learning and reinforcement learning, and how they have been used to deal with the challenges in MD. We conclude with the prospective issues in the application of machine learning methods in MD, to increase accuracy and efficiency of protein dynamics studies in general.

关键词： 眼球运动   性格特征   机器学习方法   《新闻周刊》   非语言信号   机器人   AI  

摘要： 近日,《人类神经科学前沿》在线发表斯图加特大学、南澳大利亚大学、澳大利亚弗林德斯大学和德国马克斯·普朗克信息学研究所共同完成的一篇论文。在研究中,42名参与者们佩戴头戴式眼动仪在校园里进行各项日常活动,结束后填写人格和好奇心调查问卷。研究人员根据问卷对他们的性格特征进行评估。结果发现AI能够计算出性格特征和眼球运动之间的相关因素,进而通过眼部运动预测好奇心之类的特征。

关键词： Network Security   Intrusion Detection   Q-learning   Machine Learning   Streaming data  

摘要： Given the continuing advancement of networking applications and our increased dependence upon software-based systems, there is a pressing need to develop improved security techniques for defending modern information technology (IT) systems from malicious cyber-attacks. Indeed, anyone can be impacted by such activities, including individuals, corporations, and governments. Furthermore, the sustained expansion of the network user base and its associated set of applications is also introducing additional vulnerabilities which can lead to criminal breaches and loss of critical data. As a result, the broader cybersecurity problem area has emerged as a significant concern, with many solution strategies being proposed for both intrusion detection and prevention. Now in general, the cybersecurity dilemma can be treated as a conflict-resolution setup entailing a security system and minimum of two decision agents with competing goals (e.g., the attacker and the defender). Namely, on the one hand, the defender is focused on guaranteeing that the system operates at or above an adequate (specified) level. Conversely, the attacker is focused on trying to interrupt or corrupt the system’s operation. In light of the above, this dissertation introduces novel methodologies to build appropriate strategies for system administrators (defenders). In particular, detailed mathematical models of security systems are developed to analyze overall performance and predict the likely behavior of the key decision makers influencing the protection structure. The initial objective here is to create a reliable intrusion detection mechanism to help identify malicious attacks at a very early stage, i.e., in order to minimize potentially critical consequences and damage to system privacy and stability. Furthermore, another key objective is also to develop effective intrusion prevention (response) mechanisms. Along these lines, a machine learning based solution framework is developed consisting of two m

关键词： 时间序列分析   多尺度分析   时间序列预测   集成经验模态分解   机器学习方法  

摘要： 时间序列分析是人们认识客观世界和自然现象的重要手段,近二十年来,时间序列分析方法得到了迅速发展,且在众多的实际领域中广泛应用。与其相关的技术,时间序列预测也已成为一个热门的研究领域,伴随着时间序列分析方法同步发展,在许多领域里,时间序列预测发挥着重要的作用。预测是决策的基础,决策是预测的延续。因此,准确的预测对做出正确的决策至关重要。为了提高时间序列预测效果和应用价值,众多研究工作者一直致力于该问题的研究。特别在机器学习和深度学习方法迅速发展的今天,时间序列分析和预测方法的研究发展迅速,但其效果在很多方面还不能满足实际应用的高要求,还有很多的问题需要解决。本文以时间序列分析和预测为研究背景,主要对时间序列互相关性分析、时间序列多尺度分析以及时间序列预测应用进行了研究。本文主要进行了以下三个方面的研究。(1)为了了解不同现象之间是否存在关联、存在何种关联以及关联强度如何,本文对金融市场的相互作用和共同变化的现象进行了研究,同时全面系统地研究了时间序列互相关性分析方法。为了揭示金融时间序列的动力学行为,基于多尺度多属性的分析思想和MMA方法,结合Hurst指数直方图分布,本文提出了DHMXA方法。DH-MXA方法根据两个时间序列的局部相关性的Hurst指数曲面的分布直方图来区分两个时间序列的局部相关性的细微差别,DH-MXA方法可以分析任意两个时间序列之间的相关性,并能给出它们之间存在何种相关性和相关强度情况。(2)为了有效准确地预测现象的未来变化情况,有必要了解现象的多尺度特性和现象内部波动性,观察和测量该现象在不同尺度上的波动性和多尺度效应。本文对分析时间序列的多重分形特征的各种方法进行了系统的研究,特别研究了针对复杂现象的分析方法。结合Rényi熵和MMA分析方法,提出了一种基于Rényi熵的时间序列多属性多尺度多分形的分析方法,提出的方法简称REM3PA方法。REM3PA方法继承了Rényi熵和MMA分析方法的优点,借助了MMA分析方法在时间序列多尺度分析上的优势和Rényi熵在处理时间序列分析出现重尾问题上的优势,具有对时间序列进行多属性多尺度多分形的分析能力,能够揭示出金融时间序列的短期特征和长期特征,特别是能够量化时间序列各属性的波动性、重要性和彼此之间的关系。(3)为了提高时间序列的预测效果,本文对各种基于统计技术和机器学习的时间序列预测方法进行了系统的研究,对多种预测方法进行了实验对比,特别在实验数据选择上进行了大量的研究,尽量选择几个具有代表性的时间序列数据来检验各种预测方法,因为只有好的数据才能正确地检验预测方法的有效性和实用性。基于复杂问题分治的思想和机器学习逐渐优化的策略,结合EEMD、长短期记忆神经网络、线性回归和贝叶斯岭回归方法,本文提出了LSTM-TFE、LR-TFE和BRTFE预测方法,这些方法都使用EEMD把复杂的时间序列分解成多个相对更简单、变化更有规律和平稳的子序列,然后利用LSTM神经网络、LR和BR方法对每个子序列进行机器学习,预测每个子序列的值,融合多个子序列的预测结果形成原复杂时间序列的预测结果。为了有效验证提出的方法,本文选择了具有代表性的四个时间序列数据进行检验,从实验结果可以发现,提出的方法具有较好的预测效果,具备实际领域应用的前景。但也存在一些缺陷,针对变化比较剧烈的时间序列预测效果不佳。本文指出了方法的局限性,为将来正确应用提出的方法到实际领域指明了方向,对时间序列预测模型的研究及其应用提供了重要的参考。

关键词： Monte Carlo method   neutron transport   machine learning  

摘要： This paper describes the application of machine learning (ML) tools to the prediction of bias in the criticality safety analysis. In particular, a set of over 1000 experiments included in the Whisper package were utilized in a variety of ML algorithms (notably Random Forest and AdaBoost implemented in SciKit-Learn) using neutron multiplication (k(eff)) sensitivities (with and without energy dependence) for individual nuclides, and optionally, the simulated k(eff) as the training features. Ultimately, the ML model was used to predict the bias (simulated-experimental k(eff)). The use of energy-integrated sensitivity profiles with simulated k(eff) as training features lead to the best predictions as quantified by root-mean-square and mean absolute errors. In particular, the best-case estimates came from AdaBoost, with a mean absolute error of 0.00174, which is less than the mean experimental uncertainty of 0.00328 for the experiments included.

关键词： 认知无线电   信号分类与预测   狄利克雷混合过程   变分法  

摘要： 随着各类型无线通信产品的出现和无线网络业务的爆发式增长,频谱资源变得日益匮乏。认知无线电技术(Cognitive Radio,CR)被认为是解决这一问题的关键技术。作为认知无线电技术的基础,认知设备需要具备实时的频谱感知能力,并对感知到的无线电信号进行分类和预测。在针对陌生无线电环境的频谱感知中,认知设备通常无法预先知道附近无线通信系统的类型和参数,因而也就无法获得这些无线系统的完备特征表达和带标签的信号训练样本等先验知识。为此,本文提出利用狄利克雷过程混合模型(Dirichlet Process Mixture Model,DPMM)来对频谱感知获得的无线信号进行分类。该模型不需要预先知道无线电系统的先验知识,能自主从感知到的无线信号中推断无线信号之间的联系。在基于DPMM模型进行信号分类时,本文进一步将其转化成了针对分类标签的后验分布求解问题,并借助变分近似算法,获得了该后验分布的近似解析解。通过求解最大后验概率,本文获得了每个感知信号的分类标签估计值,实现了信号分类。通过仿真对比可以看出,本文所提出的信号分类模型具有更快的收敛速度,同时又能将分类精度的损失控制在可接受范围内。在信号分类的基础上,本文还基于不同的预测准则设计了两种信号预测算法。第一种是均值预测算法,该算法考虑每个无线系统的信号特征,以下一时刻信号来自对应无线系统的概率做为权值,进行加权求平均获得信号预测结果;第二种是感知信号最大后验概率预测算法,该算法考虑下一时刻信号最有可能来自哪个无线系统,并以该系统信号特征的估计作为信号预测结果。针对第二种预测算法,本文还进一步推导出了信号特征估计误差的上界。基于这两种预测算法,认知设备可以提前对将被主用户系统占用的通信信道进行避让,从而节约信道切换开销。最后,仿真分析验证了本文所设计的预测算法具有较好的预测精度,并且显示随着感知到的信号样本增多,预测算法精度也在相应提升。

关键词： 商业银行   征信系统   欺诈   数据挖掘   机器学习  

摘要： 信用卡欺诈是指通过非法占有的方式,在不合规的情况下,利用金融机构的漏洞对信用用户实行欺诈行为。随着经济方面的市场化程度不断加深,银行业中的信贷欺诈比例也在不断提升。金融诱发的欺诈盛行促使很多商业机构已经将建设征信系统放到重要位置,征信系统的不断完善有助于提供更加全面的征信数据,以便帮助商业银行等金融机构降低信用风险,稳定金融环境,扩大信贷范围,促进用户消费,优化经济增长结构,促进金融机构的可持续发展。本论文以数据挖掘技术及机器学习相关算法比如神经网络算法、逻辑回归算法、随机森林算法为数据建模手段,通过对商业银行中的个人征信信息数据的全面分析,并结合算法对用户进行欺诈甄别,从而帮助商业银行降低经济损失。论文通过挖掘商业银行的征信数据,根据其数据的特征,利用机器学习中的算法对数据进行建立模型,发现逻辑回归模型在欺诈用户甄别方面表现较好,对提高信用卡欺诈判别的准确性、稳定性和有效性,降低现代信用风险具有积极作用。

关键词： 建筑能耗预测   模糊神经网络   堆栈自编码网络   深信度网络  

摘要： 随着人口的增长以及经济的发展,住宅与办公建筑中的能源消耗越来越多。因此,寻求能够降低建筑能耗的策略是十分有必要的。建筑节能技术在降低建筑能耗方面扮演着重要的角色。然而,由于一些不可避免的问题,例如:建筑管理不当以及设备任务调度不合理等,使得节能政策的有效性大打折扣。为了提升建筑管理水平以及建筑设备调度的合理性,对建筑能耗进行精确的预测是一种行之有效的方法。目前,相关研究人员提出了大量数据驱动的建筑能耗预测方法且取得了较好的预测结果。然而,由于人员分布、建筑热环境、天气状况以及工作时长等因素的影响,在历史建筑能耗数据中存在着高度的不确定性以及随机性,这使得准确、合理的预测很困难。为获得更加准确、合理的预测结果,本文将采取如下三种策略:一是采用更加强大的建模方法去学习隐藏在历史数据中的信息;二是将来自经验与数据的知识或模式嵌入到预测模型中;三是构建具有语言值输出的预测模型。本文的主要工作如下:首先,为了提升建筑能耗预测的精度,提出了一种极限深度学习方法。所提方法将堆栈自编码网络与极限学习机相结合,并继承了两者各自的优势。其中,堆栈自编码网络用于提取建筑能耗的特征,极限学习机作为预测器去获取精确的预测结果。此外,为了检验所提方法的性能,将其与四种流行的机器学习方法——反向传播神经网络(BPNN)、支持向量回归(SVR)、广义径向基函数神经网络(GRBFNN)以及多元线性回归(MLR)进行了比较。实验结果显示,该方法在不同的实验中都能取得最好的预测性能。其次,为了进一步提升建筑能耗预测的精度,给出了一种基于修正深信度网络的混合模型。该模型结合修正深信度网络与用能模式两者的输出来产生最终的预测结果。其中,用能模式代表了建筑能耗中的周期性,可以从历史能耗数据中将其提取出来。然后,将用能模式从原始数据中移除,生成用于训练修正深信度网络的残差数据。修正深信度网络的参数训练过程包括两个步骤:首先,通过一种预训练的方式利用对比散度算法对隐层参数进行优化;然后,通过最小二乘方法确定输出权重向量。此外,为了检验所提模型的优越性,将其与四种人工智能方法——反向传播神经网络(BPNN)、广义径向基函数神经网络(GRBFNN)、极限学习机(ELM)以及支持向量回归(SVR)进行了比较。实验结果表明,该模型对于不同类型的建筑能耗实验都可以取得最好的预测性能。最后,大多数预测模型只能对建筑能耗进行点估计,然而,点估计的合理性与可解释性并不强。针对该问题,提出了一种语言值输出模糊神经网络模型。该模型将模糊神经网络的单一值输出权重拓展为模糊输出权重,以此来获得最终的语言值输出。此外,并提出了一种数据驱动设计方法构建该网络。将所提出的模型应用于建筑能耗预测中,实验结果显示,模型的语言值输出能够有效地捕获历史数据中的不确定性以及随机性。

关键词： 污染源识别   机器学习   多区域模型   人工神经网络   支持向量机   k近邻算法   朴素贝叶斯分类  

摘要： 污染源位置的实时识别能有效预防突发事件中有害化学物的释放对人类生命财产造成的损失。目前污染源识别的方法在实际应用都会遇到诸多困难,如QR方法需要预先知道污染源浓度的几何分布作为初始条件,伴随概率方法需要预先知道源释放的具体时间,这在现实应用中都是难以实现的。以人工神经网络为代表的机器学习方法能够在只以传感器测量的污染物浓度为输入,准确预测出污染源的位置。在一个有7个房间的建筑内,我们假设只有一个污染源。对污染源的特性(污染源的位置,释放质量,释放后持续时长)进行独立同分布的采样,然后使用CONTAM对每一个样本进行计算。我们得到了气象参数恒定的数据集一和气象参数服从一定分布的数据集二。利用这两个数据集,我们比较了在不同参数,不同特征向量选择,不同训练样本个数,不同气象参数以及传感器的不同布局下人工神经网络,支持向量机,k近邻算法和朴素贝叶斯分类器这四种分类学习算法识别室内污染源位置的性能,得到了如下结论:1.在特征选择方面,我们发现改进后的以一段时间传感器的读数变化值作为输入训练的分类模型要优于只以浓度瞬时值作为输入的情况。四种学习模型的预测性能皆有较大提升。实际上,我们发现,对于传感器个数大于等于3个的情况,对于ANN模型和SVM模型,以2分钟到5分钟内污染物浓度值作为输入训练的模型预测精度几乎一样,都可以提高到接近100%。而为了尽快识别出污染源的位置,这个时候我们选择以2分钟内浓度变化值为输入训练模型。而对于传感器个数少于3个的情况,ANN模型和SVM模型最好以3分钟内污染物浓度值作为输入,这样模型的预测精度仍然能达到接近100%。对于KNN模型,传感器个数大于等于3个时,模型精度在95%左右。而传感器个数只有2个时,当输入的浓度变化值持续时间越长,最终模型的预测精度越高。如果这时要保证模型的预测精度保持在90%以上,那么我们最少需要使用4分钟内污染物浓度变化值作为输入。对于NB模型,当传感器个数大于等于3个时,输入为2分钟内浓度变化值反而比更长时间的浓度输入训练的模型预测效果更佳。而只有2个传感器时,则当输入的浓度变化值持续时间越长,最终模型的预测精度越高,但这种提高非常微小。2.在训练样本个数对分类模型的影响方面,我们发现对于ANN模型,训练样本个数在390时,20折交叉验证的精度已经接近于100%。对于SVM模型,随着训练样本个数的增加,20折交叉验证的精度也逐步增加,并且增长速度逐渐变慢。而对于KNN模型来说,预测精度随着样本个数的增加有着明显的提高。当样本数到达1950时,20折交叉验证的精度达到91%。由此可知,使用KNN模型来预测污染源的位置,为了达到和ANN或者SVM同样的精度,需要更多的训练样本来训练KNN模型。最后,对于NB模型,增加训练样本的个数并没有像KNN算法那样显著提高预测精度。3.气象参数恒定不变时,ANN算法预测精度最高,精度为100%,其次依次为SVM,KNN,NB算法。ANN分类算法和SVM算法几乎不受传感器个数的影响。即使室内只有2个传感器,污染源位置识别精度还是能达到100%和99%。而当气象参数为服从一定分布时,分类模型的20折交叉验证精度受传感器个数的影响更为强烈。随着传感器个数的减少,它们的预测精度接近线性下降。不管是否引入气象参数变量,四种分类模型的性能大小依次为ANN>SVM>KNN>NB。4.传感器的布局本身存在优劣。这与选用何种分类模型无关。也就是说在某种布局下某一种分类算法具有较高的预测精度,那么它对于其他分类算法也具有较高的预测精度。传感器的个数越接近建筑区域个数,各类布局对于分类模型的影响就越低。而传感器的个数越少,各类布局之间的差异也越明显。使用气象参数恒定的数据库,我们研究了使用多元线性回归模型,人工神经网络模型和支持向量回归模型来预测污染源释放质量。得到了如下几个结论:1.以5分钟内污染物浓度的变化值作为输入预测污染源释放质量精度要优于以传感器读取的瞬时浓度值作为输入。2.我们发现当污染源实际释放质量较小时(低于40mg),以5分钟内传感器读数变化值作为输入的预测精度要高于实际释放质量较大(高于60mg)的情况。前者的预测值与实际值几乎相等,而后者的预测值与实际值偏差较大。其中原因可能是当实际释放质量比较小时,建筑与室外的空气交换将导致更导致更少的污染物传递到室外大气中。而当污染源释放的质量较大时,更多的污染物被传递到室外,这使得我们的预测值往往会比实际值低。***回归模型在室内污染源释放质量的预测精度相较于多元线性回归模型和人工神经网络模型表现较差。4.污染源释放质量识别问题不同于污染源位置识别的情况,并非传感器个数越多,预测精度越高。实际上,我们发现对于ANN模型,5个传感器预测均方差最低,而对于线性回归,4个传感器时预测均方差最低。随着传感器个数

关键词： 卷积神经网络   医学数据   机器学习方法   自动编码器  

摘要： 深度学习的概念源于人工神经网络的研究,是机器学习中一种基于对数据进行表征学习的方法,它通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。深度学习的概念由多伦多大学教授Geoffrey Hinton等人于2006年提出。基于深度置信网络提出非监督贪心逐层训练算法,为解决深层结构相关的优