关键词： 锂离子电池   健康状态   特征提取   粒子滤波   高斯过程回归   贝叶斯模型  

摘要： 为减少汽车尾气对城市环境的污染,电动汽车在国内得到了快速的发展。锂离子电池因其能量密度高、稳定性强、循环寿命长等优点被广泛用于电动汽车。除锂离子电池自身特点之外,电池管理系统（Battery Management System,BMS）对电池状态的监测和调控是电动汽车安全行驶和续航长久的保障。由于不恰当的电池使用会造成电池性能衰退给电动汽车带来潜在的风险。因此,实现准确的锂离子电池健康状态（State Of Health,SOH）估计对于保证电池的安全使用意义重大。针对锂离子电池SOH鲁棒性估计问题,本文采用机器学习方法。通过研究两种不同类型的锂离子电池,采用多特征提取方法采集健康因子,构建融合模型。研究了粒子滤波算法对高斯过程回归模型参数更新问题,并将模型融合算法与各自模型进行了深入研究对比。本文的主要工作如下:（1）首先从基于实验方法和基于模型方法两个不同角度对国内外近几年的锂离子电池SOH预测文献进行优缺点分析,引出本文的研究内容,并安排文章结构。（2）然后从外部结构、内部组成和电化学分析不同角度展开对锂离子电池工作原理的研究。通过分析锂离子电池老化的相关因素,引出锂离子电池在本文中对健康状态的定义方法。建立锂离子电池在老化过程中的内部参数变化与健康状态的关系,分析了影响锂离子电池健康状态的因素。并根据锂离子电池健康状态定义方法,采用电池容量作为电池SOH的评估标准。（3）接着对NASA和CALCE两种类型锂离子电池数据集进行数据分析和异常值剔除。基于锂离子电池复杂非线性的衰退特性,提取数据集中的恒流充电阶段电压曲线。分别研究了线性拟合特征参数识别、等压差时间提取、等时间压差提取、等效电路参数辨识的多种特征提取方法。建立基于经验、几何和物理模型的多角度组合特征,更加全面反应电池的老化过程。通过对健康因子进行线性相关分析,获取所提取特征的相关性系数,验证特征的可行性,并针对多特征输入进行合理性验证。（4）最后研究了高斯过程回归模型核函数选择和超参数优化问题。并针对高斯过程回归的单一核函数存在局部过拟合和泛化能力差等问题,提出一种既包括全局趋势又包括局部变化的组合核函数,提高模型预测精度。针对单一模型精度有限,本文通过多模型组合,提出了一种基于高斯过程回归与粒子滤波的模型融合算法,并采用贝叶斯模型进行误差修正提高了融合模型的准确性和鲁棒性。通过引入粒子滤波算法对模型参数进行更新贝叶斯误差修正,研究粒子滤波更新高斯过程回归内部参数的方法,进一步提高了模型预测精度。此外,为了证明该融合模型的通用性,实验采用不同型号的锂离子电池数据集。实验结果表明,所提出的模型融合方法相对于采用单一模型的方法具有更好的实用性。

关键词： 机器学习   布鲁氏菌病   气象因素   时间序列  

摘要： 目的:传染病发病通常受到很多因素的影响,因此准确的预测传染病的发病情况存在着很多难度,近年来随着机器学习方法研究的不断深入,在预测分析方面得到了很大的应用。本文在分析河北省2004-2016年布鲁氏菌(布病)每月发病规律的基础上,利用气象因素构建了基于机器学习方法的布病预测模型,来预测疫情动态和发展趋势,为制定相应的预防策略提供科学依据;论文中运用了神经网络、支持向量机、随机森林三种机器学习算法对布病进行预测,通过比较不同机器学习的预测精度来选择最佳模型,为传染病的预测研究拓宽思路,为实际工作提供更多的解决办法。材料与方法:从公共卫生数据中心官方网站收集了2004-2016年河北省每月布病发病的人数和发病率信息。河北省每月的气象因素资料通过中国气象数据网获得。利用Spearman相关性分析对气象因素与布病发病率之间进行单因素关联分析,筛选出有统计学意义的气象因素,然后把相应的气象因素作为机器学习方法的输入层,布病每月发病率作为输出层建立神经网络、支持向量机、随机森林机器学习方法模型。2004-2015年的数据作为训练集,2016年的数据作为测试集,对2016年每月的布病发病率进行预测,通过比较预测值与真实值之间的误差确定最佳预测模型。结果:2004-2016年间,河北省一共报道了43628例布病病例,平均每月发病人数为280人,月平均发病率为3.898(/百万);13年间布病发病率有上升的趋势,并且具有明显的周期性和季节性。气象因素与布病发病率之间具有相关性,利用气象因素构建的三种机器学习方法模型预测效果良好,其中最佳模型为神经网络模型,预测结果的MAPE=0.178;而ARIMA模型的表现较差,MAPE=0.668。因此从预测结果来看,机器学习方法模型优于ARIMA模型,神经网络模型为最佳预测模型,在实际应用中可能具有更高的价值。结论:气象因素与布病发病率存在着显著的相关性,利用气象因素可以构建机器学习模型来预测布病未来的发病率,以达到早期预警的目的,提前做好预防措施,有利于将布病的危害控制到最小程度。

关键词： 互联网电商   分类模型   机器学习   非均衡数据   重抽样  

摘要： 电商消费者行为预测是统计分析与数据挖掘在互联网大数据营销中的一个具体应用。该领域目前面临的主要问题之一就是数据的非均衡性。传统的数据挖掘算法以预测准确度为训练目标,对于非均衡数据尤其是极度非均衡数据往往失去效用,即多数类往往预测精度较高,而少数类预测精度很差的情况。例如在一个正负样本分布为1:99的极度非均衡数据集上,训练模型只需要将所有样本判定为负例,即可以达到99%的预测正确率。虽然此时的预测正确率很高,但其对于正例的预测精度却为0%,此时模型没有任何应用价值。可见,解决电商消费者行为预测研究中的数据非均衡性对于模型预测性能的影响具有重要的现实意义。本文的主要工作是研究解决电商消费者行为预测中数据不均衡问题的办法。统计及数据挖掘领域解决数据不均衡问题主要从三个方面入手:(1)数据的再平衡处理;(2)传统数据挖掘或统计机器学习算法的改进;(3)结合前两者的方法。本文主要从第(3)点角度研究解决电商消费者行为预测中数据非均衡问题的办法。(1)本文对电商消费者行为数据进行过采样再平衡处理,本文采用SMOTE算法及改进后的Banding-Edge SMOTE算法分别对原始样本进行平衡重采样处理,对比两种抽样方法下训练模型的预测能力,并针对分析结果,实证研究表明Banding-Edge SMOTE算法应用到电商消费者行为预测研究中是更加合适的。(2)本文将优化F1score算法引入电商消费者行为预测研究领域。目前主流算法往往都有自身所定义的目标函数,F1score只是作为模型调参过程中的评估指标(Evaluation Metric)。本文通过引入F1hingeloss对现有模型算法进行改进,使算法将优化F1score作为直接目标。本文通过实验对比了随机森林算法、自适应提升算法及两种算法经修正损失函数后版本的预测性能,实证研究表明,经过F1hingeloss改造后的随机森林算法和自适应梯度提升算法对于非均衡的电商消费者行为预测研究有更好的性能表现。(3)本文将stacking机制引入到电商消费者分类行为预测研究领域。针对前述训练优化后的模型概率输出,本文提出了基于stacking机制将前述优势模型进行融合再预测。通过实验,本文对比了融合前各模型与多模型融合后的综合模型预测性能,实证研究表明,对于优势模型做进一步融合能够更好地提升综合模型的预测性能。本文研究过程中虽然取得一些效果,但依然有许多可进一步完善的地方:(1)数据描述分析阶段对于特征变量的提取、挖掘尚有空间,将来可在这一方面做进一步的开展,为模型的训练和优化提供更多并且有效的特征变量,有助于保障预测模型的稳定性和有效性。(2)本文只比较了基于少数样本生成新样本的SMOTE重采样方法和本文提出的改进版本Banding-Edge SMOTE采样方法,尚未比较其他可能的重采样方法的提升作用,将来可在该方面作进一步的比较研究。同时,Banding-Edge SMOTE方法作为一种有效更优的抽样方法,可以将其和优化F1score的算法做进一步的整合,研究混合算法对克服非均衡数据问题的预测能力。(3)本文在基于F1hingeloss改进的随机森林和自适应梯度提升算法研究过程中,未对算法进行最优参数调整的实验,理论上可能存在更优的参数使得模型达到更好的预测性能,该部分工作留待将来做进一步研究。此外,F1hingeloss作为损失函数能够对模型在优化F1score的过程中起到更直接有效的作用,可以探索其他相关分类算法整合F1hingeloss后的分类能力,该部分工作可做进一步研究。(4)模型集成阶段只针对本文已经对比选优后的几个模型做了融合,基于Stacking集成的优势在于对差异性大的优势模型融合有更好的效果,因此,可以研究其他不同模型对于非均衡的电商消费者行为数据的预测性能,选择优势模型提供给到Stacking阶段进行融合,有望更好的提升综合模型的整体预测性能和稳定性,该部分留待后续研究。

关键词： 机器学习   蛋白质乙酰化位点   RNA N6-甲基腺苷位点   多信息融合   深度神经网络   Stacking集成  

摘要： 大数据的到来,使得生物数据库中的序列数量呈指数型增加。从序列出发,分析蕴含在数据中的规律,已成为生物信息学的研究热点。蛋白质、RNA修饰与许多生命过程密切相关,并且在病理学方面发挥十分重要的作用。传统识别修饰位点的实验方法具有成本高、耗时耗力等缺点,机器学习方法能够准确高效的预测蛋白质、RNA修饰位点,推动蛋白质组学和基因组学的发展,促进对疾病发生机理的了解。本文对蛋白质及RNA修饰位点使用机器学习方法进行相关研究,主要内容如下:1.提出DNNAce的蛋白质乙酰化位点预测新方法。首先,融合二元编码、伪氨基酸组成、AAindex、NMBroto、分组重量编码、多元互信息、BLOSUM62、KNN对应的特征向量,得到初始特征搜索空间。其次,首次运用Group Lasso去除对乙酰化位点分类无关的特征,筛选出有效特征构成最优子集,降低特征空间维度。最后,利用深度神经网络对9个原核生物的乙酰化位点进行预测,运用10折交叉验证得到评价指标并和其它预测方法进行比较。结果表明,本文提出的DNNAce方法能进一步提高现有研究成果的预测精度,可为其它的蛋白质翻译后修饰位点预测提供一种新方法。2.提出StackRAM的RNA N6-甲基腺苷位点预测新方法。首先,通过二进制编码、核苷酸化学性质、累积核苷酸频率、K-mer核苷酸频率、伪二核苷酸组成和位置特异性三核苷酸倾向等特征编码方式提取RNA序列特征,通过多信息融合得到原始特征集合。其次,首次利用弹性网剔除m6A位点识别的冗余及噪声信息,保留对模型分类的重要特征,得到最优特征子集。最后,将基分类器LightGBM和支持向量机关于最优特征子集的概率得分和最优特征子集进行组合,输入到第二阶段的元分类器支持向量机中。StackRAM关于独立测试集***和***的预测准确率分别达到92.30%和87.06%。结果表明,本文提出StackRAM方法在m6A位点识别方面有更强的竞争力,在跨物种预测方面具有很好的发展潜力,可成为鉴定m6A位点的有用工具。

关键词： 车险续保   Logistic   决策树   随机森林  

摘要： 保险行业出现至今,在国家经济发展体系中发挥了重要作用,在社会建设体系和政府管理体系中都有着无可替代的重要价值。保险行业得益于市场经济进程的逐渐深入,成为了国民经济体系中增长最迅速的行业之一。随着居民可支配收入的大幅提高、汽车售价的急速下降以及居民购买环境的逐步改善,中国的汽车市场不断扩大,汽车需求量及保有量都呈现了极速增长的趋势。财产保险中的第一大险种就是汽车保险。2019年,财产保险中所有保费收入的61.3%都是车险保费的收入。和其余的各类保险一样,只有保险公司在吸引新客户的同时也不忘时刻关注老客户的续保情况,才能使汽车保险占据更大的市场份额。因此,保险公司对车险续保情况的研究和预测是非常必要的。本文主要使用Logistic回归模型、决策树模型、随机森林模型对车险续保情况进行研究,这三种模型都是机器学习中的经典模型,在解决分类及预测问题上因操作简单、拟合效果好、预测结果正确率高而被广泛使用。本文首先对三种经典的机器学习模型进行了介绍,包括模型的定义、分布、参数估计、构建模型的步骤、算法等。然后,对本文使用的原始数据及数据处理方法进行说明,包括数据中所包含的信息、特征变量等,以及数据缺失值处理、数据分组、整合方法。最后本文建立了Logistic回归预测模型、决策树预测模型、随机森林预测模型,利用这三种预测模型分别对某保险公司的车险续保情况进行预测分析。对这三种模型的结果进行比较可得,三种模型的预测正确率分别为Logistic模型71.7%、决策树模型75.4%、随机森林模型80.4%,由此可以得出预测结果中随机森林模型的效果最好的结论。车险续保模型的研究有着重要的意义和广阔的应用前景,本文所使用的三种模型都有继续研究和改进的空间。

关键词： 垃圾分类   特征提取   支持向量机   K近邻   卷积神经网络  

摘要： 自2019年起,我国新的生活垃圾管理条例正式开始施行,我们以后在扔垃圾前都要先将垃圾仔细分类,但是由于日常生活垃圾品类繁多,各种垃圾分类标准也是五花八门,一时间人们恐怕难以快速正确地进行垃圾分类。机器学习算法发展快速且在许多领域都有应用场景,利用算法对图像识别可以大大提高垃圾分类的效率,为人们的生活带来便利。本文利用网上搜集的垃圾图像数据集,首先以支持向量机和K近邻为代表的传统机器学习算法为基础,人工提取图像的灰度直方图、HOG算子、LBP算子数据并用上述两个算法对图像分类,两个算法的最高分类准确度分别达到了79%和85.1%,接着以卷积神经网络深度学习算法为例,在卷积神经网络的经典模型VGGNet模型的基础上创新地简化该模型,通过减少卷积核的数量、修改卷积核尺寸和卷积层数使得在模型分类准确度损失较低的情况下大幅度减少模型运行内存的花销,较大地提升了模型的训练效率。简化后的Mini-VGG模型分类准确度达到了93%,具备实用价值。最终得出结论:如果特征选取合适,传统机器学习算法在图像分类领域中的分类准确度不弱于深度学习。未来图像分类领域深度学习仍占主导地位,但传统机器学习算法仍将占有一席之地。

关键词： 深度学习   分数阶偏微分方程   非连续问题  

摘要： 机器学习方法是一种时下相当热门的方法,它在计算机视觉,自然语言处理,数据挖掘,自动驾驶等等领域取得了巨大的成果。当下,由于某类机器学习方法的激活函数与传统有限元方法的分片线性基函数存在类似的结构,有学者将单层神经网络看作有限元方法,再用该结构的神经网络模型求解微分方程。基于这种思考,相关的研究也越来越多。基于机器学习方法的偏微分方程的研究主要可以分为两类:一是根据已有的数据,进行模型的反演;二是基于方程本身,用机器学习的方法去求方程的解。用机器学习的方法求解方程不同于传统方法,如何进行问题的重构,并融入机器学习的框架是相当重要的一步。机器学习方法在求解高维的偏微分方程中取得了巨大的效果,因为传统方法都会遇到维度爆炸的问题,使得数值计算无法进行下去,而机器学习方法通过构建无网格算法,避免了网格剖分过程,使得高维问题的求解过程变得可行。分数阶问题是一种近来数学界所关注的模型,其本质是引入了分数阶积分和分数阶导数算子的非局部问题。在材料力学、地质勘探、控制论、统计等领域,分数阶模型取得了重要的应用,能更好地逼近、预测实际现象。分数阶算子中包含分数阶积分项,故而在一个偏微分方程的求解过程中,我们需要记录下所有时刻的值用以进行分数阶算子的数值积分,这对数值方法的要求和计算量都远高于传统的整数阶偏微分方程,计算代价十分昂贵。如何设计一种高效且稳定的算法一直以来是解分数阶问题的主要困难。对于带有不连续性或者高奇异性的偏微分方程,传统的有限差分和有限元方法都无法直接求解,我们需要针对方程进行数值格式的设计与数值分析。大多数情况下,需要一个相当小的时间步长来保证数值求解过程的稳定性,同时对间断情况的逼近程度也限制了空间步长。因为所求函数的奇异性,给求解带来了很大的困难。本文主要考虑如何用机器学习方法求解时间分数阶偏微分方程和带有不连续性的偏微分方程。本文主要包含两块内容,首先是求解分数阶偏微分方程的机器学习方法,然后是机器学习方法在不连续问题中的表现以及针对不连续问题的机器学习结构研究。本文的具体工作如下:(1)首先,我们就分数阶问题以及不连续的偏微分方程问题做了一个简单的介绍,并介绍了当前国内外主要的研究成果。给出一些简单的数值算例用以直观的了解这些问题;然后我们提到深度神经网络模型,并给了一个聚类问题的应用;在此之前,我们讨论了用机器学习方法解偏微分方程相关的文献与研究现状;(2)接下来我们详细地介绍了用机器学习方法解偏微分方程的方法。我们将深度神经网络看作一个函数,其输入为时间t和位置x,其输出为函数值。在这个基础上,将方程本身定义为损失函数,这样原方程的求解就转变成了一个优化问题的求解,基于这个优化问题,我们介绍了如何用机器学习的方法去学习得到函数解的算法。这里一种基于无网格的随机采样方法的提出,使得用机器学习方法解高维问题成为可能,这也是机器学习方法解方程最大的优势之一;(3)在此基础上,我们开始考虑如何将解整数阶偏微分方程的机器学习框架拓展到求解分数阶偏微分方程上去。由于深度学习方法的函数性质,使得我们可以知道每一个点的函数值,这让高精度的数值积分变得可能。我们用高斯雅各比正交多项式进行数值积分,并证明了这种积分方法依然可以满足深度学习方法对于解的逼近。这里提出了基于深度学习的分数阶偏微分方程解法,同时给出数值算例体现深度学习方法相较于传统方法虽然精度有所欠缺,但是由于维度增长带来的计算速度的优势远优于传统方法;(4)另一方面,我们考虑带有不连续性的偏微分方程,这也是传统的数值方法较为难处理的一类方程。基于分片线性基函数的数值逼近导致了其对于不连续性的近似有其局限性,高度依赖于网格宽度。我们用能给出任意点值的深度学习方法逼近,体现出了比有限差分方法更好的逼近效果。(5)考虑到深度学习方法是一种黑箱方法,我们可以将函数的不连续性加入到网络模型中,建立起用于逼近不连续解的深度学习模型;更进一步地,我们用一个额外的网络来逼近函数的不连续性所在,将其作为第三维度输入到模型中。接下来的一系列不连续问题的数值算例体现出了这种新型网络对于函数不连续性逼近的优越性。在本文的工作中,以下事情值得注意:(1)深度学习方法是一种全局性的函数逼近方法,其本质在于用神经网络框架作为一个高维的函数去逼近原方程的解,所以其精度和误差分析也不同于传统方法。更一般地说,用机器学习方法得到的解在细节处不如传统方法精确,并且其函数值并不被临近的状态或点所限制。但是相应地,机器学习方法得到的误差是一种全局误差,并不会因为时间发展而导致误差的累积。(2)注意到深度学习的学习过程本质是一种优化过程,不同的参数设置,优化方法,初始化方法,网络深度,网络结构,损失函数设置都会影响到解的精确性,这并不是一种确定性方法。也是由于这个原因,关于机器学习方法我们很难给出一个较为规范的误差

关键词： 不均衡数据集   分类算法   重采样   复合XGBoost算法  

摘要： 在如今大数据时代,分类问题一直备受研究者的关注。传统研究的分类算法都是建立在数据分布均衡的基础之上,并假设各个类别错分的代价相同,但实际所接触的数据集大多数都不满足该条件,一般都是其中某一类别数据明显多于另一类别的数据,在这种情况下,传统的分类算法并不能很好的对该类样本进行分类。因此,不均衡数据集的分类问题得到越来越多研究者的关注。本文主要针对不均衡数据集的分类问题进行研究,从数据层面和算法层面进行改进,并将其运用到机票价格的分类问题中。主要从以下几个方面展开研究:首先,针对不均衡数据集分布中的类间不均衡问题,本文在已有研究的基础之上提出混合采样算法,该算法是对数据集中多数类样本与少数类样本分别采取不同的算法处理方式,对其中少数类样本采取过采样算法进行抽样,对其中的多数类样本采取欠采样的抽样算法,从局部和全局两个角度同时改善原始数据集的均衡性,使新的数据集更加接近原始数据的分布,之后将新的数据集带入神经网络模型中进行预测分析。其次,针对算法层面本文提出了重采样技术与XGBoost算法相结合的改进XGBoost算法。首先对数据集进行Easy Ensemble处理得到较为均衡的数据集,之后带入XGBoost模型中进行预测分析。最后,选择F值与召回率作为评价指标对两种算法进行评价,根据指标结果分析得到,相比较而言选择性混合抽样基础之上的神经网络模型对于不均衡数据集中少数类样本的预测效果更好。

关键词： 机器学习   深度学习   股票价格预测  

摘要： 金融股票预测可以理解为:通过严谨的科学方法对股票历史数据进行分析后,能有效的预测股票市场最新走向。股票预测基于假定潜在的规律以过往数据为载体,其意图为企业或个人财务风险投资提供有效对策,使投资方获得最大利益的同时,风险无限接近于零。对股票的正确预测,能给投资者、公司带来可观的收益,从而使得股票预测成为现阶段研究的热点。与此同时,机器学习作为数据驱动的方法,在文本处理、图像分析等问题研究取得突破性成就,巧妙的利用机器学习算法对金融股票进行预测正是本文研究的课题。本文的主要工作如下:(1)对有关股票预测的国内外文献从三个不同的角度进行分类、总结后,提炼出本文主要工作的创新点:分类预测和集成学习,并绘制支撑该灵感的理论依据图。分别介绍在股票研究中较热门的6个机器学习和深度学习算法。对金融股票预测问题进行形式化定义后,对金融股票相关术语进行了解释。最后从分类和回归预测两方面阐述常用的综合性评估指标。(2)使用模拟开发者模式的爬虫技术从雪球网上获取交易相关数据,概括了本文所使用的12个著名的技术指标和计算公式。此外,现有的大量研究已表明深度学习模型在股票预测方面的优越性。本文首先对深度学习优化器的设计原理和改进点进行概述,从增加动量、自适应调整学习率到两者的混合应用。构建了深度学习模型ANN神经网络,然后选取17个输入特征且在6个数据集上比较了5个优化算法。通过在选定的数据集上开展实验,证明了在非批量计算梯度的情况下,简化的Adam优化算法效果更好,这为未来的研究工作奠定实验基础。(3)本文在充分阅读相关文献后,对K-means聚类和集成学习算法在金融股票预测中的研究进行归纳、总结,在基础的两阶段混合模型框架上进行有效的改进,提出了改进的两阶段混合模型。在金融股票预测问题上,多数的现有研究成果表明,根据特征的异质性进行分类预测是一种可行的研究方案。根据这一原理,本文将K-means聚类算法应用于两阶段混合基础模型的第二阶段输入特征中,提出了C-SVR-SVR、C-SVR-RF算法。集成学习通过将弱算法重组达到增强的效果,本文有效的利用这一优点,在基础两阶段混合模型的第二阶段加入Bagging集成学习算法,提出了E-SVR&RF模型。为了验证所提算法的有效性,在四支股票数据集上进行实验分析,证明了C-SVR-SVR、C-SVR-RF模型在特定的股票数据集上的有效性。而E-SVR&RF模型能提高四支股票预测的准确率。单独将K-means聚类或Bagging集成学习算法应用于两阶段混合模型的第二阶段中显然是有效的。本文探索性的将K-means聚类和Bagging集成学习算法相结合,加入基础模型的第二阶段中,提出了C-E-SVR&RF算法。采用递进实验的方式证明了C-E-SVR&RF算法能进一步提高股票预测的准确率,尤其是提前预测更远日期的收盘价。