关键词： 机器学习   恶意程序识别   集成方法   决策树   随机森林   朴素贝叶斯  

摘要： 经典机器学习方法是基于数学统计的方法,相较于深度学习而言,还有着训练时占用资源低的特点,在许多领域中被广泛应用。在混淆技术已经被广泛应用于各种恶意应用程序的当下,机器学习方法具有重要意义。恶意程序是一种具有攻击企图的程序,恶意程序经过数十年的发展,目前传统的静态检测方式已经很难奏效,主要存在以下两个原因:第一,互联网的快速发展使得每个人都能编写自己的程序,恶意攻击者可以根据已经存在的恶意程序快速生成符合自己攻击意图的新恶意程序,因此一个恶意程序可能有数十种变种。第二,混淆技术的广泛应用。机器学习或深度学习方法是目前比较常用的检测混淆或检测恶意程序的方法,然而对于检测混淆特征比较好的深度学习方法在训练时需要大量的内存空间消耗,另外也缺乏比较新颖的基于动态特征检测的方法。针对这些问题,本文提出使用一种两步检测混淆恶意程序的方案:使用朴素贝叶斯方法通过检测混淆字符串的方式检测混淆,并且针对混淆程序动态运行时调用的API顺序判断是否是恶意程序。本文的主要贡献如下:1.本文提出了一种混淆恶意程序检测方案:本文通过检测混淆字符串检测混淆程序,再使用集成的机器学习方法检测上一步中的混淆程序样本是否为恶意程序。本文改进了现有的朴素贝叶斯检测混淆字符串的方法,并且将其引入混淆程序检测中。改进后的方法使用哈希词袋法,将训练过程中占用内存空间下降了95%。2.在恶意程序检测部分,本文使用的特征为调用系统API的次序,并且首次引入决策树组成的随机森林以及朴素贝叶斯的回归stacking方法。相较于采用随机森林之前的单个决策树,绝对准确率提高了3%左右,相较于采用stacking方法之前准确率提升了2%左右。恶意程序识别多分类的准确程度达到了88.3%,达到了静态识别的准确率级别。这意味着本文提出的混淆恶意程序识别方法解决了混淆识别空间开销高的问题,并且也提升了恶意程序识别的准确率,为混淆恶意程序识别提供了一条新思路。

关键词： 电催化   DFT   机器学习   蒙特卡洛模拟   高熵合金   析氢反应  

摘要： 高熵合金（HEA）作为催化剂在电催化领域具有巨大的应用潜力,其反应机理研究主要依靠理论模拟方法。与传统的单层材料相比,HEA需要模拟表面元素分布和表面所有位点的活性。但是由于DFT效率的限制,传统DFT方法难以满足HEA的模拟内容。所以开发一个高效而准确的模拟方法至关重要。本文中,搭建了名为DPGEN＿HEA的工作流,来分别应对这两个过程。并通过该工作流模拟了的Cu FeNiRuW、FeNiRuW高熵合金表面的析氢反应,具体工作内容如下:1.搭建了一个工作流来模拟HEA上的元素分布及全位点HER活性,根据蒙特卡洛模拟（MC）的特点对目前较流行的DP-GEN工作流中机器学习的探索（exploration）,训练（training）,标识（labelling）的描述符均做了一定的修改,把原子能添加到了损失函数公式中。用第一性原理计算的数据作为机器学习的原始数据集,再根据机器学习结合MC的循环方式来训练HEA的力场,最后得到的力场,用于MC模拟。此外,利用相似的工作流计算了所有位点的吸附能。2.通过搭建的工作流,模拟了CuFeNiRuW和FeNiRuW高熵合金纳米颗粒的HER反应,其活性顺序与实验结果一致,证实了工作流模拟的有效性。为了探究这种活性的差异,分析了Cu在元素分布以及ΔGH分布中的作用。结果表明,对于元素分布,发现Fe和Ru倾向于结合、Cu和Ni倾向结合;Cu去除后,Cu Ni相变为Ni相,容易形成Ni块状分布,而Fe Ru相仍然存在;Cu的去除对于元素与元素或者表面亲和的偏好没有影响。对于ΔGH的分布影响,发现Cu存在可以增加表面位点的构型熵,从而增加|ΔGH|<0.05 e V附近的ΔGH的分布,提高Cu FeNiRuW的活性。而Cu的去除导致Cu FeNiRuW活性3f活性位点数量的减少,从而导致活性的降低。此外,通过分析了HEA中每个元素的ΔGH的分布,发现元素之间存在“中和效应”,Cu和Ni的中和后的平均ΔGH位于这两个元素吸附能的中间。这种“中和效应”的存在进一步解释了Cu FeNiRuW催化活性高于FeNiRuW催化活性的原因。表明高熵合金元素之间的“中和效应”对于HER反应有重要的影响,这对于设计HEA催化剂有一定的指导意义。

关键词： 机器学习   异常检测   孤立森林   集成学习  

摘要： 网络的飞速发展,给人们的工作与生活带来了便利。然而,网络也随时遭受着攻击,安全形势严峻。与此同时,大数据时代背景下的高维数据使得数据分析与计算所需的时间复杂度越来越高。因此,研究出能够进行高效异常检测的方法与框架具有十分重要的意义。其中,机器学习算法以高效率、高精准度的优点在异常检测领域得到了广泛的使用。本文的工作内容为机器学习方法在网络异常检测领域的研究与应用。本课题调研和分析了近几年网络异常的分类以及异常数量的增长情况,研究了用于异常检测的机器学习算法,并设计了一种基于机器学习方法的异常检测框架。使用了一种基于Boruta算法和相关系数计算的分层特征选择方法对数据集进行处理,并对模型训练效率进行对比分析;使用了孤立森林算法(Isolation Forest,IF)、扩展孤立森林算法(Extended Isolation Forest,EIF)对数据集进行训练与预测,并使用混淆矩阵等评价指标对结果进行评估;提出了两种不同的改进方案,包括混合型孤立森林(Mixed Isolation Forest,MIF)和级联型异常检测数据评分方式,并与多种算法进行横向对比实验。本文的具体工作内容如下:首先,本文按照攻击类型对CIC-IDS-2017数据集进行划分,总共得到4个数据集。之后,使用了一种分层特征选择方法对数据集进行处理,该方法综合了 Boruta算法和相关系数计算的数据处理结果。通过实验验证了分层特征选择方法对模型训练效率的提升效果。实验表明,本文所使用的方法可以有效提高模型的训练效率,平均训练时间为7.214秒,在不影响模型检测精准度的条件下,相较于原始数据集的平均训练时间减少了 43.25%。其次,本文研究了扩展孤立森林中的扩展度对模型训练效果的影响。结果表明,扩展孤立森林算法在不同扩展度下均可以达到较好的异常检测效果,平均AUC超过了 0.9220。在此实验的基础上,本文分别使用孤立森林、扩展孤立森林在4个数据集上进行训练与预测。结果表明,两种算法在4个数据集上均能达到较好的检测精准度。其中,孤立森林算法的平均AUC值为0.8823,扩展孤立森林算法的平均AUC值为0.8890。最后,为了进一步提高异常检测的精准度,本文提出了两种不同的改进方案,包括混合型孤立森林和级联型异常检测数据评分方式。一方面,混合型孤立森林综合了数据在孤立森林、扩展孤立森林中的路径长度,最后对综合路径进行异常评分。结果表明,混合型孤立森林在4个数据集上的平均AUC值提高到了 0.8999,相较于孤立森林与扩展孤立森林的AUC值有一定的提升。另一方面,级联型异常检测数据评分方式将基学习器进行集成,并与孤立森林等算法进行级联,从而进行综合的数据评分与预测。通过设置横向对比实验可以得知,级联型异常检测数据评分方式可以进一步提高检测的精准度。综合上述完成的工作,本文设计的基于机器学习方法的异常检测框架,能够明显提升模型训练效率,并且能够提高一定的异常检测精准度,因此在异常检测领域具有一定的应用价值。

关键词： 内部威胁   马尔科夫链   粒子群算法   随机森林   参数优化   聚类分析  

摘要： 当今世界科学技术飞速发展,内部威胁作为重大隐患,严重危害了组织内部的数据安全。通过借助内部的合规权限,组织内成员会故意向外界泄露内部隐私,或者篡改内部数据,使组织遭受到破环。这些对组织内部安全构成侵害性的异常行为与日俱增。为了达到对组织内部异常行为进行有效检测的目的,针对组织内部的人员行为,本文给出一种基于优化机器学习方法的内部威胁行为检测设计方案。主要研究工作包括:(1)提出一种新的带有马尔科夫跳跃的粒子群优化算法(Markov Jumpping Particle Swarm Optimizer,MJPSO)。首先,依据评估的进化因子划分进化状态。基于齐次马尔科夫链,自适应调整粒子的惯性权重参数和加速度系数,降低在每次迭代中重复计算惯性权重的复杂度,提高粒子群(Particle Swarm Optimizer,PSO)算法的全局搜索能力。其次,分析MJPSO算法的粒子动力学的随机稳定性,引入离散时间马尔科夫跳跃Lur'e系统的框架,基于线性矩阵不等式(LMI)获得随机稳定性的充分条件。最后,基于典型的基准函数,通过与一些流行的PSO变体对比,验证所设计MJPSO算法在收敛精度、速度和稳定性上具有一定的优势。(2)给出基于参数优化的随机森林方法(Random Forest,RF)的内部威胁行为检测方案,并设计内部可疑行为异常检测框架。首先,选取CERT-6.2数据集,对员工行为数据进行预处理,以“天”为时间窗,提取单域特征并融合多域特征。其次,筛选行为特征,剔除多重共线性特征,增强模型的可解释性,降低泛化误差。再次,利用所设计的MJPSO算法优化RF方法的参数,基于MJPSO算法优化RF方法(Markov Jumping Particle Swarm Optimizer-Random Forest,MJPSO-RF)建立内部行为异常检测模型。最后,与基于PSO参数优化的RF方法以及SVM模型进行对比试验,验证所设计的内部威胁行为检测模型MJPSO-RF的有效性。(3)在构建的内部威胁检测模型的基础上,制定混合无监督聚类的威胁行为检测优化方案。首先,基于已特征选择的行为数据集,针对组织内员工的正常行为模式,利用K-均值(K-means)无监督聚类进行分组,在每一类上分别建立MJPSO-RF内部威胁检测模型。其次,对比按角色分组员工行为的检测模型。最后,通过对比实验,验证混合无监督聚类的威胁检测优化方案的合理性及有效性。

关键词： 机器学习   京津冀平原区   未来气候变化   未来人口变化   地下水水位预测  

摘要： 上世纪中后期以来,京津冀平原在气候变化和人类活动的双重影响下,地下水水位急速下降,部分区域地下水超采问题严重。本研究选取京津冀平原区为研究区,探讨了研究区地下水水位动态变化特征及月均水位与气候、人口因素的相关性,明晰了研究区浅层地下水水位预测的最佳模型和技术路径,探究了2020-2050年京津冀平原区浅层地下水水位时空变化情况,揭示了未来区域浅层水水位变化对地下水资源管理措施的潜在影响。论文主要获得以下几方面认识: （1）1995-2020年,浅层地下水水位呈现先下降后基本稳定的趋势,而深层地下水水位呈现持续下降的趋势。地下水水位埋深在时间间隔为一个月时,具有良好的自相关性和偏自相关性。地下水水位与人口的相关性最高,浅层、深层地下水水位埋深与人口数量的Pearson系数分别为0.76、0.93;浅层、深层地下水水位埋深与气温的Pearson系数分别为0.26、0.30,为弱相关;仅部分井的地下水水位埋深与多期降水量相关关系较高,Pearson系数可达-0.58。气温、多期降水量、人口、上月浅层地下水水位埋深作为特征变量可准确模拟研究区地下水水位变化。 （2）运用支持向量机（SVM）算法开展研究区地下水水位模拟效果良好。多元线性回归（MLR）、人工神经网络（ANN）、支持向量机（SVM）模拟地下水水位的效果各有差异,实测值与模拟值的误差分析中,决定系数（R2）分别为0.83、0.54和0.87,均方根误差（RMSE）分别为0.53 m、1.28 m和0.49 m;历史水位均值、离散系数和波动范围与模拟效果有明显正相关关系。 （3）2020-2050年,四种情景下气温呈上升趋势,人口先增加后减少趋势,降水量在SSP2-4.5、SSP3-7.0、SSP5-8.5情景下呈上升趋势,在SSP1-2.6情景下变化趋势不明显。 （4）研究区不同气候变化情景下,地下水水位变化规律类似,但略有差异,SSP3-7.0情景下地下水水位降幅的最小,SSP5-8.5情景下地下水水位降幅最大;其中在接近当前社会脆弱性和辐射强度的SSP2-4.5情景下,区域地下水水位下降速率由1995-2020年的0.19m/a降为2021-2050年的0.09m/a;不同地区水位变化存在差异,北京城区、廊坊西部、保定中南部、石家庄中东部、邢台地区地下水水位下降趋势明显减缓,北京郊区、保定北部、石家庄西部、唐山东部和秦皇岛南部地区水位甚至由下降转为上升。

关键词： 二次事故   时空间隔   机器学习方法   解释技术  

摘要： 二次事故通常被定义为发生在初次事故影响区域内的事故,它将加剧交通拥堵并诱发额外的安全问题,研究二次事故的危害性和潜在的可预防方案是迫切的。了解二次事故与初次事故之间的时间间隔和距离间隔对于预防二次事故的发生和改善道路安全至关重要。尽管以前的研究分析了时空间隔,但在模型预测性能、量化影响因素的效应等方面仍存在优化空间。因此,本文关注于二次事故的识别、二次事故与初次事故之间的时空间隔预测以及时空间隔特征分析。首先,采用了一种静态和动态相结合的数据驱动方法来识别高速公路二次事故,共识别出二次事故与初次事故368对。基于识别结果,计算了二次事故与初次事故之间的时空间隔;基于距离间隔与时间间隔的比值,划分了5类二次事故的发生特征。其次,应用随机森林方法来预测时空间隔,并采用SHapley加法解释技术来剖析预测模型的输出。结果显示,交通流量、速度、照明和人口数量被认为是影响时空间隔最重要的因素。各重要因素的主要效应和交互效应揭示了它们的变化对时空间隔的影响方式和影响过程。最后,提出了一个两层的Stacking框架来分析时空间隔特征。第一层的基础分类器包括随机森林、梯度提升决策树和极端提升决策树,用于提取数据特征;第二层应用逻辑回归算法作为组合器来获得最优结果。采用LIME技术从局部和全局的角度解释Stacking模型的输出。通过准确度、精确度和召回率指标评估,Stacking模型的表现优于基础模型。基于模型的解释表明,速度、人口数量、流量、涉及车辆数是影响时空间隔的关键特征。图54幅,表10个,参考文献94篇

关键词： 代谢组学   条件高斯贝叶斯网络   变量筛选   分类预测   计算负担  

摘要： 背景与目的: 在疾病的发生发展过程中,生物体内代谢物的变化可能早于外在疾病症状的发生,因此代谢物指标可以作为疾病早期诊断标志物或者探讨疾病发生和预后的内在原因。与经典分类模型不同,贝叶斯网络模型在分类预测时,不要求预测变量间的独立性,而且可以同时考虑变量间的依赖关系,因此,贝叶斯网络模型在代谢组学领域应用潜力巨大。然而,随着变量数的增加,贝叶斯网络的建模复杂度会呈指数级增加,导致计算负担过大,方法实用性降低。因此,探讨贝叶斯网络在实际应用时,如何合理结合数据降维技术的组合策略尤其重要。本研究利用模拟研究和实例数据,探讨结合变量筛选方法的两步法贝叶斯网络模型的分类性能,并应用于实际代谢组学数据的分类预测和代谢物及代谢通路的识别,为类似特征资料的分析提供方法学支持。 主要研究内容: 模拟研究:生成不同特征的模拟数据(自变量间不同相关系数大小、不同网络稀疏程度、自变量和因变量线性和非线性关系、不同变量数),主要探讨Boruta、递归特征消除(Recursive Feature Elimination,RFE)和最大互信息系数(Maximal Information Coefficient,MIC)变量筛选方法与条件高斯贝叶斯网络(Conditional Gaussian Bayesian Network,CGBN)组成两步法模型的分类性能,并与偏最小二乘判别(Partial Least Squares Discrimination Analysis,PLSDA)、支持向量机(Support Vector Machine,SVM)和人工神经网络(Artificial Neural Network,ANN)等方法进行比较,进而选出最适合CGBN的变量筛选方法。以“变量筛选方法+CGBN”的模式命名该两步法模型,如Boruta＿CGBN、RFE＿CGBN和MIC＿CGBN。 实例分析:将前述研究策略和方法用于2019年至2021年“食管癌筛查及早诊早治项目”筛查人群的非靶向代谢组学数据分析,探讨了前述两步法模型相比直接建模和其他经典方法的分类预测性能、计算负担和重要节点与通路识别的能力;设置多种超参数情形,探讨最大父节点数对CGBN预测性能的影响。 主要结果: 模拟研究:在不同模拟情形下,相比于CGBN直接建模,两步法模型的预测性能更好,计算负担也更小。以样本量为100,自变量间低相关,低稀疏网络,非线性模拟数据为例,Boruta＿CGBN和RFE＿CGBN两种方法的受试者工作特征(Receiver Operating Characteristic,ROC)曲线下面积(Area Under Curve,AUC)分别为0.682和0.676,与专注于结局预测的PLSDA(AUC:0.713)、SVM(AUC:0.712)和ANN(AUC:0.696)方法十分接近。RFE＿CGBN的计算时间为0.891秒,与PLSDA、SVM和ANN接近,Boruta＿CGBN的计算时间虽然略高于经典方法,但仍在可接受范围内。在模型过拟合方面,Boruta＿CGBN、RFE＿CGBN和MIC＿CGBN的训练集与测试集AUC差值分别为0.143,0.163和0.111,均低于PLSDA、SVM和ANN等经典方法。CGBN方法的过拟合程度在线性数据中高于经典方法,在非线性情形中略低于经典方法,但其随着变量数的增加,过拟合程度增幅更高。 实例分析:当限制最大父节点数为2时,CGBN(AUC:0.860)的AUC高于所有两步法模型,但同时其过拟合程度更高,计算时间远高于其他所有模型;两步法模型中,Boruta＿CGBN、RFE＿CGBN和MIC＿CGBN的分类预测性能十分接近。计算负担方面,Boruta＿CGBN的计算时间最长,RFE＿CGBN的时间最短;相比于经典方法,基于CGBN的模型可以识别出更多的重要化合物,其中,Boruta＿CGBN重要代谢物占网络总节点数的比例最大(60/107=0.561),其建立网络的平均中间中心性(0.0006)、聚集性(0.0737)和网络密度(0.0150)也最大;随着最大父节点数增加,各模型预测性能改善,但同时也增加了模型过拟合风险和计算负担,当最大父节点数为10和20时,模型各项指标保持稳定。 主要结论: 在代谢组学数据的分类预测中,基于CGBN两步法模型表现与经典分类方法接近,可识别变量间的非线性作用,且过拟合程度较低,大大地降低了单步法CGBN建模的计算负担;在模拟研究和实例分析均显示Boruta＿CGBN和RFE＿CGBN分类预测性能最佳;Boruta＿CGBN的识别重要代谢物和通路的效率高于其他基于CGBN的方法,是值得推荐的一种方法;最大父节点数可以限制网络的复杂度,当数据较为复杂时,较小的父节

关键词： 二手房   网络爬虫   网格搜索   CatBoost算法   SHAP  

摘要： 房地产行业作为我国经济建设的中坚力量,为人民生活幸福、国家发展稳步打下了坚实的基础。银保监会多次明确指出,要坚持房子“只住不炒”的定位,持续推进稳定房价、稳定预期的交易机制。随着各地一手房源开发受限,房地产行业由增量市场转型为存量市场,意味着房产交易市场流动着更多的二手房。目前,多个城市已出台有关二手房参考价机制政策,其目的在于规范房产交易市场,净化房产线上买卖渠道。该政策依托大数据及人工智能,为各大城市提供了精准有效的二手房参考价,为住宅买卖双方提供了更为透明化、合理化的交易价格。烟台市作为山东省沿海要地,近年来经济发展稳步增长,打造了一批具有竞争力的新兴产业集群。随着烟台市“12335”大城区建设格局的推进,未来势必会吸引众多外来人口在此安居,但目前烟台市暂未出台相关二手房参考价机制平台,因此研究烟台市二手房房价影响因素和趋势会进一步洞悉二手房发展走向以及合理监管二手房市场,为烟台市政府未来制定相关政策提供参考性价值。本文借助烟台市房产交易网站数据,从微观角度入手,建立集多类信息的烟台市二手房价格影响特征库,通过模型对比分析得到了能够有效评估烟台市二手房房价的机器学习模型。研究的整体结构主要有四个方面:数据的获取和预处理、特征选择、模型的构建、对比实验论证。形成的主要成果和结论如下:(一)借助网络爬虫,选择烟台链家二手房交易网站、烟台安居客网站以及高德地图API采集了包含住宅本身硬件条件信息、住宅所在区域的环境信息以及住宅周边基础设施信息的25892条烟台市二手房数据。通过对数据的可视化分析和探索性研究,完成了对数据集的清洗和整理工作,最终得到了24421条完整的烟台市二手房数据。(二)烟台市二手房数据集包含43个特征变量,其中17个数值型变量、26个类别型变量。为了高效适应算法的训练,对26个类别型变量进行了不同方式的量化编码,并选择Cat Boost嵌入式对数据集进行特征筛选,得到最佳建模特征子集。(三)构建基于机器学习的烟台市二手房价格预测模型,以Cat Boost算法作为主要参考模型,介绍了其可行性及算法原理,并采用Grid Search CV方法优化Cat Boost,在此基础上添加SHAP值可视化分析,从特征贡献值的角度加强模型可解释性。并另外构建四类常用房产估价模型,分别为决策树、K近邻、Ada Boost、随机森林,以此验证模型有效性。(四)采用五折交叉验证方式对烟台市二手房数据集划分训练集及验证集,在训练集上分别训练Cat Boost、决策树、K近邻、Ada Boost、随机森林五类机器学习模型,并加入改进后的Cat Boost。选取相应评价指标,根据训练结果对模型结果进行对比测试。研究结果表明,优化后的Cat Boost模型具有相对最高的拟合优度和相对最小的预测误差,其决定系数为0.967、平均绝对误差为126.17、均方根误差为297.19、平均相对误差百分比为10.2%。并且通过SHAP值分析得出区域、商圈是影响二手房交易价格的较为重要的因素。通过以上研究最终得到了能够有效预测烟台市二手房价格的机器学习模型,进一步丰富了房价评估的算法库,为烟台市未来制定二手房参考价政策提供了可行性分析。后续可在此基础上提供长期时效性数据,得到更加稳定的房价评估模型。