关键词： 电磁泄漏   旁路攻击   机器学习   深度学习   迁移学习  

摘要： 电磁泄漏信号是电子系统正常运行期间,由内部电流的变化所产生的电磁辐射信号。在正常情况下,电阻、电源、计算芯片等电子元件都会产生电磁辐射并引起电磁泄漏。本文针对嵌入式设备产生的电磁泄漏信号进行分类识别,对于嵌入式设备的安全性评估有重要意义。本文主要有如下四个创新点:第一,搭建了基于单片机存储、SIMECK32/64进行加密过程的电磁泄漏信号自动采集平台和基于Jetson Nano的神经网络电磁泄漏信号的自动采集平台。并设计了对应的硬件组件和软件,使采集过程和数据筛选过程更加高效。第二,为了解决直接训练卷积神经网络梯度不下降的问题,结合汉明重模型理论,提出了一种新的卷积神经网络结构——简单任务网络(Easy Task Network),并在此网络结构的基础上,利用采集的单片机存储过程中的电磁泄漏,在存储任务数据集上进行验证并达到了96.80%的准确率。第三,在不知道任何明文、密文及泄漏中间值信息的情况下使用全随机密钥,并用SIMECK32/64算法进行加密,进行电磁泄漏攻击。使用设计的神经网络结构并利用基于标签的迁移学习,达到了 96%的平均准确率。并且通过不同任务的电磁泄漏信号的数据集进行迁移学习,目标数据集提高了 6%的分类识别准确率,证明了不同任务的电磁泄漏信号之间的可迁移性。第四,针对Jetson设备神经网络结构进行基于电磁泄漏的旁路攻击。进行了两个维度的安全评估,一种是对同一框架TensorRT下7种不同的神经网络的泄漏信号进行分类;另一种是对TensorRT、Tensorflow、Pytorch三种框架下同一神经网络的电磁泄漏进行分类。本任务中通过不同策略设计并测试了如何将二维卷积神经网络转换为一维卷积神经网络的结构,通过实验验证了其可行性,证明了良好的网络转换策略能够提升5%～12%的分类识别准确率。

摘要： The numerical reservoir simulation model is a stable among the tools used to address the problem of describing the fluid flow behavior of producing reservoir from wells. The downside of using these models is the inherent cost of development and deployment, especially for small fields, and resources restrained projects. The recent advances in machine learning methods in well testing domain, ignited an interest to bring these capability to reservoir simulation and management. In this work, supervised and unsupervised machine learning techniques were applied to reservoir management tasks, that are usually dealt with using a numerical reservoir simulation model. Starting with well level analysis, simulation of downhole pressure response in producing wells, as a function of production and /or injection rate, using only field data is investigated. The methods used include algorithms composed of feed forward, recurrent, and convolution layers. The same is used to simulate water cut response as a function of operational parameters. The results suggest that it is possible to generate accurate prediction using these techniques. Extending the analysis to field level, we showed how using unsupervised learning techniques helped in guiding samples selection for training, then we applied generative modeling techniques using variational autoencoder to the problem of spatial control in the reservoir form data. We compared the performance of it to autoencoder, and other machine learning algorithms to predict multiphase production profiles form wells. Our investigation indicates that it can be done successfully in undrilled locations. We further applied conditional variational autoencoder along with deep feature interpolation methods to generate novel simulations that are not available in the training data set, extending the range of available simulated profiles without additional training or the need to conduct numerical simulation runs. Finally, we showed, using real field examples,

关键词： 职业分类   劳动力市场大数据   职业标准   机器学习技术  

摘要： 劳动力市场在多种因素的作用下催化了新职业的产生和分化,就业形态也趋于多元化发展,需要公共部门做好职业管理。为此,我国逐步建立和健全了我国的职业分类体系,以满足经济社会发展和人力资源管理的需要。但是,在职业标准的描述上,还存在着内容不详、更新慢、指导性差等缺陷;劳动力市场职业分类标准不统一、职业名称不规范等问题也阻碍了职业分类管理在劳动力市场中的有效执行,以至于公共部门无法监测不同职业在数量和结构上的发展和变化,在决策过程中依然缺少可靠的抓手。近几年,以招聘广告为代表的劳动力市场大数据的出现拓展了数据类型和数据来源,既能够弥补传统统计调查方式结果数据的不足,也较为客观地反映了劳动力市场的整体情况,为改善职业分类管理创造了条件。 本文以比较有代表性的直播销售员为例,探讨了职业标准的构建过程,并在职业标准的基础之上,利用劳动力市场大数据和机器学习技术探索具有普适性的职业分类预测的实现路径。研究总共分为两个部分,第一阶段研究是构建直播销售员的职业标准,以劳动分工理论为基础的工作内容描述已经无法满足对某个职业进行客观详尽描述,而基于人职匹配理论将技能水平描述也纳入到职业标准的维度则丰富了职业标准的内容,通过对25名直播销售员从业者或者职业相关人员进行了深度访谈,并对访谈结果进行了整理、归纳、编码和演绎,逐步确定了直播销售员的职业标准。第二阶段研究是在职业标准基础上,利用劳动力市场大数据对直播销售员进行职业分类预测。通过爬虫软件收集到了2535条直播销售员的招聘广告,并运用机器学习技术中朴素贝叶斯文本分类构建了职业分类预测模型,对招聘广告是否真正属于直播销售员这一职业类别进行预测,并对分类预测效果进行了评估,结果表明该职业分类预测模型具有较高的准确性和稳定性,如果推广至所有职业,就能够基于现行职业分类体系对劳动力市场实现职业分类。 研究成果丰富了现有的职业分类管理领域的研究,深化了人职匹配理论的研究体系,不仅在内容上拓展了职业标准的维度,提升了职业标准的指导价值,也使得职业分类管理从空有标准转向有效落实和执行。

关键词： 机器学习方法   航空旅客出行指数   相关性理论   互信息模糊理论   贝叶斯网络   极值理论  

摘要： 近年来,机器学习与大数据技术取得了长足进步,实现了以机器学习方法为主并融合其他相关数据分析技术在各个领域的广泛应用。尤其在民航运输领域迅猛发展的背景下,由于智慧机场建设和航空旅客绿色出行的内在驱动,使得行业生产相关数据不断增长与积累,运用机器学习方法赋能机场运营管理与相关服务质量水平提升。然而,由于航空旅客出行相关问题的复杂性,关联的业务错综交织,采用传统的一些方法往往不能得到理想的结果。本文主要研究以机器学习方法为关键技术实现路线,构建管理与决策新模型方法,为航空旅客出行相关问题的解决提供更优方案。围绕航空旅客出行中的旅客吞吐量、航班旅客量、出行指数分析预测及地服保障人员排班等关键问题展开探讨,本文重点研究利用现有机器学习技术方法与相关数据分析技术,结合问题特点构造新模型方法,进而实现将这些新模型方法应用于解决机场运营管理与航空旅客出行相关具体问题。首先对智慧机场、航空旅客出行、旅客吞吐量、航线航班客座率、地服人员排班等问题进行梳理分析,同时对机器学习方法、模糊理论、信息论、极值理论等关键技术进行了探讨;然后基于时间序列、互信息、模糊、极值理论相互融合并改进机器学习方法模型,提出基于长短记忆与支持向量回归的模型方法、基于互信息改进支持向量回归模型方法、基于模糊最大化互信息改进贝叶斯网络模型方法;最后将这些方法分别应用于吞吐量预测、航班旅客量预测、航空旅客出行指数预测以及地服保障人员优化排班等难题,并取得了较好的效果。本文主要的研究工作说明如下:1)针对航空旅客吞吐量预测问题,根据航空旅客吞吐量预测时间序列分布特点,考虑长短期记忆网络(LSTM)改善了RNN中存在的长期依赖问题,提出了一种基于长短期记忆网络改进的支持向量回归预测方法即LSTM-SVR模型方法。凭借LSTM作为动态的循环神经网络,能比较好地反映航空旅客吞吐量动态变化结果,而SVR具有的修正特点即“消去”大量冗余样本,经过两种机器学习方法的优势融合,极大减少了预测误差随时间的传递。通过实验分析显示,LSTM-SVR模型方法可行且预测精度更高,该方法对机场规模与资源配套建设具有辅助决策意义。此外,根据机场网络布局,考虑机场网络航线吞吐量影响,构建航班旅客预测模型,为航空公司经营的中航班旅客量预测提供技术手段即可以有效帮助航空公司更了解客户,这一研究成果对航空公司航线的运营收益提升带来一定的帮助。2)针对航空旅客出行评价问题的研究,首先,本文首次提出航空旅客出行指数与指数等级概念,它们能很好地反映机场繁忙程度,为机场运营管理与旅客出行提供了一个新的参考指标。其次,针对航空旅客出行指数预测,利用互信息值选取关键影响因子,构建基于互信息改进的支持向量回归MI-SVR模型方法。最后,实证分析发现,通过互信息选择特征影响因子后,常见的预测方法预测效果都有明显提升,而本文提出的MI-SVR模型方法相对更优。该创新研究成果较好反映了航空旅客出行指数的时空分布,对机场运营管理意义重大,一方面,机场可以选择在相对不那么繁忙的时段内安排相关设施设备的运维或其他施工建设活动,最大限度减少此类工作给机场运营管理带来的影响;另一方面,针对旅客出行高峰时段,充分调配相应的内外部资源保障服务质量。航空旅客出行指数不仅适用小型机场,更适用于大型枢纽机场,对旅客选择民航方式出行时段具有参考价值。3)考虑影响出行指数因素中小概率情况,利用模糊思想提出了基于模糊最大化互信息思想改进的贝叶斯网络航空旅客出行指数预测方法。该方法通过模糊构建虚拟样本集即随机将数据进行分组,将偶然出现的现象数据“均衡化”处理洒落在混乱数据集中,利用数据原有的冗余数据减小,强化相关性数据的作用,达到提高分类器的分类效果。实证分析发现本文提出的改进贝叶斯网络模型方法可行且有效,该方法不仅适用具有大量航空旅客出行指数历史数据的精准预测,也适用少量数据时的精确预测,且表现更突出。此外,利用手肘法改进聚类方法K-means对出行指数、影响因素聚类分析,实证分析发现聚类效果良好。4)针对航空旅客出行指数极值分布下的地服保障人员排班问题,首先根据地服保障人员排班特点,结合极值理论与经典智能优化算法,提出了考虑航空旅客出行极值分布的地服保障人员排班模型;然后利用智能优化算法进行求解获得较优的地服保障人员排班方案。最后进行实证分析,实验结果表明,通过机器学习方法对出行指数预测获得极值分布后,运用智能优化算法排班比人工标准排班效率更高,且对比分析了是否考虑极值分布的情况下进行地服保障人员智能优化算法排班,考虑极值与按均值条件下排班,前者地服保障工作总量在既定的工作期内减少,人员利用效率得到提高。探讨了某机场地服保障服务53周为工作期,工作量(以小时计算)相比减少约8.1%,具有良好的运营效益。此外,通过问卷调查发现,科学的地服保障人员排班方案有利

关键词： 心肌淀粉样变   肥厚型心肌病   机器学习  

摘要： 目的:本研究提出基于机器学习方法结合二维斑点追踪超声心动图(2D-STE)数据进行心肌淀粉样变和肥厚型心肌病的智能鉴别研究。方法:选取2015年6月-2018年11月在浙江大学医学院附属第一医院住院治疗,经活检明确诊断CA的患者74例,选择同期入住的HCM患者64例作为对照。收集患者的临床资料,实验室检查,常规超声心动图和2D-STE等数据。利用机器学习算法分别建立2种模型:1、利用临床资料,实验室检查,常规超声心动图和斑点追踪超声数据通过支持向量机,随机森林和梯度提升等机器学习方法进行数据分析和构建预测模型,并与传统的Logistic回归模型相对比;2、利用2D-STE应变数据通过分布式梯度提升(light GBM),极端梯度提升(XGBoost)和整合两种算法进行数据分析和构建预测模型。模型建立后利用受试者工作特征曲线(ROC)及曲线下面积(AUC)评估不同模型的性能。结果:在利用临床资料,实验室检查,常规超声心动图和斑点追踪超声数据进行建模的模型中,机器学习方法均表现出良好的区分性能(AUC值均>0.9),其中极端梯度提升模型具有最高AUC值,为0.98。与传统的Logistic回归模型(AUC=0.91)相比,支持向量机(AUC=0.95,P=0.477),随机森林(AUC值=0.97,P=0.301)和梯度提升(AUC值0.98,P=0.230)等机器学习模型预测CA的性能呈现不同程度的改善趋势,但AUC值的差异没有统计学意义。在利用2D-STE应变数据进行建模的模型中,整合两种算法的投票模型的判别能力与分布式梯度提升相仿(两者AUC均为0.86),而极端梯度提升的AUC值稍低,为0.84。随后在进行5折交叉验证时,结果提示投票算法在全局上更加稳健,并在部分测试集上优于单个算法。在第1种模型中,偏心指数,左室射血分数(LVEF),相对心尖纵向应变(RELAPS),慢性肾病,室间隔厚度(LVSd)和收缩压是随机森林和梯度提升模型特征选择中前6位的最重要的预测因素。在第2种模型中,Rad Strain3(中间段室间隔径向应变)是最重要的预测因子,其次是Long Strain Epi7(心外膜基底段前壁纵向应变),Cir Strain R4(基底段后壁环向应变率)。结论:数据驱动的机器学习方法在鉴别心肌淀粉样变性和肥厚型心肌病方面具有良好的表现,可以在不作预先假设的情况下,自动整合大量的变量数据进行特征选择,从而识别出最具有鉴别意义的预测因子。在大数据背景下,自动化的机器学习方法将有助于更好的识别出心肌淀粉样变的患者,以便及时进行有效的干预,从而改善预后。

关键词： 蛋白质羰基化   序列信息   特征编码   特征选择   机器学习  

摘要： 蛋白质羰基化(protein carbonylation,PCO)是一种由持续氧化应激诱导的翻译后修饰(post-translational modifications,PTMs),具有稳定性、不可逆性和相对早期形成的特点。研究发现,蛋白质羰基化可引起蛋白质结构的不可逆变化和原有生物功能的丧失以及细胞和组织功能障碍,进而导致细胞活力下降,甚至细胞死亡。蛋白质羰基化与细胞凋亡、衰老以及一些慢性疾病如慢性肺病和神经退行性疾病如阿尔兹海默症等的病因和发生机制密切相关。因此,蛋白质羰基化作为氧化应激的一个生物标志物,在多种疾病的病理过程和衰老中的作用一直以来备受关注。利用生物化学实验技术可以有效识别羰基化修饰位点,但是成本高、耗时长,并且蛋白质羰基化是一个高度动态过程,具有多种修饰形式,因此如果仅仅依赖于传统的生物化学检测技术来识别蛋白质羰基化位点将会严重限制羰基化修饰位点识别的研究进展速度。目前,随着高通量质谱技术的提升,产生了大量的蛋白质羰基化位点数据,为我们系统地对蛋白质羰基化的研究提供了数据支撑。因此,通过计算方法构建模型高效准确地识别蛋白质羰基化位点,既能为疾病的发生和发展研究提供关键线索,又能为生物实验研究提供有力的工具手段。在本文研究中,首先,我们从已发表的文献中收集经过实验验证的、包含蛋白质羰基化修饰位点的序列数据,经过严格的筛选和数据处理后,构建了一个高质量的基准数据集。接下来,我们比较分析了羰基化位点与非羰基化位点周围氨基酸残基的位置特异性序列特征以及氨基酸理化性质的分布情况,同时提出了一种新的特征编码方法即锥面体三维空间坐标特征来表征序列样本。随后利用随机森林(random forest,RF)算法来构建模型,并基于十折交叉验证评估模型的性能。为了去除冗余的特征,降低特征向量的维度,构建更加具有鲁棒性的模型,我们使用F-score方法进行特征筛选,并采用增量特征选择(increment feature selection,IFS)来确定用于构建模型的最优特征子集。与已有的模型相比,训练集上的十折交叉验证结果和独立测试集的测试结果表明,本文提出的模型对于蛋白质羰基化位点具有更好的预测性能。最终,基于最终得到的预测模型,我们搭建了一个用户友好的在线服务预测器i Car PS,同时还设计开发了一个具有图形界面的本地软件包,链接为http://***/server/i Car PS/,以方便相关研究者的使用。

关键词： 财险公司   风险预警   粗糙集   BP神经网络   机器学习  

摘要： 近年来,区域市场财险行业抢抓发展机遇,不断提升服务能力和创新能力,在实现自身快速发展的同时,已成为支持地方经济和社会发展的重要支柱,已成为服务民生和社会治理的重要力量。然而,长期以来重规模、轻效益,重速度、轻质量的粗放经营管理模式,已不能满足区域市场财险行业健康可持续发展的需求,已不能满足党中央关于防范化解重大金融风险的需求。进一步强化风险预警,提高风险管理的主动性,发挥风险管理的前瞻性,提升风险防范化解能力,走高质量发展的道路是区域市场财险公司的必然选择。机器学习方法具备强大的数据挖掘能力,是推动人工智能飞速发展的核心动力,目前已被广泛应用于金融风险预警的研究中,并取得了丰硕的成果。粗糙集理论可以在保持知识分类能力不变的前提下,保留核心属性,剔除冗余属性,能够提高机器学习的性能。因此,本文在归纳总结国内外相关领域风险预警研究经验和成果的基础上,基于财险公司的风险特性,依据财险公司风险管理理论,借鉴国内关于财险公司分支机构的权威评价体系,着眼于区域市场,结合G财险公司N分公司的经营实际和风险预警工作现状,设计了G财险公司N分公司初始风险预警指标体系。综合考虑了预警效果、预警成本和预警效率等因素,本文将2015年至2018年区域市场26家财险公司的相关数据作为样本数据,应用粗糙集理论对该指标体系进行了属性约简,并在此基础上构建了基于BP神经网络算法的风险预警模型,检验预警效果。最后,在实证分析的基础上,提出G财险公司N分公司的风险预警优化策略。实证结果表明,本文构建的基于机器学习方法的风险预警模型,对G财险公司N分公司2015年至2018年的预警准确率达75%,可以提供较好的决策支持。应收保费率、综合费用率、35周岁及以下员工占比、再保险率、总资产增长率、车险赔付率、意外险保费增长率、车险保费增长率、综合成本率、是否被银保监行政处罚等10项指标是当前G财险公司N分公司应密切关注的关键风险因素。本文的研究有利于提高G财险公司N分公司的风险管理能力,有利于规范区域财险市场的竞争秩序,有利于维护地区的金融稳定,对推动财险行业高质量发展、对防范化解重大金融风险有重要意义。

关键词： 机器学习   贷款违约   信用风险评估  

摘要： 本文针对银行个人贷款业务,借助天池贷款违约数据集模拟真实的客户特征数据,采用LR、XGBoost、Lghtgbm等八种机器学习模型,构建贷款违约分类模型,预测贷款违约概率,帮助银行尽快识别高风险贷款,从而降低不良率。结果表明,机器学习可以进一步提高个人信用评估的准确性,为商业银行个人信用评估提供科学依据和参考。

关键词： 机器学习   财务报表   舞弊识别   Stacking算法   RUSBoost算法  

摘要： 随着计算机算力的提升和数据的巨量增长,人工智能技术迅速发展,直接促进了各领域研究模型的迭代更新。人工智能技术中的机器学习方法具有处理海量数据的巨大优势,能从繁杂的数据中找到隐藏的内在联系,这一特性为分类问题和回归问题提供了很多优秀的解决思路。机器学习既可以应用在学术研究中对假设进行反驳或者佐证,也可以应用在实务中以从大量驳杂数据之间发现数据之间隐藏的规律。目前机器学习已经在许多领域得到了广泛的运用,在财务领域中机器学习也得到越来越多的重视和研究,其中就包括利用机器学习方法对财务舞弊进行识别研究。舞弊识别是一个经典的二分类不平衡样本问题,发生的概率低,但能带来极大的负面影响。目前基于中国市场的研究中鲜有将财务报表原始特征作为切入点的成果,国外已有研究Bao(2020)[52]表明,基于财务报表原始特征,运用RUSBoost算法能够搭建出较好的财务舞弊识别模型。鉴于此,本文根据中国上市公司在1998年-2016年的财务报表原始数据,对基于RUSBoost算法的国外财务报表舞弊识别模型在中国上市公司的泛化性能进行检验研究,结果表明该模型鲁棒性能较差,对中国上市公司的财务报表舞弊行为无法取得较好的识别效果。基于该检验结果,本文根据中国市场舞弊范式对数据集和机器学习方法进行调整优化,经过对Logistic回归、SVM及多个集成学习算法的尝试,研究结果表明Stacking模型可以搭建更适用于中国上市公司的财务报表舞弊识别模型。综合来看,本研究有如下贡献:(1)本文根据CSMAR数据库手工整理了 1998年-2016年适用中国上市公司财务报表舞弊识别研究的样本数据集,检验了基于RUSBoost算法的国外财务舞弊识别模型在中国市场无法取得较好的预测效果;(2)将财务报表原始数据作为样本变量,搭建了基于Stacking模型的适用于中国上市公司财务报表舞弊问题的识别模型,本文表明了基于中国市场使用财务报表原始数据作为样本变量的可行性,可以达到良好的预测效果并有效降低舞弊识别的时间成本和复杂程度,为实务中进行中国上市公司财务舞弊识别提供了重要参考;(3)针对本文实验结果进一步使用Grid-Search算法测试模型潜力以探究样本分布对模型的影响。

关键词： 流量测量   以太坊RLPx协议   活跃节点库   机器学习方法   行为流量分割  

摘要： 随着近年来的区块链安全事件频发,区块链网络安全形势愈发严峻,对有效的区块链流量测量与分析方法的需求愈发迫切。相较于比特币,以太坊对智能合约的支持使得以太坊具有更高的应用前景,以太坊流量具有更高的研究价值。对以太坊网络流量的识别和对流量中包含的行为的判断可以为以太坊网络安全监管提供有力支撑,对区块链网络安全流量测量与分析有指导意义。与比特币采用明文传输协议不同,以太坊在数据传输阶段使用私有RLPx协议对传输内容进行了加密,现有的研究人员忽视了对以太坊流量特征的挖掘,行业内缺乏一种快速、准确的以太坊流量识别方法。此外,以太坊通过TCP长连接处理传输内容,在以太坊行为数据发送前将其统一打包为RLPx帧并进行加密,导致单条以太坊流量中包含多种行为流量,现有研究中缺乏一种有效的行为流量分割方法。并且由于行为数据结构间的一致性,使得分割后的以太坊Get类行为流量间存在极高的相似性,难以实现以太坊行为流量的精细化分类。针对以上问题,本文基于以太坊“小世界”特性和行为流量Burst特性,设计实现了以太坊流量识别和以太坊行为流量分类方法,主要包括以下三点研究内容:1.针对以太坊流量存在的占比小、特征混淆的问题,提出了基于活跃节点库的以太坊流量识别方法。该方法基于以太坊特有的“小世界”特性,设计活跃节点库记录监管区域内处于活跃状态的以太坊节点信息,通过活跃节点库筛选出潜在的以太坊流量。对于潜在的以太坊流量,分别对基于UDP的节点发现过程和基于TCP的数据传输过程提取相应流量特征,借助机器学习方法实现对以太坊流量的识别,并以识别结果动态更新节点库。实验结果表明,本文提出的基于活跃节点库的以太坊流量识别方法可以在保证识别时间效率的同时达到较高的识别精度。2.针对单条以太坊流中行为流量混杂、行为流量相似性高的问题,提出基于Burst分割的以太坊行为流量分类方法。该方法通过RLPx帧头数据包定位每个行为流量的起始位置,通过行为Burst范围确定行为流量范围,实现对以太坊行为流量的分割。针对以太坊Get类行为间的相似性问题,选择将Get类行为合并,用机器学习方法进行粗分类,对粗分类结果通过行为重排序、无返回数据的Get类行为剔除和序列化逆推的方法判断Get类行为的准确类别。实验结果表明,该方法可以准确分割以太坊行为流量,并大幅提高了以太坊行为流量分类效果。3.设计并实现了区块链网络安全流量测量与分析原型系统。分别从以太坊流量识别模型构建、以太坊行为流量分割、以太坊行为流量分类、用户界面展示等方面描述了该原型系统的设计细节。以图形界面的方式展示所设计的方法在系统中的运行结果。