关键词： 制造业专利   单项专利价值评估   机器学习  

摘要： 专利作为衡量创新的指标,本应该为企业带来技术创新的超额收益,但是在我国,专利的产业化率、许可率、转让率、专利质押融资金额普遍不高。在专利密集型产业的7个大类中,制造业的国民行业小类最多,增加值占比最高,增加值增速最慢,制造业“大而不强”一直是困扰中国制造业发展的难题。一方面,高端制造业被卡脖子,如半导体产业的光刻机、轮机的热部件、通信装备产业的高端芯片、电力装备产业的燃气以及汽车、飞机等产业的设计和仿真软件等都依赖进口;另一方面,低端制造业正在被其他发展中国家取代,如工厂由中国向越南转移。在此背景下,预测制造业的专利价值是很有必要的。本文通过梳理文献,将专利价值影响因素概括为技术因素、法律因素、经济因素三方面,将专利价值评估方法分为绝对价值评估与相对价值评估两类,因为本文的评估对象是单项专利价值,所以本文选择用机器学习来预测专利的相对价值。首先,本文从专利交易网站的智能制造领域版块中收集了385条专利数据,对数据描述性统计分析后,本文使用交叉验证法选择机器学习中的分类模型,通过比较不同模型的交叉验证值,最终选择了决策树模型和随机森林模型,来预测单项专利的相对价值。模型建立后,本文使用PSI(population stability index)指标评价模型的稳定性,使用IV(Information Value)指标和模型自身分别计算自变量的预测能力,得出结果如下:专利的维持时间率、交易方式对专利相对价值的预测能力较强。基于结果,本文得到的研究结论有两点:(1)专利维持时间率是预测专利价值的重要因素,政府应改革专利维持年费制度来保护创新。(2)交易方式是预测专利价值的重要因素,政府应鼓励企业选择多元化的专利盈利模式,并灵活地进行组合。

关键词： Co基高温合金   Nb-Si基高温合金   动力学数据库   机器学习方法   相场法  

摘要： Ni基高温合金具有优异的组织稳定性、抗氧化性、抗热腐蚀性以及高温力学性能,使其在航空航天、船舶工业等领域应用广泛,但其性能已接近理论极限。为了满足高温合金在应用中不断提升的性能需求,新型Co基与Nb-Si基高温合金的研究已逐步成为该领域的热点。与Ni基高温合金相比,新型Co基与Nb-Si基高温合金在组织稳定性、力学性能以及抗氧化性能上依旧存在不足。基于材料计算方法的合金设计是实现新型Co基与Nb-Si基高温合金性能改进的重要手段,而反映原子扩散行为的扩散动力学数据库则是实现合金设计,研究合金相变机理及微观组织演化规律的重要数据基础。由于基础动力学数据的缺失,现有动力学数据库难以满足合金设计对精度的要求。综上,为了提高动力学数据库的精度,保证合金设计的有效性和可靠性,新型Co基与Nb-Si基高温合金扩散动力学数据库的建立与完善必不可少。 本研究的主要工作为新型Co基和Nb-Si基高温合金扩散动力学数据库的建立与应用,主要的内容及结论如下: (1)基于扩散理论及相关经验模型,结合文献报道的扩散数据及基本物理特性(包含原子特性、晶胞参数、熔点、弹性常数等)构建了自扩散及杂质扩散激活能的机器学习数据集。采用线性回归模型、基于树的模型等机器学习算法进行建模,通过数据预处理、变量及算法的优化后,筛选得到结构简单且预测性能优异的自扩散及杂质扩散激活能的机器学习预测模型,并分析了模型中不同物理特性对扩散激活能的影响程度。基于该预测模型计算的扩散系数与实验数据之间具有良好的一致性,预测模型的平均绝对值误差小于15 kJ/mol。同时,基于机器学习预测模型计算了元素在稳定与亚稳定固溶体相(BCC、FCC和HCP)中222组自扩散数据和16206组杂质扩散数据,而整个流程(包含数据集的创建、模型的构建及优化、计算结果的输出等步骤)耗时仅需要60天,远低于采用实验方法(约49000天)与第一性原理方法(约680天)所消耗时长。上述结果反映出机器学习方法在计算自扩散与杂质扩散系数时具有高精度、高效率的优势。 (2)基于采用经验模型与机器学习预测模型计算的自扩散与杂质扩散系数,结合文献报道的相关扩散数据,采用DICTRA软件对Co、Ni、Al、Cr、Ti等元素在液相与FCC相中的自扩散与杂质扩散迁移率参数进行了优化。采用分子动力学方法研究了 Co-Ti、Co-Ti-Al、Co-Ti-Cr、Co-Ti-Ni和 Ti-Al-Ni体系在 FCC 相与 L12相中原子的扩散行为,计算了随成分、温度变化的示踪扩散系数。基于上述计算结果,结合文献报道的扩散数据,优化了 Co-Ni-Al-Cr-Ti体系中各二元系、三元系的扩散相互作用参数。综合上述优化结果以及文献报道的动力学参数,建立了Co-Ni-Al-Cr-Ti体系液相、FCC相和L12相的多元扩散动力学数据库。通过对比文献中实验测定的扩散偶的距离-浓度曲线,验证了新型Co基高温合金动力学数据库的可靠性。 (3)基于采用经验模型与机器学习预测模型计算的自扩散与杂质扩散系数,结合文献报道的相关扩散数据,采用DICTRA软件对Nb、Si、Ti、Hf、V等元素在液相与BCC相中的自扩散与杂质扩散迁移率参数进行了优化。采用分子动力学方法和基于扩散偶的实验方法研究了 Nb-Si、Si-V、Hf-V、Nb-Si-Hf、Nb-Si-Ti、Nb-Si-V、Nb-Hf-Ti、Nb-Hf-V、Si-Hf-Ti、Si-Ti-V、Hf-Ti-V 和 Ti-Nb-V 体系在BCC相中原子的扩散行为,计算了随成分、温度变化的示踪扩散系数或互扩散系数。基于上述计算结果,结合文献报道的扩散数据,优化了 Nb-Si-Hf-Ti-V体系中各二元系、三元系的扩散相互作用参数。综合上述优化结果以及文献报道的动力学参数,建立了 Nb-Si-Hf-Ti-V体系液相和BCC相的多元扩散动力学数据库。通过对比文献中实验测定的扩散偶的距离-浓度曲线,验证了 Nb-Si基高温合金动力学数据库的可靠性。 (4)探索了动力学数据库在辅助开发新型Co基与Nb-Si基高温合金中的应用。基于本研究构建的新型Co基与Nb-Si基高温合金动力学数据库,结合相关热力学与物理性能参数,采用Scheil模型、热裂倾向预测模型等物理模型,研究了合金成分、冷却速率对 Co-Ti-X(X:Al,Cr,Ni)与 Nb-Si-X(X:Hf,Ti,V)合金在凝固过程中的裂纹形成倾向的影响。此外,采用多相场模型,对Co-Ti-Ni合金时效过程以及Nb-Si-Hf合金凝固过程中微观组织演化过程进行了数值模拟,研究了合金成分、工艺条件(如冷却速率、时效温度、时效时间等)对微观组织演化过程的影响。基于上述计算结果,为新型Co基及Nb-Si基高温合金的成分设计及工艺优化提供了理论指导,同时体现了扩

关键词： 个人消费信用贷款   个人征信   违约风险   机器学习   可解释性   CatBoost  

摘要： 随着互联网金融业务的高速发展,资金需求方可以在线上申请个人消费信用贷款,目前国内个人消费市场发展繁荣,参与者众多,在这种模式下,融资效率大大提高,显著推动国内消费市场的发展,促进经济的良好运行。虽然个人消费信用贷款为机构带来了一定的发展机遇,但是个人消费信用贷款的发展还存在一定的挑战。纵观个人消费信用贷款的发展,信用评估一直是放贷环节的重点,但是随着社会的发展,传统个人信用评估体系的僵化,已经不能满足当前信息爆炸的社会环境,而互联网企业对相关信用评估的优先布局,为征信行业带来充满活力的进步。与此同时,对于个人信用贷款违约的相关评估,也带来新的发展方向。随着人工智能的发展,越来越多的复杂任务可以通过机器学习的方式得出准确的预测。将信用评估和机器学习结合起来,可以把更全面的特征纳入到信用评估的过程,提高判断准确性。本文参考了国内外相关领域的文献,对个人消费信用贷款的发展、违约因素和违约判断模型进行梳理,接下来对个人消费信用贷款违约因素进行了详细列举,最后就是将可解释机器模型运用于实证研究当中,并对行业的相关方提供建议。实证研究所采用的数据是通过Python获取了A借贷平台三年中的个人消费信用借款的全息数据,通过对数据的分析,提出机器学习的可解释性在个人信用评估上的运用。将可解释性加入到机器学习模型,降低了对于大量数据的处理难度和非专业人员对模型理解的门槛,通过机器学习技术的卓越性能,在保证准确性的同时,尽可能多的展示出模型预测的可解释性,避免了传统黑盒模型的信任问题。

关键词： 数据中心   能耗模型   机器学习   集成学习  

摘要： 随着全球数据中心的大量部署和云计算服务需求增加,数据中心的高能耗问题日益严重,其不仅会导致数据中心的资源管理困难,而且还会对环境造成一系列影响。目前,能耗感知是一种有效的能耗管理控制技术,能耗模型作为感知技术的基础而受到广泛关注,其主要思想是通过采集影响数据中心服务器能耗的参数,建立这些参数与数据中心服务器能耗的关系以实现能耗估量。本文在大量调研相关文献的基础上,对数据中心能耗模型进行了深入研究,总结归纳如下: (1)提出了一种基于机器学习方法的服务器能耗模型。针对主流能耗模型未考虑数据中心服务器任务负载类型,导致能耗模型精度低等问题,本文提出的模型分别考虑了四种常用的服务器负载类型:CPU密集型负载、I/O密集型负载、Web密集型负载和混合负载,在真实服务器上进行实验收集能耗数据,对于每一种不同负载特征数据,采用“随机森林算法”进行能耗特征参数选择,然后使用“网格搜索法”优化支持向量机模型的超参数,对不同负载任务分别建立能耗模型。此外,本文还引入了误差置信区间描述服务器能耗的不确定性,最后通过实验得出了不同模型的精度,结果表明,与基准的能耗模型相比,本文提出能耗模型的估量精度平均提升了2.9%。 (2)针对单一机器学习模型易产生估量精度呈现边际效用下降等问题,本文提出了一种基于集成学习的能耗模型。本文在真实的云环境上进行了数据采集,对多种机器学习算法按照“训练集”和“测试集”上性能表现划分为“强回归模型”和“弱回归模型”,然后结合不同回归模型提出了4种不同的Stacking集成策略,经过实验得出了单种机器学习模型和不同集成模型的性能差异。此外,本文还讨论了不同集成策略相对于各种机器学习算法的性能提升幅度。实验结果表明,采用集成学习策略的能耗模型精度大多数场景都优于单一的机器学习模型,并且采用Stack＿2集成策略的能耗模型性能提升最大,在测试集上达到了35%。

关键词： 认知诊断   机器学习   分类准确性  

摘要： 认知诊断理论（cognitive diagnostic theory），在对个体能力水平进行评估的同时，还能了解学生对各个知识点的掌握情况。而传统的认知诊断模型进行参数估计的准确性往往依赖较大的样本量，这不符合现实中课堂教学模式下形成的小样本环境。因此，有研究者提出了机器学习方法进行认知诊断能够在小样本中提取关键信息，且对于各种不同的数据具有很好的稳健性，从而实现比较准确的分类。　　但是以往研究中缺少对于不同机器学习方法之间判准性的比较，且有一些机器学习方法并未涉及，例如朴素贝叶斯、决策树、回归树、随机森林等。其中决策树模型在较少数据的情况下比其他复杂的模型对于简单分类问题更具优势，且对于结果的解释不需要数学背景;随机森林算法对噪声具有很好的抵抗能力，能够适应多种数据类型;朴素贝叶斯分类模型简单且有效，在训练样本数量较少的同时，依旧能够较为准确的实现预测。因此本研究采用包括以往研究中出现的三种机器学习方法（K-邻近，神经网络，支持向量机），同时加入四种新的机器学方法（朴素贝叶斯、决策树、随机森林、回归树）共七种机器学习方法对小样本下认知诊断数据进行拟合，比较不同机器学习方法与传统模型对结果的预测情况。　　本文共三个研究，研究一和研究二是模拟研究，研究三是实证研究。研究一的目的是将K邻近、神经网络、支持向量机、朴素贝叶斯、决策树、回归树、随机森林共七种机器学习方法在模拟研究中对认知诊断被试的属性掌握模式进行判准率检验，探究不同机器学习方法对被试的属性掌握模式进行判准的可行性。研究二旨在将研究一中筛选出的机器学习模型在小样本下与传统的DINA模型进行比较，探究不同机器学习方法在小样本下的分类准确性。研究三则通过设计实验，将被试进行分组学习作答来体现现实认知诊断评估的真实过程，以验证多种机器学习方法在真实数据中进行认知诊断的预测能力。研究结果表明：　　（1）机器学习方法的分类准确性受到属性数量（即分类数量）的影响较大，除了回归树模型在分类数据中的表现较差，其他的模型均表现较好。　　（2）在小样本模拟数据中，决策树模型和随机森林算法分类准确性表现较好。其中随机森林算法在样本量为100时与DINA模型的判准率持平，样本量为150、200时均超过了DINA模型。　　（3）在实证研究中，机器学习方法的判准率结果均优于DINA模型，这有可能是因为机器学习方法的鲁棒性以及模拟研究过程中数据生成依靠的就是DINA模型。　　（4）在实际小样本认知诊断测量中建议使用决策树和随机森林算法，但是要求总的属性数量较少或者存在属性层级关系。

关键词： 心律失常分类   错误标注样本   粒子群   支持向量机  

摘要： 伴随人们生活压力和工作压力的增加,心脑血管疾病患病率逐年升高并呈现低龄化的特征。远程心电监护能够对人体心脏活动进行24小时不间断监测,实现对心电信号地自动分析,并对异常心电信号做到早发现以及向患者做出预警。然而在心电监护仪的使用过程中,也存在着一些问题:包括监护过程中电极脱落以及导联线与电极连接脱离,导致心电图呈片状或者是波形杂乱,无法识别到异常心电信号;电极位置放置不准确或者电极、电线等接触不良导致的基线漂移;心电信号采集过程中的噪声以及训练集中错误标注的样本导致识别准确性差。在这些问题中,训练集中错误标注的样本导致分类准确性差是制约远程心电监护使用的主要原因。所以实现对训练集中错误标注的样本识别、提高分类器的分类准确性对于远程心电监护具有重大的意义。基于以上原因,本文实现了一种识别心电信号训练集中错误标注样本的新方法。该方法在交叉验证的基础上,将迭代和集成学习结合起来,使用集成学习对训练集中的错误标注样本进行初步识别,然后通过迭代的方式对训练集中错误标注的样本进行进一步的识别。在提高识别准确率的同时,降低了误识率,最终提高分类器的分类性能。在心电信号自动分类方面,支持向量机对于小数据量的样本分类有较大优势,但是支持向量机的分类性能与其核函数的参数以及惩罚系数有很大关系,针对标准粒子群算法在寻找参数时容易陷入局部最优的缺点。本文通过对粒子群算法中的惯性权重值与搜索能力之间的关系进行研究,提出了正弦函数型惯性权重值,从而使粒子群算法在寻找参数时跳出局部最优。本文的主要工作如下:第一章介绍本文的研究背景和研究意义。回顾了心电信号异常检测的发展现状以及在心电信号分类领域目前还存在的问题。第二章首先简单描述了心电信号的产生原理、心电信号的波形特征和心律失常类型,然后分析了常见的四类心律失常类型的波形特点。最后对心电信号预处理,特征波形的检测以及特征提取等过程的详细说明。第三章讨论了在心电信号自动分类中训练集样本被错误标注的问题,针对该问题,本文对前人的工作做了深入的研究,并在前人提出的基于交叉验证的多种分类算法结合的基础上,提出了基于迭代和集成学习的方法。使用MIT-BIH心律失常数据库中的数据进行实验,经过人工修改标注的方式在训练集中添加噪声后。在不同的噪声率下,在经过迭代过程结合集成学习的方式去除噪声之后,分类器的分类准确率明显提高。第四章综合比较了几类分类算法,选取了支持向量机对正常心电信号和四种常见的心律失常心电信号进行分类。针对支持向量机中径向基核函数的核参数以及惩罚系数的最优选取问题。提出了改进的粒子群算法,在找到最优参数的同时,避免了粒子群算法陷入局部最优之中。通过对MIT-BIH心律失常数据库中的心电数据进行实验表明,本文改进粒子群算法能够以很高的准确率对心电信号进行分类,对心律失常分析有一定的现实意义,可用于心律失常辅助诊断。

关键词： Computational chemistry   Machine Learning   COVID-19   Intrinsically Disordered Proteins   Drug discovery  

摘要： Computational Chemistry offers accurate physics-based simulation methods to assist in drug discovery and protein modeling problems. The associated computational costs grow significantly with a number of atoms. Machine learning algorithms solve this problem by accelerating computations while preserving accuracy. Recently, a deep neural network has obtained nearly exact solutions of the electronic Schrödinger equation for small molecules. Another recent breakthrough is the prediction of three-dimensional structures of proteins by neural network-based methods, Alphafold and RoseTTafold. In my PhD, I worked on three different domains of computational chemistry where we integrated machine learning to improve as well as accelerate conventional techniques; 1) Designed an efficient workflow for drug discovery by integrating a hybrid neural-network (pseudo-quantum) and classical forcefields based molecular dynamics simulations against COVID-19 main protease (MPRO), 2) Developed a machine learning- enabled pipeline for large-scale virtual drug screening using clustering and deep learning in combination with physics-based approaches against RPN11 - a drug target for breast cancer, and 3) Implemented a generative deep network to guide conformational sampling of intrinsically disordered proteins; an efficient protocol to accelerate molecular dynamics simulations. Together, these PhD projects present a new perspective on how machine learning can be used in the rapid and accurate screening of new drugs and accelerating molecular dynamics simulations for mining proteins conformational landscape. With the advances in the machine learning field, this work will have many other possible applications to help accelerate molecular dynamics and drug-discovery platforms.

关键词： FRP筋混凝土   粘结强度   GA-BPNN   GEP   RF  

摘要： 近年来,FRP筋混凝土材料被广泛应用在海港码头、桥梁隧道等基础设施建设中,为在恶劣条件下解决钢筋锈蚀问题提供了有效方案。界面粘结性能作为FRP筋和混凝土之间协同工作的基础,是决定构件能否正常使用的重要因素。由纤维与树脂拉伸压制而成的FRP筋与混凝土界面性能受FRP筋种类、表面形式、直径、锚固长度、混凝土强度、保护层厚度等多种因素影响,而环境因素如干湿交替、酸碱氯盐、温度变化等也会导致界面粘结强度下降,要建立反映多种因素影响的界面粘结强度统一理论模型难度较大。为了得到计算精度更高,适用性更强的常温、高温下的粘结强度预测模型,以及不同环境因素影响下的粘结强度耐久性预测模型,本文开展机器学习算法及其应用研究,主要研究内容和结论如下:(1)对FRP筋混凝土的界面破坏机理进行梳理,基于文献中的实验数据分别讨论了常温、高温下FRP筋混凝土的界面粘结强度的影响因素,同时总结了影响FRP筋混凝土界面粘结强度耐久性的环境因素以及其影响机理。收集归纳了常温、高温两种情况下的界面粘结强度理论模型及规范相应规定,以及现有的FRP筋混凝土界面的粘结强度长期性能的预测模型。(2)采用遗传算法优化神经网络(GA-BPNN)建立常温下FRP筋混凝土粘结强度的预测模型。基于文献中292组实验数据,随机选取其中234组构建训练集,建立一个由三层神经网络构成的界面强度预测模型;将剩余58组实验数据作为测试集代入模型,以验证模型的预测能力。同时将GA-BPNN模型的预测结果与未进行优化的神经网络(ANN)模型的预测结果进行对比,发现遗传算法不仅加快了神经网络模型训练的收敛速度,也提升了其预测精度。将建立的GA-BPNN模型与现有的理论模型和规范方法进行对比,结果表明,GA-BPNN模型具有良好的预测精度和适用性。(3)采用基因表达式编程(GEP)算法建立高温下FRP筋混凝土粘结强度剩余率的预测模型。收集整理了文献中高温下FRP筋混凝土拉拔试件的实验数据85组,基于其中75组数据建立了界面强度的GEP模型,并生成显式公式,剩余的10组实验数据用于模型验证。比较GEP模型和现有理论公式对高温下粘结强度剩余率的预测能力,结果表明,GEP模型不仅具有良好的预测能力,能满足精度要求,同时涵盖更多的输入变量,具有更强的通用性。(4)基于随机森林(RF)算法,针对于FRP筋混凝土在海洋环境中常见的三种影响因素:氯盐溶液、碱溶液和水环境,建立该环境下长期使用的粘结强度剩余率预测模型。收集文献中FRP筋混凝土在不同温度下碱性、氯盐和水环境的加速实验数据,建立了一个含有210组实验数据的数据库,采用其中168组数据训练RF模型,并利用42组数据验证RF模型预测精度。进一步将预测值与实验值比较,以验证RF模型的预测能力。基于RF模型的预测数据,利用Litherland模型建立了海洋环境(氯盐、碱、水)下粘结强度的服役寿命预测模型,并与规范中给出的耐久性预测模型进行比较,评估RF模型在FRP筋混凝土粘结强度耐久性分析应用的可行性。