关键词： 心律失常分类   错误标注样本   粒子群   支持向量机  

摘要： 伴随人们生活压力和工作压力的增加,心脑血管疾病患病率逐年升高并呈现低龄化的特征。远程心电监护能够对人体心脏活动进行24小时不间断监测,实现对心电信号地自动分析,并对异常心电信号做到早发现以及向患者做出预警。然而在心电监护仪的使用过程中,也存在着一些问题:包括监护过程中电极脱落以及导联线与电极连接脱离,导致心电图呈片状或者是波形杂乱,无法识别到异常心电信号;电极位置放置不准确或者电极、电线等接触不良导致的基线漂移;心电信号采集过程中的噪声以及训练集中错误标注的样本导致识别准确性差。在这些问题中,训练集中错误标注的样本导致分类准确性差是制约远程心电监护使用的主要原因。所以实现对训练集中错误标注的样本识别、提高分类器的分类准确性对于远程心电监护具有重大的意义。基于以上原因,本文实现了一种识别心电信号训练集中错误标注样本的新方法。该方法在交叉验证的基础上,将迭代和集成学习结合起来,使用集成学习对训练集中的错误标注样本进行初步识别,然后通过迭代的方式对训练集中错误标注的样本进行进一步的识别。在提高识别准确率的同时,降低了误识率,最终提高分类器的分类性能。在心电信号自动分类方面,支持向量机对于小数据量的样本分类有较大优势,但是支持向量机的分类性能与其核函数的参数以及惩罚系数有很大关系,针对标准粒子群算法在寻找参数时容易陷入局部最优的缺点。本文通过对粒子群算法中的惯性权重值与搜索能力之间的关系进行研究,提出了正弦函数型惯性权重值,从而使粒子群算法在寻找参数时跳出局部最优。本文的主要工作如下:第一章介绍本文的研究背景和研究意义。回顾了心电信号异常检测的发展现状以及在心电信号分类领域目前还存在的问题。第二章首先简单描述了心电信号的产生原理、心电信号的波形特征和心律失常类型,然后分析了常见的四类心律失常类型的波形特点。最后对心电信号预处理,特征波形的检测以及特征提取等过程的详细说明。第三章讨论了在心电信号自动分类中训练集样本被错误标注的问题,针对该问题,本文对前人的工作做了深入的研究,并在前人提出的基于交叉验证的多种分类算法结合的基础上,提出了基于迭代和集成学习的方法。使用MIT-BIH心律失常数据库中的数据进行实验,经过人工修改标注的方式在训练集中添加噪声后。在不同的噪声率下,在经过迭代过程结合集成学习的方式去除噪声之后,分类器的分类准确率明显提高。第四章综合比较了几类分类算法,选取了支持向量机对正常心电信号和四种常见的心律失常心电信号进行分类。针对支持向量机中径向基核函数的核参数以及惩罚系数的最优选取问题。提出了改进的粒子群算法,在找到最优参数的同时,避免了粒子群算法陷入局部最优之中。通过对MIT-BIH心律失常数据库中的心电数据进行实验表明,本文改进粒子群算法能够以很高的准确率对心电信号进行分类,对心律失常分析有一定的现实意义,可用于心律失常辅助诊断。

关键词： Computational chemistry   Machine Learning   COVID-19   Intrinsically Disordered Proteins   Drug discovery  

摘要： Computational Chemistry offers accurate physics-based simulation methods to assist in drug discovery and protein modeling problems. The associated computational costs grow significantly with a number of atoms. Machine learning algorithms solve this problem by accelerating computations while preserving accuracy. Recently, a deep neural network has obtained nearly exact solutions of the electronic Schrödinger equation for small molecules. Another recent breakthrough is the prediction of three-dimensional structures of proteins by neural network-based methods, Alphafold and RoseTTafold. In my PhD, I worked on three different domains of computational chemistry where we integrated machine learning to improve as well as accelerate conventional techniques; 1) Designed an efficient workflow for drug discovery by integrating a hybrid neural-network (pseudo-quantum) and classical forcefields based molecular dynamics simulations against COVID-19 main protease (MPRO), 2) Developed a machine learning- enabled pipeline for large-scale virtual drug screening using clustering and deep learning in combination with physics-based approaches against RPN11 - a drug target for breast cancer, and 3) Implemented a generative deep network to guide conformational sampling of intrinsically disordered proteins; an efficient protocol to accelerate molecular dynamics simulations. Together, these PhD projects present a new perspective on how machine learning can be used in the rapid and accurate screening of new drugs and accelerating molecular dynamics simulations for mining proteins conformational landscape. With the advances in the machine learning field, this work will have many other possible applications to help accelerate molecular dynamics and drug-discovery platforms.

关键词： FRP筋混凝土   粘结强度   GA-BPNN   GEP   RF  

摘要： 近年来,FRP筋混凝土材料被广泛应用在海港码头、桥梁隧道等基础设施建设中,为在恶劣条件下解决钢筋锈蚀问题提供了有效方案。界面粘结性能作为FRP筋和混凝土之间协同工作的基础,是决定构件能否正常使用的重要因素。由纤维与树脂拉伸压制而成的FRP筋与混凝土界面性能受FRP筋种类、表面形式、直径、锚固长度、混凝土强度、保护层厚度等多种因素影响,而环境因素如干湿交替、酸碱氯盐、温度变化等也会导致界面粘结强度下降,要建立反映多种因素影响的界面粘结强度统一理论模型难度较大。为了得到计算精度更高,适用性更强的常温、高温下的粘结强度预测模型,以及不同环境因素影响下的粘结强度耐久性预测模型,本文开展机器学习算法及其应用研究,主要研究内容和结论如下:(1)对FRP筋混凝土的界面破坏机理进行梳理,基于文献中的实验数据分别讨论了常温、高温下FRP筋混凝土的界面粘结强度的影响因素,同时总结了影响FRP筋混凝土界面粘结强度耐久性的环境因素以及其影响机理。收集归纳了常温、高温两种情况下的界面粘结强度理论模型及规范相应规定,以及现有的FRP筋混凝土界面的粘结强度长期性能的预测模型。(2)采用遗传算法优化神经网络(GA-BPNN)建立常温下FRP筋混凝土粘结强度的预测模型。基于文献中292组实验数据,随机选取其中234组构建训练集,建立一个由三层神经网络构成的界面强度预测模型;将剩余58组实验数据作为测试集代入模型,以验证模型的预测能力。同时将GA-BPNN模型的预测结果与未进行优化的神经网络(ANN)模型的预测结果进行对比,发现遗传算法不仅加快了神经网络模型训练的收敛速度,也提升了其预测精度。将建立的GA-BPNN模型与现有的理论模型和规范方法进行对比,结果表明,GA-BPNN模型具有良好的预测精度和适用性。(3)采用基因表达式编程(GEP)算法建立高温下FRP筋混凝土粘结强度剩余率的预测模型。收集整理了文献中高温下FRP筋混凝土拉拔试件的实验数据85组,基于其中75组数据建立了界面强度的GEP模型,并生成显式公式,剩余的10组实验数据用于模型验证。比较GEP模型和现有理论公式对高温下粘结强度剩余率的预测能力,结果表明,GEP模型不仅具有良好的预测能力,能满足精度要求,同时涵盖更多的输入变量,具有更强的通用性。(4)基于随机森林(RF)算法,针对于FRP筋混凝土在海洋环境中常见的三种影响因素:氯盐溶液、碱溶液和水环境,建立该环境下长期使用的粘结强度剩余率预测模型。收集文献中FRP筋混凝土在不同温度下碱性、氯盐和水环境的加速实验数据,建立了一个含有210组实验数据的数据库,采用其中168组数据训练RF模型,并利用42组数据验证RF模型预测精度。进一步将预测值与实验值比较,以验证RF模型的预测能力。基于RF模型的预测数据,利用Litherland模型建立了海洋环境(氯盐、碱、水)下粘结强度的服役寿命预测模型,并与规范中给出的耐久性预测模型进行比较,评估RF模型在FRP筋混凝土粘结强度耐久性分析应用的可行性。

关键词： 信用风险   中小企业   机器学习  

摘要： 中小企业作为我国国民经济发展的重要力量,不仅缓解了城镇就业压力、拉动了周边经济增长,同时也是科技创新的主力军。然而中小企业因自身规模小、融资渠道单一、变现能力弱等原因,即使受到多条政策的扶持,依然面临较大的融资缺口。融资难问题出现的主要原因是由于信息不对称导致难以准确评估信用风险的大小,又加之传统信用风险度量方法的效率低成本高、受评估人员专业水平影响大,为尽量减少可能发生的损失,金融机构在向中小企业发放信贷时愈发谨慎,致使中小企业发展受限。因此,为有效缓解中小企业的融资问题,本文针对中小企业特点构建基于机器学习的信用风险模型,实现对信用风险更高效可靠的自动化评估。本文从研究背景与意义出发,对现有的文献进行梳理后,首先对中小企业和信用风险做出了概念上的界定,接着进一步分析了中小企业信用风险的现状、成因及特征,并同大型企业的信用风险情况进行比较。其次,在介绍并对比了传统与现代信用风险度量方法的优劣势后,引入了灵活性更强、自动化程度更高的机器学习算法,作为本文信用风险模型构建的理论基础。最终选择了逻辑回归、决策树两种单一学习器算法和XGBoost、随机森林两种集成学习算法来拟合本文的模型;基于以往的研究结论和常用做法,选取了2010年至2020年中小企业板上市公司的100条ST或*ST数据作为高信用风险组样本,同时在平衡了年份、所处行业和总资产规模后按1:1的比例选取了100条非ST数据作为低信用风险组样本,并在训练时按照1:3的比例随机对总样本进行训练组和测试组的划分;依据AIC最小原则从46个公司财务指标中选取13个作为基础模型训练阶段的特征向量,在此基础上增加5个非财务指标作为综合模型训练阶段的特征向量,并将AUC值和AP值作为评估指标,进行模型性能的横向和纵向对比。再有,将智博传媒公司作为案例,以其近三年的真实经营数据应用到本文的信用风险模型当中,同时按照传统专家制度法对其进行信用风险分析,对比两者在结论上的一致性和方法上的优劣性。最后,本文根据研究结果就信用风险的度量和控制问题,分别向中小企业和金融机构提出建议。经过本文研究发现,集成学习器比单一学习器在AUC值和AP值上分别最高提升了14.90%和10.90%,说明了集成多个单一学习器进行评估的效果更佳;综合阶段的模型比基础阶段模型在AUC值和AP值上分别最高提升了6.90%和8.10%,结果表明在模型中引入非财务数据可以有效提升其性能。最终,四种算法在测试集上都有较好的评估效果,其中综合阶段的集成学习模型性能更强,XGBoost模型的AUC值和AP值分别可以达到0.925和0.796,随机森林模型的AUC值和AP值分别可以达到0.928和0.814。此外,为验证本文模型对非上市企业的适用性,将其应用在了智博传媒公司的具体案例中,综合模型结果得出了其近三年低信用风险的结论,这与传统信用风险方法分析的结果一致,进一步证明了本文所构建的中小企业信用风险模型是切实可行的,且具有现实使用意义。同时,基于机器学习的信用风险模型法比传统风险度量法在使用时,具有效率更高、自动化程度更高的特点,通过与企业内部系统对接等方式,可以通过内部数据快速掌握企业的信用风险,但当情况较为复杂模型法难以给出确切的结论时,辅以传统风险度量法加以分析,将会使得评估结果更加真实可靠,也可实现两种方法的优势互补。

关键词： 高血压   单核苷酸多态性   缺失的遗传力   机器学习   卷积神经网络   循环神经网络  

摘要： 血压升高是造成全球疾病负担和全球死亡率的最大单一风险因素。高血压作为一种遗传性疾病,从基因层面探究其致病机理,对于减少高血压发病率,减轻家庭及社会负担都极具意义。全基因组关联分析(Genome-wide Association Study,GWAS)在复杂性状遗传学、疾病的生物机理研究领域都取得了重大发现。截止到2022年1月,所有已知的GWAS变体加在一起仅解释了血压(Blood Pressure,BP)变化的6%,占血压遗传力40%的一小部分,这便是所谓的“缺失的遗传力”问题。目前,即使尚没有统计能力来确定所有的因果变异,我们仍希望能够使用已知的遗传变异,通过建立预测模型,来解释尽可能多的遗传力。机器学习方法的“数据驱动”的特点非常适合此类任务。已有研究表明,区域内多个单核苷酸多态性(Single Nucleotide Polymorphisms,SNPs)比区域中统计最显著的单个SNP能够解释更多的遗传力。本论文使用GWAS发现的与血压相关的SNPs及其区域内SNPs,以机器学习方法为基础,尝试对高血压疾病风险进行预测,具体包括对高血压患病状态的预测以及对收缩压(Systolic Blood Pressure,SBP)、舒张压(Diastolic Blood Pressure,DBP)血压值预测。基于前馈神经网络(Feedforward Neural Network,FNN)、一维卷积神经网络(One Dimension Convolutional Neural Network,1DCNN)、长短记忆神经网络(Long Short-Term Memory,LSTM),我们分别构建了GWAS-FNN、R-1DCNN(Regional-1DCNN)、R-LSTM(Regional-LSTM)高血压风险预测模型。论文使用的数据来自UK Biobank,其中用于高血压患病状态预测的数据样本量是137,891,用于血压值预测的数据样本量是264,532。预测变量分为三大类:(1)年龄、性别、身高体重指数(Body Mass Index,BMI)三个血压的常见风险因素;(2)65个GWAS研究发现的与血压相关的SNPs;(3)这65个与血压相关区域中的2612个SNPs。论文主要的工作和结果如下:在使用预测变量(1)和单隐含层20节点的前馈神经网络的高血压风险预测模型GWAS-FNN中,在高血压风险预测方面获得了78.42%的准确率,SBP与DBP血压值预测方面,分别解释了16.42%与13.08%的血压方差。在此基础上,加入预测变量(2),准确率提升了0.92%,解释的血压方差分别增加了0.72%、0.63%,我们以此作为使用区域SNPs的高血压和血压值预测的比较基准。在使用预测变量(1)、(3)和区域一维卷积神经网络的高血压风险预测模型R-1DCNN中,在高血压风险预测方面获得了79.44%的准确率,比使用预测变量(1)和(2)的GWAS-FNN模型,准确率提升了0.10%;SBP与DBP血压值预测方面,分别解释了17.23%与14.01%的方差变化,解释的血压方差分别增加了0.09%、0.30%。这说明结合GWAS区域SNPs确实能在一定程度上解释更多的遗传力。在使用预测变量(1)、(3)和区域长短记忆人工神经网络的高血压风险预测模型R-LSTM中,我们使用LSTM层代替R-1DCNN模型中的一维卷积层,进一步解释了更多的遗传力。与GWAS-FNN模型相比较,在高血压风险预测方面获得了79.62%的准确率,准确率提升了0.28%;SBP与DBP血压值预测方面,分别解释了17.40%与14.12%的方差变化,解释的血压方差分别增加了0.26%、0.41%。本论文工作表明,R-1DCNN和R-LSTM机器学习方法结合区域SNP数据均能在一定程度上解释更多的遗传力,这为“缺失的遗传力”研究提示了一个新的方向。不过,由于区域SNP数据所带来的预测结果提升幅度较小,区域中GWAS发现的统计最显著的SNPs基本上能很好的代替整个区域。论文的不足之处包括模型训练中的随机因素可能对比较结果的微小差异带来影响;模型训练计算复杂度高、较为费时。

关键词： Automated text analysis   Machine learning   Natural language processing   Online reviews   Sentiment analysis   User generated content   Prediction and diagnostics  

摘要： The amount of digital text-based consumer review data has increased dramatically and there exist many machine learning approaches for automated text-based sentiment analysis. Marketing researchers have employed various methods for analyzing text reviews but lack a comprehensive comparison of their performance to guide method selection in future applications. We focus on the fundamental relationship between a consumer’s overall empirical evaluation, and the text-based explanation of their evaluation. We study the empirical tradeoff between predictive and diagnostic abilities, in applying various methods to estimate this fundamental relationship. We incorporate methods previously employed in the marketing literature, and methods that are so far less common in the marketing literature. For generalizability, we analyze 25,241 products in nine product categories, and 260,489 reviews across five review platforms. We find that neural network-based machine learning methods, in particular pre-trained versions, offer the most accurate predictions, while topic models such as Latent Dirichlet Allocation offer deeper diagnostics. However, neural network models are not suited for diagnostic purposes and topic models are ill equipped for making predictions. Consequently, future selection of methods to process text reviews is likely to be based on analysts’ goals of prediction versus diagnostics.

关键词： e-考据   作者考证   《甲寅》月刊   吴贯因  

摘要： 民国时期,笔名的使用相当广泛,很多笔名的真实身份,我们至今仍无从得知。数字人文在史学研究中的应用是学界正在探索的方法论问题,因此,从史料发掘整理、丰富历史细节研究的角度看,如何在大数据时代考证出民国时期笔名的真实身份具有重要研究意义。本研究以考证《甲寅》杂志上署名为“无涯”的真实身份为例,尝试对考证民国时期用笔名刊发文章的真实作者身份这一问题,提出一种基本解决方案。我们认为,在史料有限的情况下,关于近代报刊杂志上大量使用笔名刊发的文章,对它们作者真实身份的考证,用传统的历史考据方法显得相当乏力,e-考据时代,引入机器学习的手段,从分析文本特征的角度帮助我们判断笔名的真实作者身份,可能是一条可行的新路径。在本研究中,我们尝试把历史实证研究与机器学习相结合,在对这一思路进行实验验证的基础上,我们通过考察《甲寅》杂志的作者群体和主要撰稿人的政治思想观念及个人经历,再结合对“无涯”史料内容的解读,大致确定了“无涯”可能是章士钊、张东荪、易白沙、吴贯因四人中的其中一人,在机器学习技术的帮助下,最终确定了“无涯”的真实身份可能是吴贯因。传统的史学考证侧重于定性研究,更依赖于经验性判断,机器学习则侧重于定量研究,从计算语言学的角度为我们量化考证笔名的真实身份提供一种新的思路。本文的创新点就在于采用跨学科的方法,借鉴其他学科成熟的理论方法和工具,为考证民国时期其他笔名作者的真实身份,提供了一种新的可供参考的思路,从实践层面对e-考据理论和方法的完善也有一定促进作用。此外,通过考证出“无涯”的真实身份,可以补充对《甲寅》杂志的研究,对研究梁启超、吴贯因等民初进步党的政治思想主张也有一定史学意义。

关键词： 用户消费行为画像   GBDT算法模型   Xgboost算法模型   RandomForest算法模型   电商APP用户  

摘要： 从20世纪60年代左右开始,随着全世界计算机、互联网,以及近年来大数据技术等的飞速发展。各类应用软件、手机APP从不同方向、多维度不断改变着我们的日常生活。同时各类应用软件、网站、APP等也不断记录着我们的信息,这些信息也呈多维度、超体量、多深度的爆炸式增长。多维度、超体量、多深度的数据开启了我们新时代的转型,各个领域的企业家们逐渐意识到数据的深层次价值,数据、软件研发工作者们也开始深入研究如何利用海量数据,提取对企业更有实用价值的深层次衍生数据。各类手机电子商务APP的猜你喜欢的商品、抖音APP的个性推荐等数据化产品应运而生,这些数据模型就是利用用户的日常消费行为,购买偏好习惯等数据,通过一系数据分析方法,不断迭代数据模型,从而构建出用户画像,然后为企业精细化运营提供强有力的数智化、自动化工具支撑。对于各大电商平台,以及应用软件APP商家来说抓住数据先机,就会抓住了新时代的商机。然而过去传统的数据收集工具、构建工具,分析目标用户群体特征的方法等,数据分析结果偏差大,计算分析速度不高等问题亟待解决。近年来海内外的学者们针对这些问题进行了深入的研究与创新,迭代出各种基于多种算法模型研究用户精准画像的方法。本文的样本数据来源于某电商APP的真实脱敏用户数据,研究用户画像的基本概念、模型构建方法、最优算法组合模型等。先从单一实验模型开始,比较了GBDT算法模型、Xgboost算法模型、Random Forest算法模型,然后把这三种模型结合,构成组合模型,通过实验得出最理想的的组合算法模型,进而用于预测未来电商平台的客户购买意愿。依此为电商APP平台提供定制化的用户消费目标群体画像。通过实验得出GBDT算法模型-Xgboost算法模型-RandomForest算法模型组合可达到最好的用户画像构建、用户购买意向预测效果。借助此混合模型可应用于电商APP平台实现线上精准营销等。