关键词： 慢阻肺   再入院   命名实体识别   机器学习算法   风险分类  

摘要： 慢性阻塞性肺部疾病是一种常见的慢性疾病,发病率较高,严重损害国民健康,疾病负担重,成为影响我国经济社会发展的重大公共卫生问题之一。由于医疗质量、健康结果和财政问题,复发性、计划外再入院的问题,即一些病人出院后30天内返回医院,并且是因为相同或相关的情况再次入院,已成为全世界的一项挑战。预测频繁的、可预防的再入院和了解造成这种情况的因素是一个正在得到广泛研究的关键问题。慢阻肺患者再入院预测风险和风险分类有助于给医疗机构提供一些可靠的数据支持,便于辅助医疗机构更加合理、均衡地配置医疗资源,提高住院服务的利用率。患者也能够通过疾病预警和风险分层工作,及早预防,有效干预,能够有效提高人们的健康水平,同时减轻经济负担。为了应对日益增长的需求,本研究提供了一个框架,结合医疗领域的结构化和非结构化数据,开发慢阻肺患者再入院预测模型并进行患者特异性风险分类。具体工作如下。首先为了处理非结构化的文本数据,对电子病历的命名实体识别。定义实体类型,完成数据标注,然后构建了基于Bi LSTM-CRF命名实体识别模型,将文本的电子病历中的有效信息抽取出来。为了对比验证模型的效果,将Bi LSTM-CRF的识别结果与CRF对比。其次是慢阻肺患者再入院预测。将结构化的特征和病例文本中获取的特征合并和预处理后,使用逻辑回归、支持向量机、随机森林、XGBoost和BP神经网络构建预测模型并对比评估,发现XGBoost是各项指标表现最佳的模型。对XGBoost的预测因子进行分析,发现再入院风险最重要的5个预测因素是:住院时长、查尔森合并症指数、病程、白细胞、嗜酸性粒细胞。最后是慢阻肺患者再入院的风险分类。根据选择的XGBoost模型的预测概率,采用k-means聚类方法将患者分为五个不同的风险组,沿可信度由低到高的方向,逐渐从训练集中丢弃一组或者两组用于人工评估结果的数据,其余的样本则通过XGBoost模型预测,结果导致预测模型的性能逐渐增加。同时与等距分层方法相比,k-means能减少更多的的人工评估工作量。这一风险分层方法提供了医疗决策这辅助决策工具。

关键词： 受试者招募   影响因素   逻辑回归   深度神经网络模型  

摘要： 近20年来药物临床试验进入飞速发展阶段,在国民经济、生活环境发生巨大变化的社会背景下,患者对新药的需求也在日益增长。国内外的药企,特别是中国药企,无论是主动选择或者是受市场环境影响,都殊途同归的进入了创新药物研发领域。药物研发是一条漫长而艰辛的道路,只有进入到药物临床试验阶段的产品,才有望上市。一个药物的好坏是需要通过验证的,从新药临床试验申请到审批,这些年官方机构一直致力于深度改革优化,在保证审评审批质量的前提下,缩短新药上市的时间。但如何快速招募到符合条件的受试者、哪些因素会影响不同特征的患者参与临床试验的意愿,一直都是行业人员思考的问题。为了了解影响患者参加临床药物试验意愿的可能因素并探寻分析这些因素的影响程度,本文借鉴了已有文献的分析思路,采用机器学习模型的量化分析方法,对问题分别进行定性与定量的分析,尝试探索或验证影响患者参加临床试验的重要影响因素。 本文的创新性尝试: 1、分析方式的创新。以往对受试者招募工作都是靠研究者或者行业人员积累的主观经验来开展,没有通过量化数字进行分析,本次采用机器学习的量化分析方法来探索非肿瘤人群参加临床试验的影响因素,试图帮助提高受试者招募速率。 2、数据分析模型上的创新。本次研究将是否愿意参加药物临床试验(是/否)当作目标变量,将其他可能的影响因素作为自变量,综合使用了参数的机器学习模型和非参数的机器学习模型来进行分析。具体来说,论文先采用多元线性回归进行初步探索,发现拟合效果欠佳但是因变量y与自变量x之间相关性较强。这也启发采用拟合能力更强的logistic回归,通过logistic回归获得的可解释模型将给出不同因素对于患者意愿的影响方式,从而指导从业人员在之后的工作中更好地完成临床试验患者的招募。而通过深度神经网络获得的模型,由于其准确度高的特点,可以作为之后对于患者参与意愿的一个预测模型,来帮助试验工作人员进行分析。 总的来讲,本文利用逻辑回归探索出对患者最终意愿影响比较大的一些因素,再通过深度神经网络模型验证。本次研究发现了一些影响患者参与药物临床试验意愿的因素,对于真正临床上寻找志愿者的过程有一定的指导作用。创新性地使用神经网络预测器也能够为从业人员提供一些参考。在未来,如果能更好地结合实际的结果与数据分析的方法,提出更好、更加适用的数据分析模型,并收集更多的临床数据,也许能够在相关问题上取得进一步的突破。

关键词： 机器学习   可解释性方法   桩基可打入性   案例推荐   符号回归   小样本学习  

摘要： 随着我国海上资源的逐步开发,海上油气田的建设规模越来越大,对桩基础的要求也越来越高,超大直径、超长的桩基础被设计、安装以适应逐步增加的承载力需求,桩的可打入分析至关重要。然而,由于桩的内在复杂性以及各种设计变量,与桩的驱动性能相关的内应力状态仍不清楚。打桩数据(如土层数据、桩基设计数据、打桩记录、CPT数据、桩锤信息等)包含打桩机制的知识,传统的反分析是提取这种知识的一种方法。机器学习(ML)为解决上述问题提供了另一种可能性。机器学习通过应用计算机算法自动发现输入数据和输出数据之间的规律性,并使用这些规律进行分类、聚类或回归等实现预测。目前机器学习在打桩中的应用研究主要集中在桩基整体的预测,即一根桩对应一个或几个预测目标,对应打桩过程的预测还比较少。对海油平台超大超长钢管桩(桩长100m左右)采用机器学习分析桩基可打入性的研究还没有。此外,目前采用的机器学习算法缺乏必要的可解释性。因此,本文基于海油平台桩基数据库,考虑岩土工程实际应用,结合适当的机器学习算法建立机器学习模型,并对相应的模型进行解释。基于海油平台桩基数据库,本文主要进行了三部分的研究工作:(1)采用集成学习方法对海油平台超大超长钢管桩的打桩过程中的锤击数进行预测。并采用可解释的机器学习方法解释得到的集成学习模型。(2)采用符号回归技术,自动推导桩基锤击数和累积能量的数学表达式。(3)基于案例推理系统,开发打桩案例推荐算法。研究主要结论如下:(1)机器学习是一种有效并精确的工具,能有效地利用已有桩基数据库,为研究、设计和建造提供支持。集成学习能准确地预测桩基锤击数。(2)符号回归能有效地从桩基数据库中自动推导经验方程。本文采用符号回归方法建立了桩基锤击数和桩基累积能量的预测经验方程,能准确地预测锤击数和桩基初始打入阶段的锤击能量(3)本文基于桩基数据库开发的案例推荐系统在桩基打入的不同阶段,即打桩前和打桩后给出准确的案例推荐,帮助研究人员和工程师进一步优化桩基设计和建造。

关键词： KNN回归   随机森林回归   LightGBM回归   BP神经网络  

摘要： 近些年来,我国互联网技术飞速地发展。电子商务平台借助于这一股东风也迅速成长,逐渐成为拉动我国的消费水平,帮助传统企业进行改革与升级,实现脱胎换骨,发展现代化服务行业的一个重要核心组成部分。所有人生活最简单的方式都发生了翻天覆地的变化。本文采用和鲸社区大数据竞赛平台所提供的亚马逊平台电子产品销售数据,这是已经经过脱敏处理的真实交易数据,对消费者的行为进行统计分析,对交易价格进行挖掘预测,预测未售出产品的交易价格帮助商家进行产品定价。对消费者的行为统计从两大角度来分析,一是产品销售情况,二是消费者行为。产品销售情况从时间与空间多角度展开分析,时间角度研究销售指标月度的变化情况,产品下单的星期与小时分布,空间角度研究省与省的销售指标差别。消费者行为首先构建用户画像,从性别,年龄段将用户进行分层,定义新用户,活跃用户,不活跃用户,回流用户等特征。交易价格的模型建立与评估需要经历几大步骤:第一步是处理缺失值与异常值,因为数据量的充足,转而删除缺失值并在异常值处理中进行去重处理。第二步是特征工程,原数据中已有指标选取产品信息例如产品类别,品牌,下单时间等,同时加以用户画像信息数据,例如省份、年龄等。不过这里将年龄特征处理为年龄段,省份处理为表示电商发达程度的类别数据。在这里特征指标的基础上,构建创造新的特征,例如活跃周期,品牌市场占有情况等新的特征。第三步是模型尝试与选用,尝试了广义线性加模型,KNN回归,随机森林回归,LightGBM回归以及BP神经网络,选取R平方值,RMSE与MAPE为选择依据,并进行网格调参。几经波折,LightGBM回归的精确度明显优于其他相关算法,预测准确度92%。第四步进行特征重要性度量,了解影响价格的重要特征。

关键词： 移动支付   欺诈识别   机器学习   逻辑回归   神经网络   XGBoost  

摘要： 互联网、大数据等新兴技术已经在中国的大地上蓬勃发展了很多年,拥有快捷、便利等优势的电子商务系统雨后春笋般涌现,移动支付已然成为人们茶余饭后的谈资,网购、线上交易对现代人来说已经不可或缺。显而易见,便捷的确是互联网金融带来的优点,但同时而来的欺诈问题也需要引起高度警惕。《中国互联网络发展状况统计报告》揭示出的数据真是触目惊心!2020年,超过20%的互联网用户的信息被走漏,多达10%的网民碰到木马病毒的攻击,账号、密码被窃取的用户占比将近8%,逾15%的用户已经成为网络电信诈骗的目标。为了躲避网络安全部门的监控,不法分子一般会利用多类软、硬件进行作弊,捏造子虚乌有的身份信息进而欺诈攫取利润,目前已经构成一条完整的欺诈犯罪产业链。这条产业链行动迅速、协同多边,对互联网金融业务的浸透简直无孔不入,每年涉及的犯罪金额数超过千亿元。 鉴于应用场景众多,移动支付是互联网金融举足轻重的组成部分,如影随形的是与此有关的安全问题。相关黑产从业者无所不用其极,利用采取包括伪造Wi-Fi、散布木马病毒以及山寨手机软件等在内的一系列恶劣行径,非法获取了用户的姓名、身份证号、手机号、住址等隐私,进而实施欺诈变现,令人防不胜防。可想而知这威胁的主体不仅是千千万万的个人用户,更挑战了整个互联网金融、电商体系的安全性,对整个经济社会产生不利后果。互联网金融业务在持续发展壮大,更理当重视与之有关的风险,提前防范。因此目前最紧要的是运用先进的大数据处理技术,构建细致、高效、广泛的智控模型,结合定性、定量分析方法精确甄别欺诈风险,获得事半功倍的效果。 本文首先整理参考了目前现有的国内外关于识别移动支付欺诈风险的方法以及机器学习方面的文献,经过深入细致的研究发现:移动互联网、大数据等信息科学技术与日俱进,移动支付技术日新月异,趋近完善、成熟。目前,拥有着管理方便,隐私性强,空间、时间限制性小,综合性强这四大特点的移动支付,已经深入到了人们生活中的各个角落,并在世界各地疾速扩张。然而利用移动支付的优势进行网上洗钱的欺诈风险接踵而至。为了避免移动支付欺诈而带来的各种社会经济问题,就必须对移动支付确定监督对象、确立监督体系、改进移动支付运行环境、监管往来资金、防止洗钱行为、减少信用风险、强化资金监管等。国内外学者对移动支付及其欺诈风险识别等相关方面做了大量研究。现有研究包含了定性分析法、定量评估法。定性分析法包括专家调查、流程图等;定量评估法包括决策树、支持向量机、贝叶斯网络分类器等,拓展了人们对移动支付欺诈风险甄别的认知。 然后本文借助于Kaggle网站(网址:https://***/)的《Synthetic Financial Datasets For Fraud Detection》中所提供的样本进行建模。被称为Pay Sim的模拟器合成了本次的数据集,模拟器使用来自真实数据集的数据生成类似于正常交易操作的合成模拟数据集,并注入欺诈行为,有助于研究者建立反欺诈模型并评估其性能。Pay Sim从来自非洲国家的移动支付服务中提取到一个月交易流水日志,参考以上日志模拟出新的移动支付交易。原始日志由一家跨国公司提供,该公司是移动支付金融服务的供应商,目前在全球14个国家(地区)运营。 最后的实证研究阶段,本文建立了行业众所周知的逻辑回归模型,同时以此为准绳,实践了神经网络、XGBoost两个模型的构建,过程中具体介绍了上述三类模型以及相关联的其他算法模型,探索并调节模型的参数以取得最优学习效果。实践中发现:使用原始数据代入模型取得的结果一般,于是依流平进,着眼原始数据特征效果的局限性,采用“多项式扩展、交互项扩展”、“高斯核函数”两种措施对原始数据进行特征工程改进。实验对比了无特征工程和进行了“多项式扩展、交互项扩展”以及“高斯核函数”特征工程后,逻辑回归、神经网络和XGBoost分别在精确率、召回率、误杀率、AUPRC等指标上的性能。末了得出结论:本次研究实践效果一枝独秀的是XGBoost算法,性能上相较其他二者无出其右,可用于移动支付欺诈检测的日常践行。结尾审视了本次研究中的诸多不足之处,并对移动支付反欺诈的前景满怀憧憬。

关键词： Bayesian nonparametrics   Bradycardia   Diabetes   Machine learning   Predictive modeling   Recurrent neural networks  

摘要： The advancement and marked increase in the use of computing devices in health care for large scale and personal medical use has transformed the field of medicine and health care into a data rich domain. This surge in the availability of data has allowed domain experts to investigate, study and discover inherent patterns in diseases from new perspectives and in turn, further the field of medicine. Storage and analysis of this data in real time aids in enhancing the response time and efficiency of doctors and health care specialists. However, due to the time critical nature of most life- threatening diseases, there is a growing need to make informed decisions prior to the occurrence of any fatal outcome. Alongside time sensitivity, analyzing data specific to diseases and their effects on an individual basis leads to more efficient prognosis and rapid deployment of cures. The primary challenge in addressing both of these issues arises from the time varying and time sensitive nature of the data being studied and in the ability to successfully predict anomalous events using only observed data. This dissertation introduces adaptive machine learning algorithms that aid in the prediction of anomalous situations arising due to abnormalities present in patients diagnosed with certain types of diseases. Emphasis is given to the adaptation and development of algorithms based on an individual basis to further the accuracy of all predictions made. The main objectives are to learn the underlying representation of the data using empirical methods and enhance it using domain knowledge. The learned model is then utilized as a guide for statistical machine learning methods to predict the occurrence of anomalous events in the near future. Further enhancement of the learned model is achieved by means of tuning the objective function of the algorithm to incorporate domain knowledge. Along with anomaly forecasting using multi-modal data, this dissertation also investigates the use of univ

关键词： 股票指数   投资者情绪   方向预测   模拟交易   特征重要度  

摘要： 大量研究表明基于有效市场假说的传统金融理论并不能很好地解释股价暴涨暴跌等诸多市场异象,而行为金融理论的提出和发展为这一课题的深入研究提供了一个合理的和可行的方向。在行为金融理论的框架下,非理性的投资者情绪成为影响市场价格波动的关键因素之一。因此,如何从投资者情绪角度对市场进行预测是近年来众多研究者广泛关注的热点和难点话题,也是投资者、金融监管和政策调控部门所重点关注及丞待解决的重要问题。本研究从我国证券市场投资者情绪的角度出发,提出了一种结合极端梯度提升(XGBoost)、Bagging和带精英策略的非支配排序遗传算法(NSGA-Ⅱ)的集成方法用于上证综指和深证成指的方向预测和模拟交易。同时,本文对各个输入情绪特征变量在模型训练中的特征重要度进行了分析,并通过SHAP方法从单个特征和全局角度给出了情绪特征变量对模型结果的分类贡献。本研究主要有以下几个特点:首先,本研究综合考虑个人、机构和境外投资者的情绪因素来分别构建三类投资主体情绪指标,为我国证券市场投资者情绪研究与应用提供了新的研究视角。第二,通过情绪特征筛选剔除相关度高的冗余特征并提取重要度较高的情绪因子,以此作为训练模型的输入特征,从而提高模型的预测精度和训练速度。第三,选取预测性能较好的XGBoost算法作为基分类器分别构建上证指数和深证指数预测模型,同时通过Bagging方法对多个基分类器进行并行集成来克服XGBoost在训练过程中的过拟合问题。第四,运用NSGA-II方法对模型参数及交易参数进行优化,从而提高股指价格走势的预测精度。最后,通过模型特征分析提炼股指预测模型的决策逻辑以及关键情绪特征因子,有效加强了黑箱模型在预测问题中的可解释性。实验结果表明,本文所提出的XGBoost-Bagging-NSGA-Ⅱ方法在命中率、累积收益率、最大回撤率和夏普比率方面均取得了出色的表现,表明该方法在股指方向预测上有较高的准确性,同时也有效控制了交易风险,具有持续稳定的盈利能力。模型特征分析结果也表明随着境外投资者情绪对上证综指和深证成指方向预测的重要程度的降低,机构投资者情绪的重要程度逐渐上升,而个人投资者情绪的重要性始终处于较低水平。此外,SHAP方法的应用也很好的提高了预测模型的可解释性,为市场参与者识别影响股指价格走势的重要投资主体情绪、厘清模型决策规则提供了有效参考。综上所述,本文结合多种新兴的机器学习方法从投资者情绪视角构建股指方向预测模型,这为研究投资者情绪与证券市场预测之间的关系提供了一种新的思路,有助于促进机器学习与金融学科的交叉融合研究。同时,本文的研究成果对我国证券市场参与主体情绪如何影响证券市场价格走势提供了科学解释,也能帮助理解投资者情绪因素对市场价格波动的影响机理。在实际应用中,本研究为从事市场交易个人、机构等市场投资者未来的投资行为提供了决策支持,更加有助于其进行资产管理,也可以为市场的监管机构和政策制定者把控潜在市场风险开辟了一条新的研究方向,对于促进资本市场健康发展具有重要的理论与实践意义。

关键词： Anti-CRISPR蛋白   序列预测   特征编码   机器学习   网站服务  

摘要： CRISPR-Cas作为基因编辑的工具近年来被广泛研究。Anti-CRISPR蛋白是一种广泛存在于细菌、古菌和病毒中的蛋白质。它可以在CRISPR-Cas的干扰阶段将其失活,因此可以作为一种潜在的调节基因编辑的工具。深入研究anti-CRISPR的特性和功能对于基因编辑技术的安全实现有着极其重要的意义。然而,目前对于anti-CRISPR蛋白的研究非常有限。已知的anti-CRISPR蛋白数量非常少是限制其进一步研究的因素之一。通过实验发现新的anti-CRISPR非常费时费力,所以使用机器学习的方法构建一个高精度的anti-CRISPR预测模型可以很好的解决这一问题。本文从anti-CRISPRdb数据库和一个用于检索anti-CRISPR名字的统一资源中提取原始数据,经过CD-HIT去冗余和平衡数据集之后,获得了一个高质量的anti-CRISPR蛋白数据集。为了全面的描述蛋白质序列,本文使用了6种特征分别对序列进行编码,并采用方差分析和增量特征选择对特征进行了筛选。基于最优特征子集,分别使用每种特征构建了支持向量机模型。为了进一步提高分类的准确性,对这6个模型进行不同的组合,挑选出了最优的模型。最终的模型在测试集上的准确率和AUC值分别为88.1%和0.952。这是目前为止预测性能最好的模型。使用该模型对全新的11个anti-CRISPR蛋白进行案例分析,正确识别出了其中的10个,说明模型的泛化能力较强。为了发现新的anti-CRISPR蛋白,本文从Gen Bank中下载了所有病毒的蛋白质数据,然后使用模型进行预测。使用者可以根据不同阈值,获得潜在的anti-CRISPR蛋白。阈值越高,预测出来的蛋白质的数目越少,但可信度越高;反之,则数目越多,可信度降低。最后,本文建立了在线服务的网站,里面存放了构建的数据集和从病毒蛋白质中预测出来的anti-CRISPR蛋白。同时提供了预测功能,使用者可以通过输入蛋白质序列和位置特异性得分矩阵进行anti-CRISPR蛋白的预测。网站的地址是,http://***/server/Acr Pred。