关键词： 不平衡数据   单分类   异常值检验   降维   变量选择   PR曲线  

摘要： 随着信息技术的飞速发展与数据挖掘能力的增强,不平衡数据的预测变得越来越常见。由于少数类的稀疏,传统的二分类方法无法捕捉到足够的异常值信息,其预测结果往往偏向多数类,对于少数类的识别能力不足。而单分类方法对于类别分布的情况不做过高的要求,仅需单类数据的信息就可以构建有效的异常值检测模型。针对高维不平衡数据的预测问题,除了要应对类别不平衡的问题,还要对高维特征进行降维。所以本文在特征提取与特征选择这两种降维方式下,建立了基于单类支持向量机(OCSVM)、变分贝叶斯(CAVI)、逻辑回归(GEL)的单分类模型。为了体现单分类算法的优越性,本文还对比了基于SMOTE算法的二分类方法。在评价指标选取方面,ROC曲线比较注重模型整体的性能,对于数据集分类比例的变化并不会产生很大的波动,而PR曲线对于两类数据占比的变化十分敏感,相比ROC曲线更能体现出模型对少数类的预测精度。故本文以PR曲线的AUC值作为评价指标。为了探究预测模型的稳健性,本文进行了数值模拟。在实证分析部分,使用了福建某商业银行的小微企业信用贷款数据和中国家庭金融调查与研究中心收集的信用卡交易数据,在原有变量的基础上引入了各个变量之间的交互项,建立了一个高维不平衡数据。数值模拟和实际数据的结果表明:(1)单分类方法可以对高维不平衡数据进行有效的异常值检测,而传统二分类器在同等条件下丧失了对异常值的预测能力。(2)单分类方法的异常值检测能力会因为正常样本的占比的减少而减弱。(3)自变量之间的相关性越高,单分类方法的异常值检测能力就越弱。(4)无论是特征维数是否大于总体样本数量,单分类方法的预测能力都是很稳健的。(5)在PCA降维下单分类模型的表现要优于LASSO、XGBoost降维下的单分类模型。

关键词： 肝细胞癌   病理分化等级   机器学习   超声组学  

摘要： 目的和意义:探讨超声组学特征在肝细胞癌病理分级的术前预测价值并建立肝细胞癌无创术前预测模型,实现肝细胞癌病理分化程度的术前无创评估。 方法:本研究回顾性收集2015年1月至2022年1月在广西医科大学第一附属医院及2013年1月至2021年11月在山东第一医科大学第一附属医院(山东省千佛山医院)行肝切除术或肝穿刺活检术并取得病理结果的肝细胞癌患者。收集这些患者的术前一个月内的超声图像,通过设计掩膜来提取图像中感兴趣的区域,掩膜的勾勒工作由两位低年资超声科医生使用Fiji(https://***/)软件采用“双盲”方法完成,并对肝细胞癌边缘掩膜进行单独纹理分析以获得肝细胞癌的边缘信息,供后续分级模型使用。通过声像区域剪裁、空间重采样及直方图归一法对来自不同超声仪器的超声图像进行预处理,以减少多中心数据差异带来的纹理噪声影响。图像预处理完成后,使用pyradiomics(https://***/)对肝细胞癌超声纹理特征进行分析、提取和量化,同时通过小波变换构建衍生图像提取更为细微的纹理特征。并分别使用了三种特征选择方法对冗余的特征进行了筛选和降维,包括Pearson系数法、方差阈值法以及套索回归(LASSO)。选取四种机器学习模型构建肝细胞癌分化预测模型,基于肝细胞癌超声图像纹理特征预测肝细胞癌高级别、中级别和低级别分化程度,四种机器学习模型分别为:K邻近算法(K-Nearest Neighbor,KNN),支持向量机(Support Vector Machine,SVM),基于集成学习方法(ensemble learning)的随机森林(Random Forest)和XGBoost。使用Python对样本数据进行统计分析,P<0.05具有统计学显著性。机器学习模型评估参数选择准确率(Accuracy),精准度(Precision),召回率(Recall)和受试者工作特征曲线(ROC)及曲线下面积(AUC)评估模型。 结果:本研究按照制定的纳入与排除标准,共纳入患者706人。其中队列一(广西医科大学第一附属医院)共纳入中分化肝细胞癌510例、高分化肝细胞癌133例及低分化肝细胞癌41例。队列二(山东第一医科大学第一附属医院)是为弥补高分化及低分化患者数据的不足而收集的补充数据集,共纳入高分化肝细胞癌9例及低分化肝细胞癌13例。从肝细胞癌超声病灶ROI及病灶边缘ROI提取了共823个特征。使用Pearson共筛选36个特征,方差阈值法共筛选19个特征,LASSO套索回归筛选共24个特征。对于肝细胞癌分化程度预测,最终表现最佳为LASSO套索回归筛选的特征,使用XGBoost的集成学习方法,得到的机器学习模型评估参数为,高分化肝细胞癌分类模型的AUC值为0.73(准确率:0.75、精确度:0.93、召回率:0.87);中分化肝细胞癌分类模型的AUC值为0.73(准确率:0.85、精确度:0.80、召回率:0.73);低分化肝细胞癌分类模型的AUC值为0.68(准确率:0.68、精确度:0.61、召回率:0.92)。我们还选取了患者的性别、年龄、有无乙肝、有无丙肝、ALT、AST和AFP一共7个术前临床特征建立了临床影像结合模型,相比仅影像组学,临床影像结合模型的表现在肝细胞癌高中低分化上表现均有所提升。其中,高分化肝细胞癌分类模型的AUC值为0.76(准确率:0.78),中分化肝细胞癌分类模型的AUC值为0.80(准确率:0.90),低分化肝细胞癌分类模型的AUC值为0.71(准确率:0.72)。 结论:通过超声组学与机器学习方法相结合,有可能在一定程度上实现肝细胞癌病理分化程度的术前无创分级预测。

关键词： 青少年   自杀未遂   非自杀性自伤   风险因素   机器学习   预警   青少年   自杀未遂   非自杀性自伤   机器学习   预警   青少年   自杀未遂   非自杀性自伤   自杀未遂   非自杀性自伤行为   评价   青少年   预警  

摘要： 第一部分青少年自杀自伤行为的流行病学特征及影响因素研究目的:调查青少年自杀自伤行为的流行病学特征及其影响因素。方法:采用分层整群随机抽样的方法,调查重庆市高中一、二年级学生的心理健康状况,将参与的学校每个年级30%的人数抽样,以班级为单位,共抽取20个中学22284名16-20岁学生。问卷内容包括:一般人口学资料、人格特征筛查(艾森克个性问卷、Barratt冲动性量表、Buss和Perry攻击问卷)、近期心理健康水平筛查、近期生命质量筛查、近期健康危险行为筛查以及自杀自伤意念及行为筛查。采用描述性统计分析、独立样本t检验和卡方检验(必要时Fisher精确概率检验)等统计方法,P<0.05视为具有统计学显著性。结果:近1年有时或经常觉得活着没意思、自己死了或许更好、想过自杀自伤的青少年比例分别为19.6%、12.9%以及7.2%。最近1个月内有时或经常想过自杀自伤的青少年比例为5.1%。至少采取过1次自杀自伤行为的青少年比例为2.7%。最近1个月内身体状况、精神心理健康状况、经济状况、学习状况差或非常差的青少年比例分别为4.5%、7.2%、13.1%以及13.9%。最近1个月内与家人或其他人关系差或非常差的青少年比例分别为4.4%和2.8%。女性、城市、最近12个月和1个月内有自杀自伤意念、最近1个月内身体与心理健康状况、经济、学习情况以及人际关系较差的青少年更容易出现自杀自伤行为。最近1个月失眠、吸烟、饮酒、赌博,以及因饮酒、心理问题或身体问题影响生活时间越久的青少年越容易出现自杀自伤行为。P分、N分、E分、冲动性、攻击性人格特质分数高的青少年更多出现自杀自伤行为。SCL-90总分及其分量表均值分高的青少年更多出现自杀自伤行为。结论:青少年自杀自伤行为与性别、家庭所在地、人格、近期的生命质量、近期心理健康水平、近期健康危险行为等密切相关。未来应当多借鉴国外成熟的以社区和学校为主体的青少年自杀自伤行为预防干预的经验,结合我国国情,为以家庭为主体的青少年自杀自伤行为防护提供更多资源。第二部分机器学习方法预警青少年期自杀自伤行为目的:利用机器学习方法构建青少年期自杀自伤行为预警模型。方法:采用分层整群随机抽样的方法,调查重庆市高中一、二年级学生的心理健康状况,将参与的学校按每个年级30%的人数抽样,以班级为单位,最终获得有效问卷22284份。筛选性别、居住地、EPQ人格、冲动性人格和攻击性人格等共16个特征。采用SPSS 26.0软件进行逻辑回归分析,检验水准为0.05。利用支持向量机、随机森林、决策树、极端梯度增强以及Bagging决策树分类器5种机器学习方法构建青少年期自杀自伤行为预警模型,采用敏感性和特异性评价模型的性能。结果:逻辑回归分析显示城市、女孩、高神经质和精神质、高无计划冲动性、高身体攻击性和高指向自我的攻击性是青少年期自杀自伤行为的风险因素。5种机器学习算法构建青少年自杀自伤行为预警模型,特异性介于35.5%-84.7%,敏感性介于39.2%-82.8%。综合来看,随机森林和Bagging决策树分类器在青少年期自杀自伤行为的预警模型构建中表现较好。青少年期自杀自伤行为预警模型前5个最重要特征依次为:行为冲动性、精神质、指向自我的攻击性、语言攻击性和敌意。结论:机器学习方法用于构建青少年期自杀自伤行为预警模型性能较好,人格特征比其他状态的心理症状和精神障碍具有提供更可靠、更具预测性的信息的潜力,对于青少年期出现的自杀自伤行为应采取综合性的预防策略。第三部分机器学习方法预警青少年12个月内自杀自伤行为目的:利用机器学习方法构建青少年12个月内自杀自伤行为预警模型。方法:利用分层整群随机抽样,抽取中学、职高以及大学的一、二年级学生共182836人。建立队列,第2年同一时间段对同一批人群进行复测,最终收集参与两次测试共25767人。选取年龄、近期心理健康水平、近期生命质量、近期健康危险行为以及自杀自伤意念共22个特征。采用SPSS 26.0软件进行逻辑回归分析,检验水准为0.05。利用支持向量机、随机森林、决策树、极端梯度增强以及Bagging决策树分类器5种机器学习方法构建青少年12个月内自杀自伤行为预警模型,采用敏感性和特异性评价模型性能。结果:在第二年筛查中发现12个月内新出现自杀自伤行为的青少年共58人,发病率为0.23%。12个月内有和没有自杀自伤行为的青少年在年龄、吸烟、网络成瘾、躯体化、强迫、人际关系敏感、抑郁、焦虑、敌对、恐怖、偏执、精神病性以及其他(食欲、睡眠)等方面有统计学上的差异(P<0.05)。逻辑回归分析显示最近30天吸烟天数多、敌对、年龄小、近1年觉得活着没意思、最近1个月有消极观念是青少年12个月内出现自杀自伤行为的风险因素。5种机器学习算法构建青少年12个月内自杀自伤行为的预警模型,特异性介

关键词： 特征选择   不平衡数据   分类   AUC  

摘要： 在机器学习的领域中,分类问题一直是一个研究热点,而在这个数据日益增长的时代,数据的高维和不平衡性在金融、医疗等领域中广泛存在,数据的这些特性对传统的机器学习分类算法带来了严峻的挑战。 本文针对非平衡数据集的特征选择和分类方法开展研究,提出了基于AUC的两个特征选择算法,并结合这两个算法和已有算法在小微企业数据集上构建了小微企业风险预测模型,最后结合实际应用场景,实现了小微企业违约风险评估系统。 本文的主要研究工作如下: (1)针对FAST-ROC根据特征与目标的相关性对特征进行排序过滤,而没有考虑特征之间组合后对分类器的影响,本文提出了一种二段式的特征选择算法FAST-SBS。该算法首先利用FAST算法对特征的类别的相关性做出排序,然后利用启发式搜索算法,在特征子集中去除子集中的冗余特征。实验结果表明,该算法能够有效的选出特征子集并且可以提高分类器的效果。 (2)在FAST算法的基础之上进行优化,在误分实例上考虑特征组合对分类器效果的提升,提出了一种基于AUC面积的特征选择算法REFAST。首先计算每个特征的AUC值来度量单个特征的分类效果,并且选取AUC最大值特征加入最终特征子集,然后选取最终特征子集错分实例为新的训练集,在此训练集下度量剩余特征对特征子集分类效果提高的能力。实验结果表明了算法的有效性。 (3)目前小微企业发展迅速,产生非常庞大的可挖掘数据,本文所收集的小微企业数据集较为庞大且不平衡度较高,在此数据上很好的验证了本文提出的两个算法并且构建了较为可靠的小微企业风险预测模型,在实际的金融风控问题上得到了较好的应用。 (4)最后在本文提出的风险预测模型基础上结合实际应用场景,设计和实现了小微企业违约风险评估系统。系统主要包括小微企业违约风险预测、模型更新和信息查询三大模块。

关键词： 慢阻肺   再入院   命名实体识别   机器学习算法   风险分类  

摘要： 慢性阻塞性肺部疾病是一种常见的慢性疾病,发病率较高,严重损害国民健康,疾病负担重,成为影响我国经济社会发展的重大公共卫生问题之一。由于医疗质量、健康结果和财政问题,复发性、计划外再入院的问题,即一些病人出院后30天内返回医院,并且是因为相同或相关的情况再次入院,已成为全世界的一项挑战。预测频繁的、可预防的再入院和了解造成这种情况的因素是一个正在得到广泛研究的关键问题。慢阻肺患者再入院预测风险和风险分类有助于给医疗机构提供一些可靠的数据支持,便于辅助医疗机构更加合理、均衡地配置医疗资源,提高住院服务的利用率。患者也能够通过疾病预警和风险分层工作,及早预防,有效干预,能够有效提高人们的健康水平,同时减轻经济负担。为了应对日益增长的需求,本研究提供了一个框架,结合医疗领域的结构化和非结构化数据,开发慢阻肺患者再入院预测模型并进行患者特异性风险分类。具体工作如下。首先为了处理非结构化的文本数据,对电子病历的命名实体识别。定义实体类型,完成数据标注,然后构建了基于Bi LSTM-CRF命名实体识别模型,将文本的电子病历中的有效信息抽取出来。为了对比验证模型的效果,将Bi LSTM-CRF的识别结果与CRF对比。其次是慢阻肺患者再入院预测。将结构化的特征和病例文本中获取的特征合并和预处理后,使用逻辑回归、支持向量机、随机森林、XGBoost和BP神经网络构建预测模型并对比评估,发现XGBoost是各项指标表现最佳的模型。对XGBoost的预测因子进行分析,发现再入院风险最重要的5个预测因素是:住院时长、查尔森合并症指数、病程、白细胞、嗜酸性粒细胞。最后是慢阻肺患者再入院的风险分类。根据选择的XGBoost模型的预测概率,采用k-means聚类方法将患者分为五个不同的风险组,沿可信度由低到高的方向,逐渐从训练集中丢弃一组或者两组用于人工评估结果的数据,其余的样本则通过XGBoost模型预测,结果导致预测模型的性能逐渐增加。同时与等距分层方法相比,k-means能减少更多的的人工评估工作量。这一风险分层方法提供了医疗决策这辅助决策工具。

关键词： 受试者招募   影响因素   逻辑回归   深度神经网络模型  

摘要： 近20年来药物临床试验进入飞速发展阶段,在国民经济、生活环境发生巨大变化的社会背景下,患者对新药的需求也在日益增长。国内外的药企,特别是中国药企,无论是主动选择或者是受市场环境影响,都殊途同归的进入了创新药物研发领域。药物研发是一条漫长而艰辛的道路,只有进入到药物临床试验阶段的产品,才有望上市。一个药物的好坏是需要通过验证的,从新药临床试验申请到审批,这些年官方机构一直致力于深度改革优化,在保证审评审批质量的前提下,缩短新药上市的时间。但如何快速招募到符合条件的受试者、哪些因素会影响不同特征的患者参与临床试验的意愿,一直都是行业人员思考的问题。为了了解影响患者参加临床药物试验意愿的可能因素并探寻分析这些因素的影响程度,本文借鉴了已有文献的分析思路,采用机器学习模型的量化分析方法,对问题分别进行定性与定量的分析,尝试探索或验证影响患者参加临床试验的重要影响因素。 本文的创新性尝试: 1、分析方式的创新。以往对受试者招募工作都是靠研究者或者行业人员积累的主观经验来开展,没有通过量化数字进行分析,本次采用机器学习的量化分析方法来探索非肿瘤人群参加临床试验的影响因素,试图帮助提高受试者招募速率。 2、数据分析模型上的创新。本次研究将是否愿意参加药物临床试验(是/否)当作目标变量,将其他可能的影响因素作为自变量,综合使用了参数的机器学习模型和非参数的机器学习模型来进行分析。具体来说,论文先采用多元线性回归进行初步探索,发现拟合效果欠佳但是因变量y与自变量x之间相关性较强。这也启发采用拟合能力更强的logistic回归,通过logistic回归获得的可解释模型将给出不同因素对于患者意愿的影响方式,从而指导从业人员在之后的工作中更好地完成临床试验患者的招募。而通过深度神经网络获得的模型,由于其准确度高的特点,可以作为之后对于患者参与意愿的一个预测模型,来帮助试验工作人员进行分析。 总的来讲,本文利用逻辑回归探索出对患者最终意愿影响比较大的一些因素,再通过深度神经网络模型验证。本次研究发现了一些影响患者参与药物临床试验意愿的因素,对于真正临床上寻找志愿者的过程有一定的指导作用。创新性地使用神经网络预测器也能够为从业人员提供一些参考。在未来,如果能更好地结合实际的结果与数据分析的方法,提出更好、更加适用的数据分析模型,并收集更多的临床数据,也许能够在相关问题上取得进一步的突破。

关键词： 机器学习   可解释性方法   桩基可打入性   案例推荐   符号回归   小样本学习  

摘要： 随着我国海上资源的逐步开发,海上油气田的建设规模越来越大,对桩基础的要求也越来越高,超大直径、超长的桩基础被设计、安装以适应逐步增加的承载力需求,桩的可打入分析至关重要。然而,由于桩的内在复杂性以及各种设计变量,与桩的驱动性能相关的内应力状态仍不清楚。打桩数据(如土层数据、桩基设计数据、打桩记录、CPT数据、桩锤信息等)包含打桩机制的知识,传统的反分析是提取这种知识的一种方法。机器学习(ML)为解决上述问题提供了另一种可能性。机器学习通过应用计算机算法自动发现输入数据和输出数据之间的规律性,并使用这些规律进行分类、聚类或回归等实现预测。目前机器学习在打桩中的应用研究主要集中在桩基整体的预测,即一根桩对应一个或几个预测目标,对应打桩过程的预测还比较少。对海油平台超大超长钢管桩(桩长100m左右)采用机器学习分析桩基可打入性的研究还没有。此外,目前采用的机器学习算法缺乏必要的可解释性。因此,本文基于海油平台桩基数据库,考虑岩土工程实际应用,结合适当的机器学习算法建立机器学习模型,并对相应的模型进行解释。基于海油平台桩基数据库,本文主要进行了三部分的研究工作:(1)采用集成学习方法对海油平台超大超长钢管桩的打桩过程中的锤击数进行预测。并采用可解释的机器学习方法解释得到的集成学习模型。(2)采用符号回归技术,自动推导桩基锤击数和累积能量的数学表达式。(3)基于案例推理系统,开发打桩案例推荐算法。研究主要结论如下:(1)机器学习是一种有效并精确的工具,能有效地利用已有桩基数据库,为研究、设计和建造提供支持。集成学习能准确地预测桩基锤击数。(2)符号回归能有效地从桩基数据库中自动推导经验方程。本文采用符号回归方法建立了桩基锤击数和桩基累积能量的预测经验方程,能准确地预测锤击数和桩基初始打入阶段的锤击能量(3)本文基于桩基数据库开发的案例推荐系统在桩基打入的不同阶段,即打桩前和打桩后给出准确的案例推荐,帮助研究人员和工程师进一步优化桩基设计和建造。

关键词： KNN回归   随机森林回归   LightGBM回归   BP神经网络  

摘要： 近些年来,我国互联网技术飞速地发展。电子商务平台借助于这一股东风也迅速成长,逐渐成为拉动我国的消费水平,帮助传统企业进行改革与升级,实现脱胎换骨,发展现代化服务行业的一个重要核心组成部分。所有人生活最简单的方式都发生了翻天覆地的变化。本文采用和鲸社区大数据竞赛平台所提供的亚马逊平台电子产品销售数据,这是已经经过脱敏处理的真实交易数据,对消费者的行为进行统计分析,对交易价格进行挖掘预测,预测未售出产品的交易价格帮助商家进行产品定价。对消费者的行为统计从两大角度来分析,一是产品销售情况,二是消费者行为。产品销售情况从时间与空间多角度展开分析,时间角度研究销售指标月度的变化情况,产品下单的星期与小时分布,空间角度研究省与省的销售指标差别。消费者行为首先构建用户画像,从性别,年龄段将用户进行分层,定义新用户,活跃用户,不活跃用户,回流用户等特征。交易价格的模型建立与评估需要经历几大步骤:第一步是处理缺失值与异常值,因为数据量的充足,转而删除缺失值并在异常值处理中进行去重处理。第二步是特征工程,原数据中已有指标选取产品信息例如产品类别,品牌,下单时间等,同时加以用户画像信息数据,例如省份、年龄等。不过这里将年龄特征处理为年龄段,省份处理为表示电商发达程度的类别数据。在这里特征指标的基础上,构建创造新的特征,例如活跃周期,品牌市场占有情况等新的特征。第三步是模型尝试与选用,尝试了广义线性加模型,KNN回归,随机森林回归,LightGBM回归以及BP神经网络,选取R平方值,RMSE与MAPE为选择依据,并进行网格调参。几经波折,LightGBM回归的精确度明显优于其他相关算法,预测准确度92%。第四步进行特征重要性度量,了解影响价格的重要特征。