关键词： 机器学习   降维   逐步回归   正则化惩罚   Stepwise-Kriging模型  

摘要： Kriging模型是一种最小化均方误差损失的插值模型,由于具有较高的精度和准确性,该模型被广泛应用于具有较高计算成本的工程问题.在处理低维工程问题时,Kriging模型能够展现出较好的近似效果.然而,当处理的问题变得高维、复杂时,Kriging模型的性能显著下降,并且建模所需的时间急剧增加.出现这种情况的原因是高维的数据样本会导致Kriging建模过程相关矩阵和超参数计算的复杂度迅速增长,进而迫使Kriging模型的效率和精度低下,甚至出现建模失败等结果.因此,对高维的Kriging建模进行优化具有重要的理论意义和工程价值.鉴于以上考虑,本文对高维Kriging模型开展了研究,主要研究内容和成果如下:(1)针对高维Kriging建模时间过长和精度偏低等问题,提出了StepwiseKriging模型,有效弥补了高维Kriging方法的缺陷.将Kriging模型和机器学习的降维算法相结合,提出了一种基于逐步回归特征选择的Kriging方法,即Stepwise-Kriging模型.该方法在建立Kriging模型前,按照给定的p值大小,使用逐步回归技术将初始的高维数据进行特征选择,转化为低维数据.问题的关键是如何选取逐步回归过程中的最优p值,本文按照假定的步长进行划分,使用区间内不同的p值建立Stepwise-Kriging模型,并结合交叉验证结果,选择出误差最小的Stepwise-Kriging模型p值,以进行最优模型的建立及后续问题的分析与验证.由于降低了初始样本点的维数,该方法可以显著降低Kriging模型的计算时间.另外,得益于逐步回归可以有效解决多重共线性等问题的性质,在处理冗余变量多和变量共线性程度高的问题时,Stepwise-Kriging模型具有极大的优势.(2)对Stepwise-Kriging模型实施了正则化惩罚,建立了正则化StepwiseKriging模型,从而进一步提高了模型的精度和泛化能力.尽管提出的Stepwise-Kriging模型能够实现降维效果,但由于其本质上是将数据进行简单的降维,并没有改变模型的结构,故其精度和泛化能力有待进一步完善.特别是在处理具有很大的条件数的不适定反问题时,Stepwise-Kriging模型的结果缺乏一定的稳定性.因此,有必要对提出的模型进行合理的优化.考虑到正则化技术能够很好的处理该类问题,从理论上对Stepwise-Kriging模型的损失函数实施了正则化项的惩罚,并重新推导了模型.由于增加的正则化项系数(亦称为惩罚系数)需要使用者定义,于是,惩罚系数的选择也是一个亟需解决的问题.对给定的不同惩罚系数分别建立了Stepwise-Kriging模型,并结合交叉验证的结果确定了最优值.本文提出的Stepwise-Kriging模型和正则化Stepwise-Kriging模型都使用了一些数值函数和工程仿真实例进行了测试.测试结果验证了本文方法的精度和准确性,特别是当数据之间存在强相关性时,使用本文的方法具有显著的优势.

关键词： 时间序列   机器学习   海浪   航速   准确性  

摘要： 准确预测不同大气和海洋条件下的航速对于优化航线、减少燃料消耗和确保海上安全至关重要。本研究探索了利用随机森林模型(RF)预测中国-巴西航线航速的方法,考虑了大气和海洋条件等各种环境因素。为提高RF模型的准确性和性能,本研究采用了一种复杂的方法,称为时间序列插补与季节性分解随机森林(TISD-RF)。该方法结合了时间序列插补和季节性分解,有效处理缺失数据点并捕捉复杂的季节性模式。通过利用这些技术,TISD-RF优化了RF模型的建模过程,提高了准确性和整体性能,使其成为在时间序列场景中预测航速的有价值工具。在本论文中,我们比较了各种数据驱动模型,并选择RF框架作为基础,考虑了直接利用实时监测数据所面临的挑战。本研究利用海浪条件和航速的历史数据来训练模型,然后利用模型考虑各种影响因素来预测航速。研究结果显示,使用TISD-RF方法在20个周期内显著提高了准确性,达到了令人印象深刻的98.22%的准确率。这些结果突显了TISD-RF方法的有效性以及其在这个特定环境中提高预测准确性的潜力。此外,与基于深度学习的解决方案(如Transformer模型)和传统的机器学习算法(如k最近邻和支持向量机)相比,TISD-RF模型表现出卓越的性能。它通过显示较低的均方误差(0.00006)、较低的平均绝对误差(0.0013)和较高的决定系数(0.9999)来实现这一点。然而,本研究承认了数据和模型假设的局限性,可能限制了其在其他航线或情境中的适用性。未来的研究可以扩展模型,包括更多影响航速的变量,并探索其他建模技术以比较它们的有效性。准确估计不同海洋条件下的航速对于确保海上安全至关重要。本研究证实了TISDRF模型在实现这一目标上的成功,对航运业具有重要的实际意义。以下是为这项研究所做的创新:(1)TISD-RF方法:一个重要的创新在于引入了随机森林时间序列插补与季节性分解方法。TISD-RF通过填补RF框架中的空白数据,有效解决了缺失数据问题。此外,它整合了季节性分解的见解,对于受气象条件变化敏感的行业尤为重要。TISD-RF自动化数据插补并简化了预处理过程,提高了预测的可靠性,同时降低了资源需求。其适用性使其成为基于时间序列的航速预测的多功能工具。(2)利用TISD-RF进行航速预测:该研究首次将TISD-RF模型应用于中国-巴西航线的航速预测中,同时考虑了大气和海洋条件等多种环境因素。这种创新的方法利用了TISD-RF模型处理数据中复杂关系的能力,拓展了其在传统应用之外的实用性。(3)基于历史数据的训练:为了解决使用实时监测数据的挑战,研究采用了海浪条件和航速的历史数据进行模型训练。这一转变从单纯依赖实时数据到使用历史数据提供了一种实用可靠的解决方案,用于在各种影响因素下预测航速。

关键词： 机器学习方法   超声多参数   乳腺导管内原位癌   预测模型  

摘要： 背景:乳腺癌在我国女性群体中是一类比较常见的肿瘤。2020年WHO调查显示乳腺癌全球发病率达17.1%,死亡率也较高,达到8.16%。全球乳腺癌患者数量已超过肺癌,其患者数量位居各类癌症之首。目前,导管原位癌(Ductal carcinoma in situ DCIS)已成为乳腺癌的常见类型,其占比达到15-25%。随着超声机器更新换代,导管内肿物的诊出率较前明显提高,因导管内乳头状瘤和导管内原位癌的临床表现和形态学特征很相似,目前的超声技术水平对两者的区分比较难。有研究表明,联合多参数分析可明显提高诊断准确率。因此,利用影像组学预测乳腺导管内原位癌具有一定的研究价值。基于此,我院特设计本试验。目的:本研究旨在利用机器学习相关超声参数,找出预测导管内原位癌的影像学特征,构建导管内病变鉴别诊断模型,以期早期筛查出导管内病变中的原位癌,减少穿刺等有创检查,提升治疗的准确率。方法:本研究回顾性收集我院2019年3月至2022年7月期间经病理证实的289例女性乳腺导管内病变患者的临床信息进行分析。将256位患者作为训练集,提取其超声特征后根据病理结果进行良恶性导管内病变鉴别模型的构建,将33位患者作为验证集,验证本研究所构建模型的准确性。采用LOGIQ E9/E8等超声诊断仪对患者乳房各层次结构进行检查,对发现的病灶观察并记录其年龄(岁)、肿物最大径(mm)、形态是否规则(是0,否1)、边缘是否光滑(光滑0,毛糙1)、超声分型(根据导管内病变常见形态分为5型,1型为乳腺导管扩张,同时有管腔内的实性回声充填或乳头状实性回声;2型为实性的回声周边有液性无回声区包绕,或囊实性回声团块;3型为有乳腺导管扩张,远端的乳腺导管壁中断或不规则;4型为乳腺导管扩张,同时在远端中断处有实性团块或结节;5型为乳腺腺体内部有低回声结节,并且周边未发现明显的导管扩张)、纵横比(≥1=1,<1=0)、微钙化(无0、单发1、多发2)、距乳头距离(mm)、后方回声(不变0,增强1,衰减2)、肿物内部血流信号(无0,少量1,中量2,大量3)、周围血流信号(无0,少量1,中量2,大量3)、肿瘤类型(中央型0,外周型1)以及是否为癌(是1,否0)等超声及病理特征。根据病理结果,通过训练组提取可以鉴别导管内乳头状癌及导管内乳头状瘤的相关超声特征,相关数据经统计学处理后,将P<0.10的变量纳入二元logistic回归分析以构建诊断效能最佳的乳腺导管内原位癌与导管内乳头状瘤病变鉴别诊断的机器学习模型。最后,通过验证组验证该模型的准确性及诊断效能。结果:以术后病理为金标准,对于鉴别导管内乳头状癌与导管内乳头状瘤有统计学意义的特征包括有肿瘤最大直径、边缘是否光滑、超声分型、微钙化、肿瘤内部血流信号以及肿瘤周围血流信号(P<0.05)。将肿瘤最大直径、边缘是否光滑、超声分型、微钙化、肿瘤内部血流信号以及肿瘤周围血流信号、年龄、形态是否规则以及病变距离乳头的距离(P<0.10)纳入二元logistic回归分析(条件:LR,向前)发现诊断效能最佳的模型为通过边缘是否光滑、超声分型、微钙化、肿瘤周围血流信号以及年龄构建的导管内病变鉴别诊断机器学习模型:模型公式:乳腺导管内病变鉴别诊断结果=B边缘*&+B钙化*&+B周围血流信号*&+B年龄*&+B超声分型*&(B为变量对应的模型回归系数,&取值为0或1,患者该变量特征阳性时取值为1,否则为0)。该模型在训练组区分导管内原位癌与导管内乳头状瘤的受试者工作特征曲线(receiver operating characteristic curve,ROC)曲线下面积(Area Under Curve,AUC)为0.776(95%CI:0.721,0.832)。而在33位导管内病变患者的验证集中,导管内乳头状癌14例,导管内乳头状瘤19例,年龄17～67岁,平均(44.36±9.92)岁。以术后病理为金标准,该导管内病变鉴别诊断模型在验证组区分导管内原位癌与导管内乳头状瘤的AUC为0.914(95%CI:0.821,1.000)。结论:本研究基于机器学习相关超声及病理特征,构建导管内病变鉴别诊断模型,有望提高导管内病变的鉴别诊断准确率,有助于早期筛查出导管内病变中的原位癌,减少穿刺等有创检查,提升治疗的准确率。

关键词： PC   ML   肿瘤转移   SEER数据库   列线图  

摘要： 背景:胰腺癌(Pancreatic cancer,PC)是一个高发病率、高死亡率的胃肠道肿瘤,其早期诊断困难,大部分患者被发现时已经是晚期或伴有远处转移,此时其治疗手段已经受限。因此,明确影响PC转移的因素至关重要。机器学习(Machine Learning,ML)目前在医疗研究中的作用日益提升,可借助ML对影响PC转移的因素进行进一步的探索。目的:探索PC远处转移的相关危险因素以及影响转移患者预后的因素,同时建立ML模型,并绘制列线图指导临床决策。方法:获取SEER数据库1990-2019年符合纳入和排除标准的PC患者的临床数据,使用随机森林及支持向量机两种ML方法对远处转移数据进行风险因素筛选,之后取两者交集,以进一步筛选影响肿瘤远处转移的特征。后行多因素Logistic回归探索影响PC远处转移的风险因素并建立预测模型,使用校准曲线及受试者工作特征曲线(Receiver operating characteristic curve,ROC)验证模型性能,最后绘制列线图。接着,使用陕西省人民医院队列的数据对所得模型进行验证,并绘制验证集的校准曲线及ROC曲线。之后,使用最小绝对值收敛和选择算子(Least absolute shrinkage and selection operator,LASSO)回归初步筛选影响远处转移患者预后的因素。使用单因素及多因素比例风险(Cox regression model,Cox)回归分析来进一步确定影响患者预后的因素。结果:影响PC远处转移的独立因素有5个:年龄、T、N、化疗和放疗。其中年龄<65岁及放疗是促进远处转移的危险因素,而年龄≥65岁、T3-T4、N1-N2则更多的起到了保护性作用。训练集及验证集上的曲线下面积(Area under the Curve,AUC)分别为0.717及0.847。LASSO回归筛选出了12个可能影响远处转移患者预后的因素。单因素及多因素Cox回归显示,年龄、病理分级、骨转移、脑转移、肺转移、放疗及化疗是远处转移患者预后的独立影响因素。其中年龄≥65岁、病理分级、骨、脑、肺转移是转移患者预后的危险因素,而放疗及化疗是预后的保护性因素。最后,本研究依据得到的模型建立了列线图供临床参考。结论:1、影响PC远处转移的独立因素为年龄、T、N、化疗和放疗;2、影响转移患者预后的独立因素为年龄、病理分级、骨转移、脑转移、肺转移、放疗及化疗。

关键词： 虚拟筛选   失衡数据   交互指纹   K-Means   SMOTE   粒子群优化   集成学习  

摘要： 随着计算机技术迅速的发展以及人类基因组计划的完成,对于疾病的快速诊治以及特效药的研制进入快车道。计算机辅助药物设计、高通量筛选、以及生物芯片等高新技术逐渐被引入到新的药物研制过程中,其中基于分子对接技术的虚拟筛选就是典型的计算机辅助药物设计的代表,虚拟筛选技术因其较好的普遍适用性,被大多数公司所采用,但是也存在自身局限性,在应用最广泛的基于分子对接的虚拟筛选技术中,由于打分评价函数的精度不高,所以会导致虚拟筛选的先导化合物的质量并不高,成为阻碍虚拟筛选发展的一大难题。由于相关的理论较匮乏,在找寻精确度高的打分评价函数的道路上举步维艰。同时,在虚拟筛选实验产生的数据集是一种活性化合物与非活性化合物有很大数量级差距的数据集,也就是产生了数据失衡的问题。并且还存在数据缺损、稀疏等问题,数据集的失衡进而会导致筛选的结果更倾向于负类,从而会使得筛选的结果准确性欠佳。基于这个背景,本文提出了基于失衡数据集的虚拟筛选方法,把失衡数据集分类方法引入到对虚拟筛选数据的处理中,对传统的虚拟筛选技术进行相应的改进。首先,针对传统的基于分子对接的虚拟筛选技术中打分函数准确度不高以及对接结合的构象会产生错分错判的现象,基于此本文提出了采用TIFP蛋白质-配体交互指纹来对靶蛋白与配体之间的结合模式以及交互作用进行编码来代替打分函数评价,该种方式将提高不同打分函数的精确度不足以及适用性差的问题,交互指纹方法将多维数据编码为一维数据,对于之后的数据预处理以及数据分类预测都有很大的帮助,并且会大大提高分子对接构象的准确度。其次,本文提出一种基于K-Means和SMOTE的启发式过采样方法对虚拟筛选过程中产生的失衡数据进行相应的处理。经过处理的数据,失衡比降低的同时,还会极大的保存数量级小的正例样本信息。同时在数据分类层面,为了提高虚拟筛选过程的准确性,提出通过粒子群优化算法对支持向量机分类器的惩罚参数以及高斯核半径进行不断优化,找到全局最优解,集成学习的概念也被引入到分类当中来。基于粒子群优化的分类技术,采用支持向量机和自适应增强技术对分子对接构象进行筛选,提高预测的准确性。最后,对于虚拟筛选实验验证以及分析阶段,在数据集的构建方面,充分利用PDB数据库来选取代表性的靶蛋白晶体,同时配体小分子的获取分别来自PubChem等数据库,在最后的实验结果表明,本文所提出的一系列针对虚拟筛选的处理方法能有效提高蛋白质筛选的准确性,对新药研发具有实用指导意义。本研究将虚拟筛选视为数据分类不平衡的问题,具有一定的指导意义,也为虚拟筛选技术面临的问题提供了一定的参考。

关键词： 保险索赔额   文本挖掘   机器学习   LDA主题模型   K均值聚类  

摘要： 随着各个行业数字化转型的发展，日常生活中要处理的数据结构越来越复杂，保险行业中传统的保险损失预测方法在解决大数据下的索赔时，尤其是包含大量非结构化信息数据时显得有些困难。如果保险公司对此有良好的损失预测能力和赔付风险管理系统，将会降低不必要的赔付支出，提升保险公司的营运水平。为此，在包含大量文本信息的基础上，本文利用机器学习理论建模预测个体保险索赔情况。　　首先，本文针对文本数据和非文本数据分别进行特征预处理。其中针对索赔描述的文本数据，一方面采用基于单词相似性的K均值聚类方法，将索赔个体划分为15个类别;另一方面，采用LDA主题模型提取8个主题降低原始文档-单词矩阵的维度，并计算出每条索赔描述语句属于每个主题的概率将其作为新的指标参与建模。同时，对文本数据外在形式特征如字符串长度、单词个数等进行刻画，作为其基本的度量指标。针对非文本数据，在数据清洗的基础上，对数据进行描述性统计分析，可视化展示并分析不同特征下因变量的分布情况，提取有效特征的同时删除重复信息。　　其次，考虑到保险领域中常用的损失预测模型的不足以及个体索赔额的连续性等分布特征，本文采用机器学习的方法进行改进。对于经过特征处理的职工意外伤害险数据集，本文建立了逻辑回归、随机森林、XGBoost和神经网络4种回归模型预测个体索赔额。采用均方根误差、平均百分比误差和判定系数作为评价指标，分别对模型进行了纵向（不同特征）和横向（不同模型）的比较，分析其性能和效果。通过对模型优化调参，最终发现包含文本特征的XGBoost模型预测效果最佳，在测试集上拟合优度为0.87。　　实证分析表明文本挖掘技术提取的文本特征指标应用到回归分析中时，可以提升模型的预测效果，该方法为保险公司在处理包含文本信息的索赔数据时提供一定的参考。

关键词： 图神经网络   半监督分类   类不平衡半监督学习   时空数据预测   图注意力网络  

摘要： 随着图神经网络的快速发展,深度学习强大的特征提取能力可以应用于信息更丰富的图结构数据,在不同学科领域的应用中均取得令人瞩目的效果,具有广阔的发展前景。为了进一步明确基于图神经网络在实际应用中面临的关键问题,本文聚焦将图网络应用在半监督分类和非规则时空数据预测两类经典问题中的研究。充分考虑了图神经网络的特点,使用图神经网络将节点的特征信息传播到邻居节点,结合当前的研究与应用热点和实际应用中需要面对的问题构建了针对性的研究思路和方法。主要研究基于图神经网络在缺少标签信息的类别不平衡半监督分类、以及交通场景下图结构信息缺失的时空数据预测中的具体应用。在类不平衡半监督分类问题中使用图网络在缓解类别分布不平衡情况的同时传播扩充标签信息,在交通时空数据预测领域中使用图网络传播交通流量信息并补全增强路网结构信息,创新性地扩展了图网络的应用领域,本文的主要创新性工作包括:(1)提出了基于图传播的标签重分配类不平衡半监督学习方法。通过结合无监督特征提取、基于图的标签传播和基于混合数据增强的标签重分配方法,构建了三阶段半监督学习框架3LPR(A three-stage label propagation and reassignment framework,简称3LPR)。首先,使用无监督学习提取样本特征。然后,设计基于图神经网络的离线标签传播机制来有效地扩展标签数据集。最后,提出了一种用于类不平衡半监督学习的标签重分配算法来训练扩展标签后的数据集。实验结果表明,在不同的类别不平衡率和有标签率的半监督图像分类数据集上,本文提出的三阶段类不平衡半监督学习框架3LPR均取得优于基线模型方法的性能表现。(2)提出了基于图平衡分类器的类不平衡半监督学习方法FGBC(Flexible Graph-Based Balanced Classifier,简称FGBC)。首先,设计了一个基于图神经网络的辅助平衡分类器分支头,以在保留高质量特征表示的同时更可靠的传播标签信息。然后,在提出的基于图的分类器分支头中引入了平衡掩码,以达到在有监督条件下进行端到端训练的目的。在训练阶段,根据类别中的样本数量灵活调整阈值的策略。最后,设计了一种类别感知的特征混合增强算法,以平衡不同类别中训练样本的多样性从而进一步缓解过拟合问题。实验结果表明,FGBC框架在主流的类不平衡半监督学习图像分类数据集上均展示出优于同期方法的性能表现。(3)提出了基于自适应时空图注意力网络的交通流量预测方法。该方法能够同时建模学习交通时空数据中动态的图结构信息和时空依赖性,模型由两个联合训练的部分组成:图生成器模型和基于自适应时空图注意力的时空模型。图生成器模型可以自主学习交通数据中各区域蕴含的相关性信息并根据历史数据自适应的构建的区域间的图结构以增强预定义图结构信息,即使在根据专业知识人为构建的初始图结构信息缺失或难以构建的情况下一样可以完成图结构的生成。时空模型可以捕获交通时空数据中蕴含的时空相关性。实验结果表明,这种通过模型生成或增强原始图结构的方式在预测表现上,性能优于同期基于人为预定义的图结构。(4)提出了基于联合预训练框架的图扩散注意力网络的交通流量预测方法。该联合训练架构由两部分组成:图重构器和基于图扩散注意力的时空模型。其中,图重构器旨在根据输入的交通流量数据重建传感器节点间的图结构;时空模型旨在使用重构后的图结构建模交通数据中蕴含的时空模式并以此进行预测。该方法可以有效地利用历史交通数据更丰富区域的信息,提高交通数据稀疏区域的交通流量预测准确率。在交通高速道路数据集和轨迹数据集上的实验结果表明,该方法能达到同期最先进的性能表现,其中的预训练机制也为多数据集联合训练提供了有效的解决方案。