关键词： 信贷机构   XGBoost   LightGBM   贷款人   风险识别  

摘要： 2022年以来,我国经济增长面临着各种内外部压力。在这样的大背景下,李克强总理提出消费是最终需求,扩大消费既有利于提升群众生活水平,又能带动就业、投资和产业升级。此时,消费信贷的作用不言而喻。首先,传统银行业等金融机构覆盖数量和规模并不能满足个人贷款需求日益增长的信贷市场,且风控要求较高,信贷市场需要互联网信贷机构作为必要补充。其次,监管政策表明,贷款机构要重视贷款人信息的识别和判断,切实加强互联网贷款业务信用风险管控,强化风险数据和风险模型管理,建立健全自主可控的风险管理运作机制和信息系统,严格客户准入标准。最后,目前国家十分重视金融科技的发展,利用机器学习的方法进行风险识别就是金融科技的分支,金融科技的应用和发展是未来金融业实现高质量发展的必由之路。基于此,本文利用机器学习的方法进行贷款人风险识别正是顺应了国家对金融业发展及监管要求,这种方法不仅发挥了金融科技赋能的作用,促进高质量发展,同时也是在探索数据价值方面的一次重要尝试。本文在现有研究成果的总结下,基于某互联网信贷机构贷款人的真实贷款数据对其进行风险识别。首先,对原始数据进行数据分析、数据处理、特征构建、特征选取。其次,选取了线性逻辑回归模型和集成学习中Bagging算法和Boosting算法的代表模型:随机森林、XGBoost和LightGBM模型,通过该信贷机构的真实数据训练模型并进行对比,输出Accuracy、Precision、Recall、F1＿score、AUC值,以AUC值为判定标准,得出基于本文数据的最优风险识别模型—LightGBM模型,通过最优模型输出贷款人风险特征的重要性排序。最后,运用分层分析法,提出该互联网信贷机构应该从贷款人基本信息、贷款人贷款信息、贷款人还款信息、贷款人非金融信息四个方面的重要特征进行风险识别。

关键词： 相变   蒙特卡罗方法   XY耦合模型   Ising-XY模型   图神经网络  

摘要： 相变是物质在温度、压力和磁场等外部条件下出现的突然性质变化,相变理论是统计物理领域里一项长期且重要的研究内容。相变广泛存在于经典和量子统计体系,如超冷原子体系中。Ising模型自旋有上下两种取向,XY模型的自旋矢量是可指向平面任意方向的连续变量,两者耦合起来的相图研究十分丰富。将二维Ising模型与二维XY模型结合起来可得到二维XY耦合模型和二维Ising-XY耦合模型,这两个模型中的Ising型相变和XY型相变的发生顺序是物理学者非常感兴趣的问题。本论文采用了可大规模计算的蒙特卡罗方法,包括单自旋翻转的Metropolis算法和多自旋同时翻转的集团演化Wolff算法,研究了这两个模型的相图和相变顺序情况。另外,还引入了颇具前景的图神经网络方法来模拟二维Ising-XY模型。首先,采用蒙特卡罗方法研究二维XY耦合模型的相变情况,固定Ja,通过调整Jb大小改变空间耦合系数;模拟计算不同耦合系数下的物理量,例如能量、磁化强度、比热、Binder累积量和超流密度等。再运用不同尺寸下Binder累积量交点和超流密度与直线Δρs/Tc～2/π的交点分析确定Ising型相变点和XY型相变点的位置。研究发现在空间各向同性、各向异性和各向异性极限三种情况下双层XY模型的XY型和Ising型同时发生相变,即只有一个相变点。另外,还利用超流密度尺寸外推公式由几个小尺寸的相变点外推出尺寸无穷大时该模型对应的XY型相变点,简化了计算难度。其次,采用蒙特卡罗方法研究了二维Ising-XY耦合模型的相变情况,先通过计算比热大致确定相变点,得出了A=B时的AC平面相图。AC平面相图中可观察到在C取值不同时对应的相变个数不同:C=0对应一个相变;C=0.38对应两个相变。所以在A≠B的研究中选取这样两个C值进一步分析,A≠B时借助不同尺寸下Binder累积量的交点和MxyL1/8的交点分别判定Ising型相变和XY型相变的位置,发现在各向同性、各向异性和各向异性极限三种情况下Ising型相变与XY型相变发生的顺序各不相同。从而得出A≠B时Ising-XY耦合模型的AB平面相图,结果表明该相图具有对称性。最后,采用图神经网络方法生成二维Ising-XY模型的构型。Ising-XY模型十分特殊,其Ising变量或者XY变量的相互作用依赖于体系状态发生变化,在某些参数范围下,其热平衡态难以模拟生成。为此,引入了图神经网络方法来模拟和推断Ising-XY构型的概率分布,根据该分布生成自旋构型,无需蒙特卡罗的弛豫过程。实验结果表明,图神经网络具有的强大特性可以有效地模拟从传统蒙特卡洛方法中生成的构型,并且是全新的具有相同物理特性的构型。

关键词： 机器学习   降维   逐步回归   正则化惩罚   Stepwise-Kriging模型  

摘要： Kriging模型是一种最小化均方误差损失的插值模型,由于具有较高的精度和准确性,该模型被广泛应用于具有较高计算成本的工程问题.在处理低维工程问题时,Kriging模型能够展现出较好的近似效果.然而,当处理的问题变得高维、复杂时,Kriging模型的性能显著下降,并且建模所需的时间急剧增加.出现这种情况的原因是高维的数据样本会导致Kriging建模过程相关矩阵和超参数计算的复杂度迅速增长,进而迫使Kriging模型的效率和精度低下,甚至出现建模失败等结果.因此,对高维的Kriging建模进行优化具有重要的理论意义和工程价值.鉴于以上考虑,本文对高维Kriging模型开展了研究,主要研究内容和成果如下:(1)针对高维Kriging建模时间过长和精度偏低等问题,提出了StepwiseKriging模型,有效弥补了高维Kriging方法的缺陷.将Kriging模型和机器学习的降维算法相结合,提出了一种基于逐步回归特征选择的Kriging方法,即Stepwise-Kriging模型.该方法在建立Kriging模型前,按照给定的p值大小,使用逐步回归技术将初始的高维数据进行特征选择,转化为低维数据.问题的关键是如何选取逐步回归过程中的最优p值,本文按照假定的步长进行划分,使用区间内不同的p值建立Stepwise-Kriging模型,并结合交叉验证结果,选择出误差最小的Stepwise-Kriging模型p值,以进行最优模型的建立及后续问题的分析与验证.由于降低了初始样本点的维数,该方法可以显著降低Kriging模型的计算时间.另外,得益于逐步回归可以有效解决多重共线性等问题的性质,在处理冗余变量多和变量共线性程度高的问题时,Stepwise-Kriging模型具有极大的优势.(2)对Stepwise-Kriging模型实施了正则化惩罚,建立了正则化StepwiseKriging模型,从而进一步提高了模型的精度和泛化能力.尽管提出的Stepwise-Kriging模型能够实现降维效果,但由于其本质上是将数据进行简单的降维,并没有改变模型的结构,故其精度和泛化能力有待进一步完善.特别是在处理具有很大的条件数的不适定反问题时,Stepwise-Kriging模型的结果缺乏一定的稳定性.因此,有必要对提出的模型进行合理的优化.考虑到正则化技术能够很好的处理该类问题,从理论上对Stepwise-Kriging模型的损失函数实施了正则化项的惩罚,并重新推导了模型.由于增加的正则化项系数(亦称为惩罚系数)需要使用者定义,于是,惩罚系数的选择也是一个亟需解决的问题.对给定的不同惩罚系数分别建立了Stepwise-Kriging模型,并结合交叉验证的结果确定了最优值.本文提出的Stepwise-Kriging模型和正则化Stepwise-Kriging模型都使用了一些数值函数和工程仿真实例进行了测试.测试结果验证了本文方法的精度和准确性,特别是当数据之间存在强相关性时,使用本文的方法具有显著的优势.

关键词： 时间序列   机器学习   海浪   航速   准确性  

摘要： 准确预测不同大气和海洋条件下的航速对于优化航线、减少燃料消耗和确保海上安全至关重要。本研究探索了利用随机森林模型(RF)预测中国-巴西航线航速的方法,考虑了大气和海洋条件等各种环境因素。为提高RF模型的准确性和性能,本研究采用了一种复杂的方法,称为时间序列插补与季节性分解随机森林(TISD-RF)。该方法结合了时间序列插补和季节性分解,有效处理缺失数据点并捕捉复杂的季节性模式。通过利用这些技术,TISD-RF优化了RF模型的建模过程,提高了准确性和整体性能,使其成为在时间序列场景中预测航速的有价值工具。在本论文中,我们比较了各种数据驱动模型,并选择RF框架作为基础,考虑了直接利用实时监测数据所面临的挑战。本研究利用海浪条件和航速的历史数据来训练模型,然后利用模型考虑各种影响因素来预测航速。研究结果显示,使用TISD-RF方法在20个周期内显著提高了准确性,达到了令人印象深刻的98.22%的准确率。这些结果突显了TISD-RF方法的有效性以及其在这个特定环境中提高预测准确性的潜力。此外,与基于深度学习的解决方案(如Transformer模型)和传统的机器学习算法(如k最近邻和支持向量机)相比,TISD-RF模型表现出卓越的性能。它通过显示较低的均方误差(0.00006)、较低的平均绝对误差(0.0013)和较高的决定系数(0.9999)来实现这一点。然而,本研究承认了数据和模型假设的局限性,可能限制了其在其他航线或情境中的适用性。未来的研究可以扩展模型,包括更多影响航速的变量,并探索其他建模技术以比较它们的有效性。准确估计不同海洋条件下的航速对于确保海上安全至关重要。本研究证实了TISDRF模型在实现这一目标上的成功,对航运业具有重要的实际意义。以下是为这项研究所做的创新:(1)TISD-RF方法:一个重要的创新在于引入了随机森林时间序列插补与季节性分解方法。TISD-RF通过填补RF框架中的空白数据,有效解决了缺失数据问题。此外,它整合了季节性分解的见解,对于受气象条件变化敏感的行业尤为重要。TISD-RF自动化数据插补并简化了预处理过程,提高了预测的可靠性,同时降低了资源需求。其适用性使其成为基于时间序列的航速预测的多功能工具。(2)利用TISD-RF进行航速预测:该研究首次将TISD-RF模型应用于中国-巴西航线的航速预测中,同时考虑了大气和海洋条件等多种环境因素。这种创新的方法利用了TISD-RF模型处理数据中复杂关系的能力,拓展了其在传统应用之外的实用性。(3)基于历史数据的训练:为了解决使用实时监测数据的挑战,研究采用了海浪条件和航速的历史数据进行模型训练。这一转变从单纯依赖实时数据到使用历史数据提供了一种实用可靠的解决方案,用于在各种影响因素下预测航速。

关键词： 机器学习方法   超声多参数   乳腺导管内原位癌   预测模型  

摘要： 背景:乳腺癌在我国女性群体中是一类比较常见的肿瘤。2020年WHO调查显示乳腺癌全球发病率达17.1%,死亡率也较高,达到8.16%。全球乳腺癌患者数量已超过肺癌,其患者数量位居各类癌症之首。目前,导管原位癌(Ductal carcinoma in situ DCIS)已成为乳腺癌的常见类型,其占比达到15-25%。随着超声机器更新换代,导管内肿物的诊出率较前明显提高,因导管内乳头状瘤和导管内原位癌的临床表现和形态学特征很相似,目前的超声技术水平对两者的区分比较难。有研究表明,联合多参数分析可明显提高诊断准确率。因此,利用影像组学预测乳腺导管内原位癌具有一定的研究价值。基于此,我院特设计本试验。目的:本研究旨在利用机器学习相关超声参数,找出预测导管内原位癌的影像学特征,构建导管内病变鉴别诊断模型,以期早期筛查出导管内病变中的原位癌,减少穿刺等有创检查,提升治疗的准确率。方法:本研究回顾性收集我院2019年3月至2022年7月期间经病理证实的289例女性乳腺导管内病变患者的临床信息进行分析。将256位患者作为训练集,提取其超声特征后根据病理结果进行良恶性导管内病变鉴别模型的构建,将33位患者作为验证集,验证本研究所构建模型的准确性。采用LOGIQ E9/E8等超声诊断仪对患者乳房各层次结构进行检查,对发现的病灶观察并记录其年龄(岁)、肿物最大径(mm)、形态是否规则(是0,否1)、边缘是否光滑(光滑0,毛糙1)、超声分型(根据导管内病变常见形态分为5型,1型为乳腺导管扩张,同时有管腔内的实性回声充填或乳头状实性回声;2型为实性的回声周边有液性无回声区包绕,或囊实性回声团块;3型为有乳腺导管扩张,远端的乳腺导管壁中断或不规则;4型为乳腺导管扩张,同时在远端中断处有实性团块或结节;5型为乳腺腺体内部有低回声结节,并且周边未发现明显的导管扩张)、纵横比(≥1=1,<1=0)、微钙化(无0、单发1、多发2)、距乳头距离(mm)、后方回声(不变0,增强1,衰减2)、肿物内部血流信号(无0,少量1,中量2,大量3)、周围血流信号(无0,少量1,中量2,大量3)、肿瘤类型(中央型0,外周型1)以及是否为癌(是1,否0)等超声及病理特征。根据病理结果,通过训练组提取可以鉴别导管内乳头状癌及导管内乳头状瘤的相关超声特征,相关数据经统计学处理后,将P<0.10的变量纳入二元logistic回归分析以构建诊断效能最佳的乳腺导管内原位癌与导管内乳头状瘤病变鉴别诊断的机器学习模型。最后,通过验证组验证该模型的准确性及诊断效能。结果:以术后病理为金标准,对于鉴别导管内乳头状癌与导管内乳头状瘤有统计学意义的特征包括有肿瘤最大直径、边缘是否光滑、超声分型、微钙化、肿瘤内部血流信号以及肿瘤周围血流信号(P<0.05)。将肿瘤最大直径、边缘是否光滑、超声分型、微钙化、肿瘤内部血流信号以及肿瘤周围血流信号、年龄、形态是否规则以及病变距离乳头的距离(P<0.10)纳入二元logistic回归分析(条件:LR,向前)发现诊断效能最佳的模型为通过边缘是否光滑、超声分型、微钙化、肿瘤周围血流信号以及年龄构建的导管内病变鉴别诊断机器学习模型:模型公式:乳腺导管内病变鉴别诊断结果=B边缘*&+B钙化*&+B周围血流信号*&+B年龄*&+B超声分型*&(B为变量对应的模型回归系数,&取值为0或1,患者该变量特征阳性时取值为1,否则为0)。该模型在训练组区分导管内原位癌与导管内乳头状瘤的受试者工作特征曲线(receiver operating characteristic curve,ROC)曲线下面积(Area Under Curve,AUC)为0.776(95%CI:0.721,0.832)。而在33位导管内病变患者的验证集中,导管内乳头状癌14例,导管内乳头状瘤19例,年龄17～67岁,平均(44.36±9.92)岁。以术后病理为金标准,该导管内病变鉴别诊断模型在验证组区分导管内原位癌与导管内乳头状瘤的AUC为0.914(95%CI:0.821,1.000)。结论:本研究基于机器学习相关超声及病理特征,构建导管内病变鉴别诊断模型,有望提高导管内病变的鉴别诊断准确率,有助于早期筛查出导管内病变中的原位癌,减少穿刺等有创检查,提升治疗的准确率。

关键词： PC   ML   肿瘤转移   SEER数据库   列线图  

摘要： 背景:胰腺癌(Pancreatic cancer,PC)是一个高发病率、高死亡率的胃肠道肿瘤,其早期诊断困难,大部分患者被发现时已经是晚期或伴有远处转移,此时其治疗手段已经受限。因此,明确影响PC转移的因素至关重要。机器学习(Machine Learning,ML)目前在医疗研究中的作用日益提升,可借助ML对影响PC转移的因素进行进一步的探索。目的:探索PC远处转移的相关危险因素以及影响转移患者预后的因素,同时建立ML模型,并绘制列线图指导临床决策。方法:获取SEER数据库1990-2019年符合纳入和排除标准的PC患者的临床数据,使用随机森林及支持向量机两种ML方法对远处转移数据进行风险因素筛选,之后取两者交集,以进一步筛选影响肿瘤远处转移的特征。后行多因素Logistic回归探索影响PC远处转移的风险因素并建立预测模型,使用校准曲线及受试者工作特征曲线(Receiver operating characteristic curve,ROC)验证模型性能,最后绘制列线图。接着,使用陕西省人民医院队列的数据对所得模型进行验证,并绘制验证集的校准曲线及ROC曲线。之后,使用最小绝对值收敛和选择算子(Least absolute shrinkage and selection operator,LASSO)回归初步筛选影响远处转移患者预后的因素。使用单因素及多因素比例风险(Cox regression model,Cox)回归分析来进一步确定影响患者预后的因素。结果:影响PC远处转移的独立因素有5个:年龄、T、N、化疗和放疗。其中年龄<65岁及放疗是促进远处转移的危险因素,而年龄≥65岁、T3-T4、N1-N2则更多的起到了保护性作用。训练集及验证集上的曲线下面积(Area under the Curve,AUC)分别为0.717及0.847。LASSO回归筛选出了12个可能影响远处转移患者预后的因素。单因素及多因素Cox回归显示,年龄、病理分级、骨转移、脑转移、肺转移、放疗及化疗是远处转移患者预后的独立影响因素。其中年龄≥65岁、病理分级、骨、脑、肺转移是转移患者预后的危险因素,而放疗及化疗是预后的保护性因素。最后,本研究依据得到的模型建立了列线图供临床参考。结论:1、影响PC远处转移的独立因素为年龄、T、N、化疗和放疗;2、影响转移患者预后的独立因素为年龄、病理分级、骨转移、脑转移、肺转移、放疗及化疗。

关键词： 虚拟筛选   失衡数据   交互指纹   K-Means   SMOTE   粒子群优化   集成学习  

摘要： 随着计算机技术迅速的发展以及人类基因组计划的完成,对于疾病的快速诊治以及特效药的研制进入快车道。计算机辅助药物设计、高通量筛选、以及生物芯片等高新技术逐渐被引入到新的药物研制过程中,其中基于分子对接技术的虚拟筛选就是典型的计算机辅助药物设计的代表,虚拟筛选技术因其较好的普遍适用性,被大多数公司所采用,但是也存在自身局限性,在应用最广泛的基于分子对接的虚拟筛选技术中,由于打分评价函数的精度不高,所以会导致虚拟筛选的先导化合物的质量并不高,成为阻碍虚拟筛选发展的一大难题。由于相关的理论较匮乏,在找寻精确度高的打分评价函数的道路上举步维艰。同时,在虚拟筛选实验产生的数据集是一种活性化合物与非活性化合物有很大数量级差距的数据集,也就是产生了数据失衡的问题。并且还存在数据缺损、稀疏等问题,数据集的失衡进而会导致筛选的结果更倾向于负类,从而会使得筛选的结果准确性欠佳。基于这个背景,本文提出了基于失衡数据集的虚拟筛选方法,把失衡数据集分类方法引入到对虚拟筛选数据的处理中,对传统的虚拟筛选技术进行相应的改进。首先,针对传统的基于分子对接的虚拟筛选技术中打分函数准确度不高以及对接结合的构象会产生错分错判的现象,基于此本文提出了采用TIFP蛋白质-配体交互指纹来对靶蛋白与配体之间的结合模式以及交互作用进行编码来代替打分函数评价,该种方式将提高不同打分函数的精确度不足以及适用性差的问题,交互指纹方法将多维数据编码为一维数据,对于之后的数据预处理以及数据分类预测都有很大的帮助,并且会大大提高分子对接构象的准确度。其次,本文提出一种基于K-Means和SMOTE的启发式过采样方法对虚拟筛选过程中产生的失衡数据进行相应的处理。经过处理的数据,失衡比降低的同时,还会极大的保存数量级小的正例样本信息。同时在数据分类层面,为了提高虚拟筛选过程的准确性,提出通过粒子群优化算法对支持向量机分类器的惩罚参数以及高斯核半径进行不断优化,找到全局最优解,集成学习的概念也被引入到分类当中来。基于粒子群优化的分类技术,采用支持向量机和自适应增强技术对分子对接构象进行筛选,提高预测的准确性。最后,对于虚拟筛选实验验证以及分析阶段,在数据集的构建方面,充分利用PDB数据库来选取代表性的靶蛋白晶体,同时配体小分子的获取分别来自PubChem等数据库,在最后的实验结果表明,本文所提出的一系列针对虚拟筛选的处理方法能有效提高蛋白质筛选的准确性,对新药研发具有实用指导意义。本研究将虚拟筛选视为数据分类不平衡的问题,具有一定的指导意义,也为虚拟筛选技术面临的问题提供了一定的参考。