关键词： 原发性肝癌   机器学习   聚类   支持向量机   预后  

摘要： 目的:原发性肝癌越来越受到社会的关注,通过分析肝癌患者肝切除手术前的临床资料比较肝癌患者的临床特点、分析不良预后因素、建立预后预测模型,将有利于为肝癌患者的个体化辅助治疗提供一定的参考,提高肝癌患者的预后效果。方法:对386名原发性肝癌患者的34个基线临床资料进行主成分分析和聚类分析,再使用Kaplan-Meier方法和Cox比例风险模型比较患者的临床信息特点和预后差异;使用多重支持向量机递归特征消除方法对进行过肝切除手术的原发性肝癌患者的临床变量进行重要特征排序,使用5折交叉验证的支持向量机确定最优特征子集,构造原发性肝癌患者术后的1年、3年无病生存和总体生存的列线图;使用确定的最优子集构造二元Logistic回归、随机森林、支持向量机、C5.0决策树、神经网络、Bagging算法和Adaboost算法,建立患者肝切除手术后3年无病生存时间和3年总生存时间的预后预测模型。结果:通过聚类分析得到了4组临床表型亚组,4组患者的一些临床表型和预后效果存在统计学差异:第1亚组的患者预后效果最好,第3亚组的预后最差。与亚组1相比,第二亚组的复发风险比为1.32(95%CI:1.03～1.70),第3亚组的复发风险比为3.60(95%CI:1.97～6.58);在考虑死亡风险时,第2亚组的死亡风险提高了1.43倍(95%CI:1.10～1.86),第3亚组的死亡风险是第1亚组的4.11倍(95%CI:2.11～8.00);使用多重支持向量机递归消除的方法对34个变量进行排序,通过与临床医生沟通确认特征排序结果的合理性,患者3年无病生存风险和总生存风险的列线图的一致性指数分别为0.701和0.706;支持向量机和神经网络在预测患者生存和复发上具有较好的准确率,模型的AUC为分别是0.7229和0.7216,其次是二元Logistic回归模型、C5.0决策树、Bagging算法、随机森林、Adaboost算法,其AUC分别是0.7194、0.7091、0.6978、0.6967、0.6571。结论:聚类分析可以得到原发性肝癌患者的临床表型亚组,为术后个体化辅助治疗提供一定的参考;使用多类支持向量机递归消除方法后的预测模型准确率有所提高,列线图在临床实践中能够提供患者生存风险信息,简单清晰的反映患者的生存风险。支持向量机和神经网络在预测患者生存和复发上具有较好的准确率,可用于辅助医生判断患者预后情况及治疗效果。

关键词： Mechanical engineering   Artificial intelligence  

摘要： We introduce a novel machine learning-based fusion model, termed as PI-LSTM (Physics-Infused Long Short-Term Memory Networks) that integrates first principle Physics-Based Models and Long Short-Term Memory (LSTM) network. Our architecture aims at combining equation-based models with data-driven machine learning models to enable accurate predictions of complex dynamic systems. In this hybrid architecture, recurrency aids the temporal memory of the inputs and output of the partial physics model, in a way that facilitates generalization with scarce data sets. We illustrate the application of PI-LSTM on two dynamical systems namely Inverted Pendulum and Tumor Growth. Empirical results on both test problems stand witness to the effectiveness of using physics in guiding machine learning models and the superiority of the outlined hybrid model over purely data-driven models.

关键词： 增材制造   3D打印   神经网络   机器学习   算法  

摘要： 增材制造,也称为3D打印,由于其与传统减材制造相比具有独特的优势,因而越来越受到学术界和工业界的关注。然而,增材制造工艺参数难以调整,因为这些参数会对打印的微观结构和后续产品的性能产生巨大影响。使用传统的数值分析模型为增材制造建立流程-结构-属性-性能的对应关系也是一项艰巨的任务。而今,机器学习方法已成为执行复杂模式识别和回归分析的一种有效方式,并且它无需构建和处理潜在的物理模型。得益于当前庞大的数据集、计算能力的提高和计算模型的优化改善,神经网络算法成为了机器学习算法中使用最广泛的模型。本文综述了神经网络算法在增材制造全链条中的模型设计、实时监测、质量评价等方面的应用进展。然后,本文概述了当前将神经网络应用于增材制造所遇到的挑战以及针对这些问题的可能解决方案。最后,提出了未来趋势,以对这一跨学科领域进行全面讨论。

关键词： 成矿动力系统   非线性   岩性识别   机器学习  

摘要： 随着数字化进程的不断推进,地质科学迫切需要引入可以实现数据自动处理和分析的新技术与新方法,机器学习理论的发展为地质大数据中的复杂问题提供了新的求解途径。论文针对非线性成矿系统进行了动力过程的研究,验证了系统的动力学行为以及系统变量之间的非线性函数关系,并针对系统中的不同目标问题进行了机器学习模型的应用与探讨。论文主要研究成果如下:(1)以成矿元素为研究对象,运用相空间重构技术和关联维数,结合反应扩散方程对成矿元素的动力过程进行研究,研究表明:成矿元素的聚集与扩散过程具有混沌性态,其动力过程所形成的吸引子具有稳定的分形维数,系统的稳定性决定了相空间中吸引子的具体形态。(2)以涨落耗散定理为出发点,通过考察成矿系统内部的涨落,得到了系统对于能量的耗散程度,并结合实际钻孔中元素含量的分布特征,研究了成矿系统能量耗散对于元素含量分布的影响,结果显示:系统能量的耗散程度决定了成矿元素含量在空间中的分布高低。(3)利用DLA模型对不同约束条件下成矿流体的渗透过程进行模拟,结果显示:成矿流体的运移行迹在空间上具有自相似性,可以将其视为一种分形生长过程。(4)以结构化数据为基础,分别针对系统中的回归问题、岩性识别问题和特征提取问题探讨了不同机器学习模型的应用效果,结果显示:随机森林和SVM模型对于系统内部的非线性关系拟合效果较好;GBDT算法对于岩性识别问题具有较高的分类精度;经过熵函数的计算,随机森林模型选择的特征具有更高的分类能力;相比于PCA模型,基于RBF核函数和Sigmoid核函数的KPCA模型特征提取效果更好,并且实验样本在新生成的特征空间中线性可分;ISOMAP和LLE两种流形学习模型可以有效的学习高维空间中的变化,使得样本经过映射后在新特征空间中的分类边界明显;前馈神经网络模型则可以在求解目标问题的同时实现特征的自动提取,其隐含层的权重分布在一定程度上影响着特征学习的有效性。

关键词： 贝叶斯模型   缺陷检测   GAN   数据增强   迁移学习  

摘要： 在现代工业化生产中,产品的外观检测是质量控制过程中一道至关重要的环节。因此,研发强大的智能外观缺陷检测技术日趋重要。传统的视觉检测方法需要针对被检对象,提取对象的特征,设计相对应的检测算法。随着机器学习的推进与发展,很多强大的机器学习算法也渐渐应用到表面缺陷检测中,并取得了很好的效果。在工业生产中,大量的缺陷样本往往难以获取。同时,在训练样本数量极其有限的情况下,使用机器学习算法进行缺陷检测往往效果不理想。针对该情况,本文进行了面向表面缺陷检测的机器学习方法研究。首先,针对缺陷种类较少,缺陷样本数量特别稀少的情况,本文提出一种贝叶斯小样本学习模型。该模型将数字图像处理与Naive Bayes分析相结合。在该模型的学习阶段,首先针对不同种类的样本进行分类,然后对不同类型的图像进行相应的增强处理,并对增强后的图像数据进行信息提取与特征量化。在该模型的检测阶段,同样先进行图像的增强以及特征的提取与量化,之后根据两部分样本的种类与分布建立相应的Bayes模型。模型中将图像信息转化为模型可接受的概率信息。在学习阶段的特征信息通过Bayes模型转化为先验概率,检测阶段中利用先验概率计算待测对象的后验概率完成检测。相比于现有的机器视觉方法,该模型检测效率更高,所需训练样本更少。其次,现有的深度神经网络在图像的检测与分类中可以达到非常高的精度,但深度神经网络需要大量训练样本的支撑才能充分优化。因此,在样本不足的情况下,利用GAN(Generative Adversarial Networks)对数据集进行扩增,可以有效的解决因训练样本不足而导致的模型过拟合、检测精度低等问题。但常规的GAN模型难以生成高质量的训练样本,因此本文提出缺陷增强生成对抗(Defect Enhancement GAN,DEGAN)模型。该模型可生成高清晰度、高多样性的缺陷数据。模型首先通过计算真实样本和生成样本的距离,得到网络后续训练的激励,其次对网络中判别模型的输出进行可梯度化处理。经本文模型生成图片的质量显著提高。随后,本文还提出了DEGAN与深度神经网络组合的缺陷检测模型。实验证明,该模型在小样本情况下较深度神经网络的检测精度更高,具有更强的适应性。再次,GAN中对抗学习的思想与迁移学习相结合在表面缺陷检测领域也能取得非常突出的表现。在此基础上本文提出了一种基于域对抗的迁移学习缺陷检测网络。该网络在小样本织物数据的情况下,借助大量的磁环数据建立迁移学习模型进行织物缺陷检测。本文设计的迁移学习网络模型中,包含特征提取模块,缺陷检测模块,域分类模块。训练过程中,首先提取目标数据集和辅助数据集的特征,然后通过域分类器对两类数据样本共同的特征进行学习,最后利用缺陷检测模块与域分类模块进行对抗学习,从而学习出两类数据集共有的特征。此时可以通过共有的特征进行检测网络的训练和优化。实验证明该模型可以借助相似的辅助数据进行迁移学习,有效减少了数据和计算资源的浪费。与深度神经网络相比,该检测网络在样本数据很少的情况下能达到更高的检测精度。最后,对本文所做的工作进行总结,并对表面缺陷检测方法的后续研究方向进行展望。

关键词： 统计模型   机器学习   整合应用  

摘要： 经典统计模型通常有比较好的解释性,但有时在预测性能上表现欠佳;与之相反,机器学习方法在一些问题中表现出了良好的预测性能,但往往难以对问题机制做出解释。面对实际问题,恰当地将统计模型与机器学习方法相结合,则有助于对问题进行深入研究,揭示其中的机理。本文通过两个交叉研究课题,即“金属-有机单层结构的合成和生长机理”以及“食管癌复发的相关因素分析”,对统计模型与机器学习的整合应用进行一些探索和尝试。在探究金属-有机单层结构的合成和生长机理中,我们着重研究对相的分类问题和对目标产物的厚度预测问题。关于相的分类,利用随机森林实现对相的精确归类,Kappa值达到0.86;对于厚度的预测,在保留线性回归模型良好的解释力的情况下,先采用聚类分析,寻求表现较优的区域,然后采用判别分析、Logistic回归探究样本空间的特征;接着,为进一步探究反应机理,引入中间产物,建立回归模型,利用逐步回归进行变量选择,研究反应物、中间产物的关系;进而在只有反应物、目标产物的数据中预测中间产物用量;最后,我们尝试将厚度预测问题转化为“厚-薄”二分类问题,基于反应物、预测的中间产物建立随机森林模型。经过比较,发现随机森林模型的预测性能明显优于仅用反应物建立的模型,Kappa值从0.4067提升至0.6179。这提示了引入的中间产物对于厚度研究起着关键作用。在食管癌复发的相关因素分析中,首先进行单因素分析,利用Pearson卡方检验、Fisher精确性检验、log-rank检验,探究年龄、性别、病变长度等因素与瘤床区复发、吻合口复发、远端转移和生存时间的相关关系,发现切端阳性患者吻合口复发的几率更高(P=0.064),病变长度长的患者出现远端转移的几率更高(P=0.091),溃疡型肿瘤患者出现远端转移的几率更高(P=0.03),病变长度长(P=0.068)、淋巴结个数多(P=0.081)、切端阳性(P=0.015)患者的生存时间更短。然后根据单因素分析的结果,将部分变量纳入多因素分析,建立Logistic回归模型和COX比例危险模型模型,发现病变长度、肿瘤类型、切端类型为危险因素,病变长度长、溃疡型肿瘤的病人有更高的远端转移的几率,病变长度长、切端阳性的病人生存的时间相对较短。最后,利用基于树的机器学习算法iRF,探究变量间可能存在的交互作用,发现对于瘤床区复发,T分期、淋巴结个数之间存在交互作用;对于远端转移,病变长度、淋巴结个数之间存在交互作用;对于吻合口复发,病变长度、淋巴结清扫个数之间存在交互作用。

关键词： 心源性猝死   心肌梗死   机器学习   迁移学习   卷积神经网络  

摘要： 心源性猝死是一种对生命威胁极大的重大公共健康问题,通常由多种致命性心律失常导致,这些心律失常往往会使得患者心脏泵血不足,最后导致心脏骤停。由于心源性猝死具有突发性和极高的危险性,在心脏骤停发生时,在极短的有效救治时间内患者往往得不到有效的治疗而导致死亡。在竞争激烈的现代社会中人的生活和工作压力日趋加大,另外随着人口老龄化问题的严重,心源性猝死的早期识别已经成为一项刻不容缓的工作,它能够减轻医生的工作负担,为医生提供充足的治疗时间,同时给患者带来更大的生存机会。本文利用多种机器学习方法,结合心电信号的不同特征,主要做了以下三部分工作:1.结合机器学习和临床风险指标的心源性猝死早期识别。借鉴最新的临床研究,设计出一套基于心电波形关键点定位的临床风险指标提取方法。进而将其和经典机器学习分类器结合起来,对心源性猝死进行了早期识别。另外将临床风险指标进行综合,提出一个独立风险指标,辅助医生的临床诊断和风险评估。2.结合迁移学习和浅层心电特征的心源性猝死早期识别。以迁移学习方法为媒介,将深度学习方法引入心源性猝死早期识别中来,解决在深度学习应用中高危病人有效数据不足的问题。另外,区别于相关研究中人工对于心电信号的大量繁琐的特征提取工作,本章仅使用浅层心电信号特征,即心率信息或原始信号训练并测试神经网络模型,最后对本文提出的所有心源性猝死早期识别方法进行分析比较。3.轻量级卷积神经网络在心肌梗死检测中的应用探讨。深入挖掘致心源性猝死的重要病因之一:心肌梗死。根据临床监护和智能穿戴式设备两种应用场景的差异,分别基于四导联心电信号和单导联心电信号,训练出性能优良的轻量级卷积神经网络模型,实现对泛前壁心肌梗死和泛下壁心肌梗死的检测,另外在单导联的研究当中着重对神经网络层数和数据输入长度进行了详尽的对比分析。综上所述,本文在将机器学习应用到心源性猝死早期识别及心肌梗死检测当中,并取得了良好的效果。初步证实了结合临床研究的机器学习方法可以有效对心源性猝死进行早期识别。同时对心肌梗死这一主要危险因素进行了研究和探讨。受限于本研究的时间以及数据量,本文只做了初步的探讨和分析,结果和结论有待于将来进一步开展临床大样本数据试验测试和统计评估论证。

关键词： Computer science  

摘要： The mining industry plays an essential role in the US economy. Mining is known to be one of the most dangerous occupations. Even though there have been efforts to create a safer work environment for miners, there is still a significant number of accidents occurring on the mining sites. Mine operators are required to report all accidents, injuries, or illness that occurs at a mine to Mine Safety and Health Administration(MSHA). These reports contain several fixed fields entries as well as the narrative of the accident. In this study, we use machine learning models such as Decision Tree (DT), Random Forest (RF) and Deep Neural Network (DNN) to predict the outcome of the accident and the number of days the worker is going to be away from work (DAFW) using the MSHA dataset. These predictive models would be helpful for the safety experts in their efforts to create a safer work environment. Predicting days away from work would help the supervisor to plan for a temporary replacement. We compare the performance of all the models with the performance of traditional logistic regression model. We divide the study into two parts. In the first part, we use the structured data (fixed fields) and unstructured (injury narratives) separately to predict the injury outcome. We use the injury narratives because they provide more information about the accident than the fixed field entries. We also investigate the use of synthetic data augmentation technique using word embedding to tackle the data imbalance problem while predicting the injury outcome using the narratives. Our experiment results show that Random Forest with narratives as the input provides the best F1 score of 0.94. DNN has the least root mean squared error (0.62) while predicting DAFW using injury narratives as the input. The F1 score of all the underrepresented classes except one improved after the use of data augmentation technique. We use the DNN model to find the features which are most important in determining injur