关键词： 统计模型   机器学习   整合应用  

摘要： 经典统计模型通常有比较好的解释性,但有时在预测性能上表现欠佳;与之相反,机器学习方法在一些问题中表现出了良好的预测性能,但往往难以对问题机制做出解释。面对实际问题,恰当地将统计模型与机器学习方法相结合,则有助于对问题进行深入研究,揭示其中的机理。本文通过两个交叉研究课题,即“金属-有机单层结构的合成和生长机理”以及“食管癌复发的相关因素分析”,对统计模型与机器学习的整合应用进行一些探索和尝试。在探究金属-有机单层结构的合成和生长机理中,我们着重研究对相的分类问题和对目标产物的厚度预测问题。关于相的分类,利用随机森林实现对相的精确归类,Kappa值达到0.86;对于厚度的预测,在保留线性回归模型良好的解释力的情况下,先采用聚类分析,寻求表现较优的区域,然后采用判别分析、Logistic回归探究样本空间的特征;接着,为进一步探究反应机理,引入中间产物,建立回归模型,利用逐步回归进行变量选择,研究反应物、中间产物的关系;进而在只有反应物、目标产物的数据中预测中间产物用量;最后,我们尝试将厚度预测问题转化为“厚-薄”二分类问题,基于反应物、预测的中间产物建立随机森林模型。经过比较,发现随机森林模型的预测性能明显优于仅用反应物建立的模型,Kappa值从0.4067提升至0.6179。这提示了引入的中间产物对于厚度研究起着关键作用。在食管癌复发的相关因素分析中,首先进行单因素分析,利用Pearson卡方检验、Fisher精确性检验、log-rank检验,探究年龄、性别、病变长度等因素与瘤床区复发、吻合口复发、远端转移和生存时间的相关关系,发现切端阳性患者吻合口复发的几率更高(P=0.064),病变长度长的患者出现远端转移的几率更高(P=0.091),溃疡型肿瘤患者出现远端转移的几率更高(P=0.03),病变长度长(P=0.068)、淋巴结个数多(P=0.081)、切端阳性(P=0.015)患者的生存时间更短。然后根据单因素分析的结果,将部分变量纳入多因素分析,建立Logistic回归模型和COX比例危险模型模型,发现病变长度、肿瘤类型、切端类型为危险因素,病变长度长、溃疡型肿瘤的病人有更高的远端转移的几率,病变长度长、切端阳性的病人生存的时间相对较短。最后,利用基于树的机器学习算法iRF,探究变量间可能存在的交互作用,发现对于瘤床区复发,T分期、淋巴结个数之间存在交互作用;对于远端转移,病变长度、淋巴结个数之间存在交互作用;对于吻合口复发,病变长度、淋巴结清扫个数之间存在交互作用。

关键词： 心源性猝死   心肌梗死   机器学习   迁移学习   卷积神经网络  

摘要： 心源性猝死是一种对生命威胁极大的重大公共健康问题,通常由多种致命性心律失常导致,这些心律失常往往会使得患者心脏泵血不足,最后导致心脏骤停。由于心源性猝死具有突发性和极高的危险性,在心脏骤停发生时,在极短的有效救治时间内患者往往得不到有效的治疗而导致死亡。在竞争激烈的现代社会中人的生活和工作压力日趋加大,另外随着人口老龄化问题的严重,心源性猝死的早期识别已经成为一项刻不容缓的工作,它能够减轻医生的工作负担,为医生提供充足的治疗时间,同时给患者带来更大的生存机会。本文利用多种机器学习方法,结合心电信号的不同特征,主要做了以下三部分工作:1.结合机器学习和临床风险指标的心源性猝死早期识别。借鉴最新的临床研究,设计出一套基于心电波形关键点定位的临床风险指标提取方法。进而将其和经典机器学习分类器结合起来,对心源性猝死进行了早期识别。另外将临床风险指标进行综合,提出一个独立风险指标,辅助医生的临床诊断和风险评估。2.结合迁移学习和浅层心电特征的心源性猝死早期识别。以迁移学习方法为媒介,将深度学习方法引入心源性猝死早期识别中来,解决在深度学习应用中高危病人有效数据不足的问题。另外,区别于相关研究中人工对于心电信号的大量繁琐的特征提取工作,本章仅使用浅层心电信号特征,即心率信息或原始信号训练并测试神经网络模型,最后对本文提出的所有心源性猝死早期识别方法进行分析比较。3.轻量级卷积神经网络在心肌梗死检测中的应用探讨。深入挖掘致心源性猝死的重要病因之一:心肌梗死。根据临床监护和智能穿戴式设备两种应用场景的差异,分别基于四导联心电信号和单导联心电信号,训练出性能优良的轻量级卷积神经网络模型,实现对泛前壁心肌梗死和泛下壁心肌梗死的检测,另外在单导联的研究当中着重对神经网络层数和数据输入长度进行了详尽的对比分析。综上所述,本文在将机器学习应用到心源性猝死早期识别及心肌梗死检测当中,并取得了良好的效果。初步证实了结合临床研究的机器学习方法可以有效对心源性猝死进行早期识别。同时对心肌梗死这一主要危险因素进行了研究和探讨。受限于本研究的时间以及数据量,本文只做了初步的探讨和分析,结果和结论有待于将来进一步开展临床大样本数据试验测试和统计评估论证。

关键词： Computer science  

摘要： The mining industry plays an essential role in the US economy. Mining is known to be one of the most dangerous occupations. Even though there have been efforts to create a safer work environment for miners, there is still a significant number of accidents occurring on the mining sites. Mine operators are required to report all accidents, injuries, or illness that occurs at a mine to Mine Safety and Health Administration(MSHA). These reports contain several fixed fields entries as well as the narrative of the accident. In this study, we use machine learning models such as Decision Tree (DT), Random Forest (RF) and Deep Neural Network (DNN) to predict the outcome of the accident and the number of days the worker is going to be away from work (DAFW) using the MSHA dataset. These predictive models would be helpful for the safety experts in their efforts to create a safer work environment. Predicting days away from work would help the supervisor to plan for a temporary replacement. We compare the performance of all the models with the performance of traditional logistic regression model. We divide the study into two parts. In the first part, we use the structured data (fixed fields) and unstructured (injury narratives) separately to predict the injury outcome. We use the injury narratives because they provide more information about the accident than the fixed field entries. We also investigate the use of synthetic data augmentation technique using word embedding to tackle the data imbalance problem while predicting the injury outcome using the narratives. Our experiment results show that Random Forest with narratives as the input provides the best F1 score of 0.94. DNN has the least root mean squared error (0.62) while predicting DAFW using injury narratives as the input. The F1 score of all the underrepresented classes except one improved after the use of data augmentation technique. We use the DNN model to find the features which are most important in determining injur

关键词： Behavioral Health   Depression   Machine Learning   Prevention  

摘要： Behavioral health disorders, specifically depression, are a serious health concern in the United States and worldwide. The consequences of unaddressed behavioral health conditions are multifaceted and have impact at the individual, relational, communal, and societal level. Despite the number of individuals who could benefit from treatment for behavioral health concerns, their difficulties are often unidentified and unaddressed through treatment. Technology carries unrealized potential to identify people at risk for behavioral health conditions and to inform prevention and intervention strategies. Drawing upon data from the National Longitudinal Study of Adolescent Health (Add Health, n=3782), this study has two aims related to advancing understanding of technology’s potential value in behavioral health: 1) to develop a forecasting procedure that can be used to identify youth who are at risk of reporting a depression diagnosis as adults based on a set of input variables; and 2) to understand the developmental trajectories of depression for youth. To address the first aim of this study, random forest methodology was used to derive the forecasting algorithm. The second aim was pursued with Generalized Additive Model analysis to estimate relationships between presence of a reported depression diagnosis as an adult and youth characteristics. Findings from this study indicate that it is feasible to use a forecasting tool to identify individuals at risk of being diagnosed with depression, which can facilitate early intervention and improved outcomes. Gender, race, and receiving counseling as a youth were the most important predictors of having a reported depression diagnosis as an adult. This dissertation addresses the role of health disparities, specifically gender and race, related to depression and mental health treatment. In sum, this dissertation highlights how a machine learning forecasting tool could be used to inform prevention strategies and understanding of facto

关键词： 机器学习   分类算法   SVM   逻辑回归   随机森   KNN-SVM  

摘要： 随着数据量指数级别的增长和计算机硬件设备的不断完善,机器学习算法迎来了发展的黄金时代。以熟知的互联网公司为例,百度的语音搜索、科大讯飞的语音识别、字节跳动的个性化推荐算法和滴滴出行的智能调度算法,都是机器学习算法在日常生活中的应用。分类算法作为机器学习算法中最常见的算法,有着坚实的数学理论基础,为大数据的处理和人工智能的发展提供了有效的方法。本文对机器学习中经典分类算法的研究背景和意义进行了阐述,并对机器学习中分类算法的国内外研究现状进行了总结。其中,重点介绍了四种经典的监督学习分类算法(逻辑回归、朴素贝叶斯、SVM和决策树)和一种集成学习的分类算法(随机森林),并详细地研究和分析了它们背后的数学原理。本文利用20世纪90年代美国人口普查数据,对居民年收入是否大于50k$进行分类预测。首先,利用数据类型转换、缺失值处理和数据标准化等方法,对数据进行预处理;其次使用三种经典的监督学习分类算法(逻辑回归、朴素贝叶斯和SVM)和一种集成学习的分类算法(随机森林)对预处理后的数据进行分类,并且使用混淆矩阵、准确率、精确率、召回率、F1值和ROC曲线对分类结果进行评价;最后基于SVM算法在分类超平面附近容易错分的缺点,提出将SVM算法和KNN算法相结合的组合算法,同时KNN-SVM算法再根据KNN样本点的选取规则的不同分成KSVM1和KSVM2两种算法,通过实验对比,两种新算法都比单纯使用SVM算法在分类准确率上有所提高。

关键词： Industrial engineering   Computer science  

摘要： The rise of social media networks such as Twitter presents us with a massively distributed portal of information covering every topic from social and political news to entertainment. However, this coverage of different topics coupled with the high rate of content generation on Twitter results in an overwhelming volume of content that makes it difficult to detect and retrieve information relevant to a specific topic. Access to efficient methods for retrieval and analysis of this topical content can be of great value in a lot of different domains from social sciences to marketing analysis. Hence, the concept of learning topical classifiers and predictors for Twitter has become an important area of research. This thesis aims to address the challenges of topical content retrieval and analysis via efficient ways that will allow users to have real-time access to insights on their desired topics.

关键词： 结构健康监测   模态参数识别   机器学习   深度网络   模态独立性  

摘要： 结构的模态参数(频率、振型、阻尼比)是结构的一个固有本质特性,是了解结构动力特性、进行结构损伤检测与安全评估的重要依据。然而,传统的结构模态参数识别方法在应用时往往需要较多的人工干预和参数设置,在结构健康监测系统中难以实现模态参数的自动识别,严重影响结构健康监测系统在线预警。如何实现结构模态参数的智能识别是值得研究的问题,为此,本文结合机器学习理论,研究环境激励下结构模态参数的智能方法。本文主要研究内容包括:提出了一种基于模态独立性的环境激励下结构模态参数识别的机器学习方法。该方法首先将模态参数识别问题转化为深度学习问题,然后考虑模态响应的不相关性和非高斯性构造损失函数以估算模态参数。对数值模拟算例和某斜拉桥结构健康监测数据进行了验证,结果表明,所提出的方法与常用的频域分解法,随机子空间法和NEx T+ERA方法等具有相似的模态识别精度,但明显优于传统独立成分分析方法。提出的方法具有一定的智能数据处理能力,为环境激励下的结构模态参数识别提供一种新的选择。提出了一种基于结构响应时频域稀疏性的环境激励下结构模态参数识别的机器学习方法。利用结构振动响应数据在时频域具有稀疏性的特点,首先将结构振动响应数据从时域变换到时频域,然后挑选出对应于各阶模态处的响应单源点,其次对单源点进行对称化和归一化,最后利用设计的竞争型神经网络求得单源点的聚类中心,也就是各阶振型系数的值。对某斜拉桥实际结构健康监测数据进行了验证,所提方法能较好的识别得到振型系数。提出了一种基于有监督多任务学习的环境激励下结构模态参数识别的机器学习方法。该方法将结构系统响应数据作为网络输入,分离得到的各阶模态响应作为标签,通过发挥深度神经网络强大的学习能力,训练深度网络并使其能自动将系统响应分离为模态响应,得到结构模态响应和振型系数。通过数值模拟算例验证了方法的有效性。

关键词： 预测电力输出   联合循环发电厂   机器学习方法   REPTree装袋算法   最佳子集   SK-BREP算法  

摘要： 预测联合循环发电厂的满载电力输出是一项重要工作,能够直接决定电厂发电量,并使其获取最大利益。如果要用热力学方式准确分析系统,需要对大量运行条件进行设定以解释公式中的不确定参数。如果没有这些设定,一个真实应用的热力学分析需要数千个非线性方程,尤其是在分析任意的输入和输出模式的系统中,直接进行求解具有较高难度。为了解决上述问题,本文提出采用机器学习的方法替代热力学方式的求解。电厂的基载运行主要受4个参数影响,它们是环境温度,气压,相对湿度,废气压力,作为数据集的输入变量,这些参数影响电力输出,电力输出便作为目标变量。为了比较这些参数的影响,对参数的组合形式进行了测试,在所有特征子集中寻找最佳数据子集,本文使用的包含输入变量和目标变量的数据集,通过实验测试,确定了使得机器学习算法具有最佳性能的输入变量组合形式。本论文针对不同机器学习方法进行测试与比较,确定REP Tree装袋算法预测效果是最好的。针对该算法对参量的适应性不高的问题,进一步提出SK-BREP算法,利用k-means聚类的思想,将所训练出来的分类回归树按预测结果的相似度进行聚类,然后从每一类中再选择出预测精度高的一批分类回归树参加集成。基于朝阳发电厂的运行数据进行了测试,结果表明本文所提出的SK-BREP算法能够实现对联合循环发电厂每小时满载电力输出的准确预测。该论文有图10幅,表10个,参考文献46篇,对所研究的过程和结论进行阐述和分析。