摘要： The revolutionary development of neuroimage technology allows for the generation of large-scale neuroimage data in modern medical studies. For example, structural magnetic resonance imaging (sMRI) is widely used in segmenting neurodegenerative regions in the brain and positron-emission tomography (PET) is commonly used by clinicians and researchers to quantify the severity of Alzheimer’s disease. In the first part of this dissertation, we build “OASIS-AD”, which is a supervised learning model based on a well-validated automated segmentation tool “OASIS” in multiple sclerosis (MS). OASIS-AD considers the specific challenges raised by WMH in Alzheimer’s Disease (AD) to reduce false discoveries. We show that OASIS-AD performs better than several existing automated white matter hyperintensity segmentation approaches. In the second part of this dissertation, we develop an interpretable penalized multivariate high-dimensional method for image-on-scalar regression that can be used for association studies between high-dimensional PET images and patients’ scalar measures. This method overcomes the lack of interpretability in regularized regression after reduced-rank decomposition through a novel encoder-decoder based penalty to regularize interpretable image characteristics. Empirical properties of the proposed approach are examined and compared to existing methods in simulation studies and in the analysis of PET images from subjects in a study of Alzheimer’s Disease. In the third part of this dissertation, we developed ACU-Net, an efficient convolutional network for medical image segmentation. The proposed deep learning network overcomes the small sample size problem of training a deep neural network when used for medical image segmentation. It also decreases computation cost by increasing the effective degrees of freedom through data augmentation and the novel use of convolutional layers blocks to compress the model. We show that ACU-Net can achieve competitive performance

关键词： 抑郁症   logistic回归   BP神经网络   支持向量机   分类模型  

摘要： 目的:抑郁症是当前社会广泛存在且日益严峻的心理疾病,其不仅严重影响患者的身心健康,也给患者的家庭和整个社会造成沉重负担。迄今为止,抑郁症的发病机制尚不清楚,但已有许多研究发现其与复杂的遗传因素、表观遗传因素和环境相互作用有关,例如TPH2基因相关位点的甲基化水平与抑郁症等心理疾病的发生、发展存在不同程度的关联。本文结合实例数据,围绕抑郁症患者的识别与抑郁症的预后情况预测问题,构建了基于logistic回归、BP神经网络和支持向量机的三种分类模型,初步实现对抑郁症患者的识别和预后情况的预测,为临床工作者对抑郁症患者的病情诊断和预后评估提供一定的模型选择参考。方法:根据纳入和排除标准,在南京中大医院收集了共计291位确诊抑郁症的住院病人和共计100位同期参加体检的健康对照的相关资料,主要收集信息包括研究对象的个体基本信息、生活事件得分、儿童期创伤问卷得分和根据外周血样本测得的TPH2基因的38个位点的甲基化水平。对收集数据进行清洗、核查,对缺失数据进行分组中位数填补。利用卡方检验、t检验和基于秩的非参数检验对可能影响抑郁症发病和预后的因素进行单因素筛选,用多因素逐步logistic回归进行多变量筛选,综合两者结果并结合临床专业人员的建议,从上述资料中筛选出可能的影响因素。将上述筛选出的变量作为输入变量,分别将是否为抑郁症患者和治疗2周后汉密尔顿抑郁量表得分下降是否超过50%为因变量,建立logistic回归、BP神经网络和支持向量机三种分类模型,通过经验法结合试凑法求得各模型的最佳参数组合,采用10折交叉验证对各模型的泛化性能进行评估,以约登指数最大时的概率作为界值进行分类,通过灵敏度、特异度、阳性预测值、准确度、G-mean、F-measure和受试者特征曲线及受试者特征曲线下面积来评价和比较三种模型的综合性能。本研究采用R 3.6.2对数据进行处理及分析。结果:根据研究目的,本研究结果主要分为以下两部分:(1)对抑郁症患者的识别筛选了16个可能与抑郁症相关的变量:性别、负性生活事件得分、儿童期创伤问卷得分和13个位点的甲基化水平(TPH2＿11＿86、TPH2＿11＿121、TPH2＿11＿154、TPH2＿3＿92、TPH2＿4＿156、TPH2＿5＿203、TPH2＿7＿54、TPH2＿7＿184、TPH2＿8＿106、TPH2＿9＿117、TPH2＿9＿142、TPH2＿9＿160、TPH2＿9＿178);将16个变量作为模型的输入变量,分别用来训练基于不同变量筛选标准的logistic回归模型(全部进入和逐步回归)、BP神经网络模型和基于四种核函数(线性核函数、径向基核函数、多项式核函数和sigmoid核函数)的支持向量机模型。对于模型各参数,均采用经验法结合试凑法进行确定,选择10折交叉验证测试集误判率最小时的参数组合。结果发现,以约登指数最大时的概率为界值,全部进入的logistic回归10折交叉验证的灵敏度为0.653,特异度为0.840,阳性预测值为0.922,准确度为0.701,G-mean为0.741,F-measure为0.765,AUC为0.802;BP神经网络的最佳隐层神经元个数为2,因此构建16-2-1的神经网络模型,其10折交叉验证的灵敏度为0.900,特异度为0.800,阳性预测值为0.929,准确度为0.875,G-mean为0.849,F-measure为0.914,AUC为0.875;对于支持向量机,径向基核函数表现最好。其最优参数组合为cost=5,gamma=0.5,10折交叉验证的灵敏度为0.900,特异度为0.920,阳性预测值为0.970,准确度为0.905,G-mean为0.910,F-measure为0.934,AUC为0.956。(2)对抑郁症患者预后情况的预测筛选了15个可能与抑郁症的预后相关的变量:性别、年龄、负性生活事件得分、儿童期创伤问卷得分、8个位点的甲基化水平(TPH2＿1＿154、TPH2＿2＿139、TPH2＿2＿217、TPH2＿5＿203、TPH2＿7＿142、TPH2＿7＿170、TPH2＿8＿237、TPH2＿9＿134)、有无伴侣、首次发病年龄和发病次数;将15个变量作为模型的输入变量,分别用来训练基于不同变量筛选标准的logistic回归模型(全部进入和逐步回归)、BP神经网络模型和基于四种核函数的支持向量机模型。对于模型各参数,均采用经验法结合试凑法进行确定,选择10折交叉验证测试集误判率最小时的参数组合。结果发现,以约登指数最大时的概率为界值,全部进入的logistic回归10折交叉验证的灵敏度为0.661,特异度为0.586,阳性预测值为0.721,准确度为0.632,G-mean为0.622,F-measure为0.690,AUC为0.6

关键词： 闪电预报预警   机器学习   集成学习   神经网络   ERA5历史再分析资料  

摘要： 在面临灾害性天气时,对即将发生的闪电事件给予精准的预报预警,可以使各行业因闪电灾害而产生的人员伤亡及运营损失得到有效的预防或减少。传统上,研究者利用获取的气象资料信息,开展了一系列闪电预报预警工作。近年来,数据已成为各行业中重要的生产因素,机器学习作为与“大数据”应用结合的最佳方法技术,在各种建模预测的工作中,相比传统方法,取得了的突破性进展与性能表现。在此情形下,本文基于气象部门与行业发展大数据应用的先天优势和迫切需求,将机器学习方法引入现有的闪电预报预警技术中。首先,利用在ERA5中选取的与闪电发生具有较好相关性的气象特征数据与网格化统计的闪电频次数据,基于集成算法XGBoost构建了高性能的闪电预报模型,在对闪电发生与否的基础预报中,得到的预报命中率POD为90.41%,虚警率FAR为7.46%,临界成功指数CSI为84.27%,技巧评分TSS为0.83,其性能表现相较于传统研究中所提出的模型方法得到了明显的提升,并在此基础上进一步实现了关于闪电频次区间的多分类预报。随后,利用同样的ERA5数据与网格化统计的平均闪电幅值数据,基于Stacking模型融合的方法构建了关于闪电幅值的预测模型。在研究中,将前期构建的5个用于闪电幅值预测的单一模型进行融合,从而得到最终的预测模型。经过融合后的模型对1～100k A区间闪电幅值预测的平均RMSE为10.96296,在0～50k A幅值区间下的预测RMSE达到了6.47134,在数据充分的条件下初步实现了模型对闪电幅值的预测性能。最后,构建了输出结果具有时空特性的强对流预警模型。研究基于循环神经网络,使用改进的神经元、双层网络结构与加权的损失函数,通过前2h的历史回波数据来预测未来1h内的回波形态与移动轨迹,来实现相关的预警工作。经过训练后的模型可以有效的预测出后续回波的生消以及反射率数值的分布变化,在30min的时效内能够较好的预测40d BZ以上区域的回波特征。根据以上的研究,证实了机器学习方法技术运用在闪电预报预警中的可行性及有效性。

关键词： 数据序列   Bi-LSTM   残差网络   注意力机制   SE模块   脊柱侧弯  

摘要： 数据分类和预测作为重要的数据分析方法,能够从数据中提取有价值的信息。数据有多种表现形式,本文研究的对象为多样本数据序列。这种数据序列在纵向上具有时间序列的特点但又不同于时间序列,横向上由于样本间的差异产生一定的空间特征,样本中采集的多变量数据共同影响任务的结果。因此,传统的数据分析方法难以对多样本数据序列进行建模。本文提出了一种新的深度神经网络结构:多样本数据序列分类和预测网络(Mulit-Sample Data Sequence Classification and Prediction Network,MSDSCPN)对多样本数据序列建模以进行分类和预测。本文的主要研究内容有以下几个方面:(1)在对时间序列进行分析研究的基础上提出了多样本数据序列的概念。多样本数据序列由于采样间隔等原因在纵向上具有时间序列的部分时间特性,横向上由于样本间的差异产生一定的空间特征,单个样本中采集的多变量数据共同影响任务的结果。(2)根据多样本数据序列的特点提出了一种基于深度学习的多样本数据序列分类和预测网络MSDSCPN,该网络基于循环神经网络和一维卷积神经网络分别提取多样本数据序列的时间特征和空间特征。(3)MSDSCPN 基于双向长短期记忆网络(Bi-directional Long Short-Term Memory,Bi-LSTM)提取时间特征,并针对多样本数据序列的不同变量对结果影响的差异,添加注意力机制来重点关注序列中对结果影响较大的部分,以提高网络的时间特征提取能力。(4)MSDSCPN基于残差结构提取空间特征,并针对多样本数据序列的不同变量对结果影响的差异,添加SE模块(Squeeze and Excitation block)对提取到的特征进行权重分配,以提高网络的空间特征提取能力。(5)使用本文设计的MSDSCPN网络分别在公开数据集和脊柱侧弯数据集上进行了验证,证明了本文设计的MSDSCPN网络能够对多样本数据序列进行有效的分类和预测。

关键词： 机器学习   汇率预测   风险对冲  

摘要： 本文采用了11种机器学习算法,用以研究宏观经济变量以及其他变量能否用于预测汇率的变化。本文将这些机器学习算法用于汇率预测中,并将预测结果用于国际资产投资组合的汇率风险对冲中,提出了符合当前国际金融市场的风险对冲方法。其中,本文的研究将随机游走模型(Random Walk,RW)以及基于最小二乘法的线性回归(OLS)作为汇率预测的准确程度的比较基准;将完全不对冲组合(No Hedge),完全对冲组合(Full Hedge)以及以基于最小二乘法的线性回归模型预测得到的汇率变化结果进行的部分对冲组合(OLS)作为国际资产投资组合的汇率风险对冲投资结果的比较基准。结果显示,使用机器学习算法可以有效的提高汇率预测结果的准确性,同时在国际资产投资组合中取得更高的收益率以及更高的夏普率。其中,LASSO回归、随机森林算法(Random Forest)以及偏最小二乘法(PLS)可以得到更高的汇率预测准确性;基于梯度下降法的线性回归模型(Linear Regression)、偏最小二乘法(PLS)以及随机森林算法(Random Forest)在不同时间段内的汇率风险对冲中均有更好的表现和更好的稳定性。此外,本文在相关论著的基础上,将传统的经济学理论与模型与新的估计方法相结合,发现一国货币总量、GDP增长率以及通货膨胀率是影响汇率的关键因素。

摘要： This dissertation seeks to understand the shortcomings of contemporaneous credit allocation, with a specific focus on exploring how an improved statistical technology impacts the credit access of societally important groups. First, this dissertation investigates a variety of limitations of conventional credit scoring models, specifically their tendency to misclassify borrowers by default risk, especially for relatively risky, young, and low income borrowers. Second, this dissertation shows that an improved statistical technology need not to lead to worse outcomes for disadvantaged groups. In fact, the credit access for borrowers belonging to such groups can be improved, while providing more accurate credit risk assessment. Last, this dissertation documents modern-day disparities in debt collection judgments across white and black neighborhoods. Taken together, this dissertation provides valuable insights for the design of policies targeted at reducing consumer default and alleviating its burden on borrowers and lenders and across societally important groups, as well as macroprudential regulation.

关键词： 支持向量机   特征选择Wrapper方法   短邻雾研究   梯度提升树   集成学习  

摘要： 大雾是一种常见的灾害天气,发生时具有低能见度的特点,会对人们的出行产生极大的影响。如果能够提前对大雾天气进行预测,将有效地避免经济损失、降低风险。目前对大雾的研究中主要包括对雾的雷达实时监测以及相关数值分析方法,但上述方法不仅需要借助预报员的经验,而且复杂的计算过程可能会产生一定的时间开销。而随着人工智能的发展,目前已较广泛地应用于航天、生物医疗等领域的预测任务中。另外,现有的研究工作更加关注于当前时刻雾天气的状态,没有对未来时刻雾的状态进行预测。因此对未来时刻雾天气的研究将具有重要的意义。本文借助全国综合气象信息共享平台(CIMISS)的气象要素数据,经过相应的数据处理,利用机器学习方法对未来时刻大雾状况进行研究(短邻雾研究)。其研究内容根据东北区域气象中心需求有如下两个方面:短邻雾分类预测研究、短邻雾能见度预测研究。对短邻雾天气分类预测研究包括主要气象特征分析、建立不同短时邻近雾分类预测模型。其中研究了一种结合支持向量机(Support Vector Machine,SVM)与特征选择Wrapper方法的短邻雾天气分类预测模型。该模型对多维气象数据进行列切分得到关于列的数据子集,将不同的子集数据输入至SVM中进行训练,根据不同子集的训练效果得到最优SVM训练模型及对应最优子集,从而在众多气象要素中提取出该预测时间主要影响雾分类预测的特征属性。并将最优模型作为该时刻的雾分类预测模型。对短邻雾天气能见度预测的研究包括建立不同短时邻近能见度预测的集成学习模型,计算参与预测的气象要素对能见度值影响程度得到影响程度排名。其中研究了一种基于Boosting集成学习策略的梯度提升树(Gradient Boosting Decision Tree,GBDT)算法,并研究其在分布式系统XGBoost下的预测情况。根据能见度值的预测情况计算出影响各短时邻近时刻的气象要素排名。根据上述两个方面研究的结果开发出雾天气预测系统,将其应用于东北气象中心的灾害天气预测系统中实现对未来时刻雾天气的预测,并利用气象学TS标准对模型在CIMISS数据集的预测能力进行评分。结果表明应用于开发系统中的预测模型能够较准确的对大雾发生的时间进行预测。

关键词： 转录因子   酵母   转录因子家族   多分类问题   一对多策略   序列模体   进化树  

摘要： 目前转录因子和DNA结合位点在生物信息学中是大家比较关注的一个研究方向,它对于了解生物体的转录、翻译过程至关重要。转录因子和DNA的结合位点决定着下游基因的转录和翻译,调控着整个转录翻译过程中的关键过程,对这段转录基因和非编码区域的研究,对于了解生命体的正常生命活动和完整生命过程有着十分重要的意义。转录因子和DNA的结合位点是一段核苷酸序列,这段核苷酸序列的长度通常是8-mer到16-mer长,这段核苷酸序列通常是连续的而非有间隔的,它可能会对基因的转录和翻译过程产生关键性的影响。转录因子在转录调控过程中起着关键性的作用,主要体现在控制关键细胞过程和对环境条件做出反应等方面。生物学家们在研究过程中发现,酵母是一个比较适宜研究转录因子和DNA结合位点的生命体。酵母是一种单细胞真菌的有机体,是了解基本生物学途径和转录过程和调控网络的重要模式生物。虽然前人已经利用传统的方法和高通量技术对酵母DNA的转录调控过程进行了广泛的计算和实验研究。但是,在转录调控过程中起到关键作用的转录因子的具体功能表现以及转录因子自身的性质还没有被广泛认知和挖掘出来,所以需要开展本研究去突破这方面的问题。由于后基因组时代生物数据的大爆发,迫切的需要研发出自动化的计算方法,以便于从大量的候选基因中准确识别出有效的转录因子结合位点。在本篇论文的研究工作中,虽然我们还是研究转录因子和DNA的结合位点,但是我们采用了不同于以前的所有工作,我们主要在以下两个方面做出了创新性的方案。一、提取了一个新的实验数据集。我们将Uni PROBE数据库中的GR09的酵母转录因子的数据集作为最原始的数据集,然后我们对GR09这个原始数据集做了以下多步的处理工作。首先,将GR09数据集中的132种转录因子进行家族类别的划分,其中有2种转录因子没有明确的家族类别的归属,我们选择剔除。剔除之后,将剩下的130种转录因子,结合前人的工作划分成16种家族类别,由于不同家族类别中的转录因子个数不统一,并且不同的转录因子中包含的结合位点的个数也不统一,这就存在各个家族类别样本数目严重失衡的问题。我们采用的解决方案是根据各转录因子的E-score值,设定不同的筛选阈值,这样通过阈值的筛选后,可以保证每个家族中的转录因子结合位点序列个数基本保持均衡,便于后续工作的开展。至此,我们得到了本实验所使用的数据集。本数据集也对以后需要进行转录因子家族结合位点的研究提供了参考方案。二、提出了一个基于XGBoost算法的转录因子结合位点的识别模型。由于本实验数据集的独特性,所以我们尝试应用了多种分类方法,如:决策树,K近邻,随机森林,梯度提升决策树,light GBM以及XGBoost。我们分别将提取到的特征输入到这些模型中进行预测,通过Acc,Sn,Sp,MCC,Fscore等指标,比较总结后发现,XGBoost模型是最适合本实验数据集的,各项评价指标都是表现最好的,因此我们选定XGBoost作为本实验的算法模型。我们将XGBoost引入到转录因子家族的多分类预测问题上,也为后人进行相关问题的研究工作提供了借鉴方案。

摘要： In the field of bioinformatics, large-scale biological networks play an essential role for studying transcriptomic data. As networks can bring useful relational information in solving problems, tasks involving biological networks range from system biology, statistical modeling, to machine learning. In this dissertation, focusing on different roles of biological networks, we explore both the construction of networks and their integration with statistical methods. On the one hand, we have found hypergraphs, an extension of traditional networks, to be an excellent tool to represent higher-order interactive relationships among biological units and analyze complex systems; on the other hand, we have discovered that incorporating known biological networks and constructing biological feature networks can be helpful in improving certain supervised machine learning algorithms. The first topic of this dissertation is about the highly dynamic biological regulatory system. It is shown that correlations between certain functionally related genes change over different biological conditions, which are often unobserved in the data. At the gene level, the dynamic correlations result in three-way gene interactions involving a pair of genes that change correlation, and a third gene that reflects the underlying cellular conditions. This type of ternary relation can be quantified by the Liquid Association statistic. Studying these three-way interactions at the gene triplet level have revealed important regulatory mechanisms in the biological system. Currently, due to the extremely large amount of possible combinations of triplets within a high-throughput gene expression dataset, no method is available to examine the ternary relationship at the biological system level. Hence, in Chapter 2, we propose a new method, Hypergraph for Dynamic Correlation (HDC), to construct module-level three-way interaction networks. The method is able to present integrative uniform hypergraphs to reflect the

关键词： 股票指数   涨跌预测   高斯降噪   机器学习  

摘要： 股票市场作为金融市场最重要、最复杂的组成部分，兼具着反映整体市场的变化趋势和反映国民经济总体发展水平的功能，同时为投资者投资决策提供重要的参考价值，是灵敏反映市场社会、政治、经济变化情况的晴雨表。然而，股票市场在多重因素的影响下，市场指数价格序列时常出现异常波动，使得传统的分析方法很难预测股价的走势。随着机器学习方法在分类和预测问题上凸显越来越大的优势，本文尝试将机器学习应用于股指预测问题上。　　首先，本文简单介绍了三种机器学习方法——支持向量机(SVM)、随机森林(RF)和极端梯度提升树(XGBoost)算法的理论知识。接着，利用这三个机器学习模型构建了用以预测股票指数价格涨跌的模型。考虑到机器学习在处理大数据上的优势，本文选取了沪深300指数5分钟高频交易的行情数据作为研究对象，以其开盘价、收盘价、最高价、最低价、成交量和成交额6个变量作为SVM、RF、XGBoost三个机器学习模型的特征输入，下一五分钟收盘价的变动方向作为输出特征，建立了股指涨跌预测模型。并采用常见的准确率指标、ROC曲线和AUC统计量作为各机器学习预测模型的性能度量指标。　　其次，考虑中国股市各方面条件尚未成熟，股价受到的干扰因素较多，股价波动大，噪声较多，本文提出了基于高斯降噪的机器学习预测模型，在机器学习预测前先对原始数据进行了高斯降噪处理，将股票价格时间序列中的一些异常信号去除，减少了干扰项，然后将经降噪处理的样本数据作为机器学习模型的特征输入，输出特征保持不变，建立了更具较强分类性能的预测模型。　　通过对比分析降噪前后三种机器学习算法的预测性能发现，降噪后各机器学习方法的分类性能有了显著的提升。具体来看，降噪后支持向量机的预测准确率、AUC值分别为62.80%、0.620，比降噪前分别提高了22.92%、21.33%;极端梯度提升树的准确率、AUC值分别为70.85%、0.705，比降噪前分别提高了35.67%、35.06%;随机森林的预测准确率近75%，AUC值为0.745，比降噪前分别提高了约46%、45.22%。各模型的预测准确率相比降噪前均更高，即预测效果更好，分类性能更优，充分验证了降噪后的三种机器学习模型在股指涨跌预测问题上的有效性。不仅如此，降噪后随机森林预测的准确率相对支持向量机提高了19.31%，相对极端梯度提升树提高了5.76%，降噪后的随机森林预测模型在股指涨跌预测中表现出了十分显著的分类性能优势。　　最后，本文基于自身研究的不足之处提出了今后的研究方向：将更多影响股票价格的因素纳入机器学习的输入特征中，继续深入研究;更加深入机器学习的理论知识，使模型发挥其最大的优势。