关键词： Bayesian multinomial logistic regression   conditional inference forests   Random forests   waveform signatures   tree segmentation   watershed   composite waveform   decomposition  

摘要： A plethora of information contained in full-waveform (FW) Light Detection and Ranging (LiDAR) data offers prospects for characterizing vegetation structures. This study aims to investigate the capacity of FW LiDAR data alone for tree species identification through the integration of waveform metrics with machine learning methods and Bayesian inference. Specifically, we first conducted automatic tree segmentation based on the waveform-based canopy height model (CHM) using three approaches including TreeVaW, watershed algorithms and the combination of TreeVaW and watershed (TW) algorithms. Subsequently, the Random forests (RF) and Conditional inference forests (CF) models were employed to identify important tree-level waveform metrics derived from three distinct sources, such as raw waveforms, composite waveforms, the waveform-based point cloud and the combined variables from these three sources. Further, we discriminated tree (gray pine, blue oak, interior live oak) and shrub species through the RF, CF and Bayesian multinomial logistic regression (BMLR) using important waveform metrics identified in this study. Results of the tree segmentation demonstrated that the TW algorithms outperformed other algorithms for delineating individual tree crowns. The CF model overcomes waveform metrics selection bias caused by the RF model which favors correlated metrics and enhances the accuracy of subsequent classification. We also found that composite waveforms are more informative than raw waveforms and waveform-based point cloud for characterizing tree species in our study area. Both classical machine learning methods (the RF and CF) and the BMLR generated satisfactory average overall accuracy (74% for the RF, 77% for the CF and 81% for the BMLR) and the BMLR slightly outperformed the other two methods. However, these three methods suffered from low individual classification accuracy for the blue oak which is prone to being misclassified as the interior live oak due to the simi

关键词： Schizophrenia   Schizo-obsessive disorder   VBM   Machine learning   Ant colony optimization  

摘要： Schizo-obsessive disorder is characterized by the clinical syndrome in which comorbid obsessive-compulsive disorder accompanies schizophrenia. A substantial number of studies have investigated the neuropsychological and clinical differences between schizophrenia and schizo-obsessive disorder. However, the neurostructural differences between these two groups have not been adequately investigated. The aim of this study was to explore gray matter differences between schizophrenia and schizo-obsessive patients using voxel-based morphometry and support vector machines combined with feature selection algorithm. Twenty-three schizophrenia and 23 schizo-obsessive patients matched by age, gender and handedness were recruited. Clinical assessments were completed in addition to high-resolution structural MRI scanning. Group differences were investigated using contrast maps, and significant regions were subjected to a feature selection and support vector machine hybrid model. In addition, voxel-of-interest values for the commonly shared brain areas between schizophrenia and OCD reported in previous meta-analyses were also used as inputs in this step. The results showed that schizo-obsessive patients had greater gray matter densities in paracentral areas (including supplementary motor area) and middle cingulate gyrus than schizophrenia patients. These brain areas together with the fronto-subcortical areas could successfully discriminate two groups with an accuracy of 78.26 %. Our results provide the first neuroanatomical evidence that schizo-obsessive disorder and schizophrenia may be two distinct clinical entities. Based on these findings, considering schizo-obsessive disorder as a subtype of schizophrenia is discernible.

关键词： Lithology identification   Supervised learning   Gradient boosting   Tuning parameter  

摘要： Identification of underground formation lithology from well log data is an important task in petroleum exploration and engineering. Recently, several computational algorithms have been used for lithology identification to improve the prediction accuracy. In this paper, we evaluate five typical machine learning methods, namely the Naive Bayes, Support Vector Machine, Artificial Neural Network, Random Forest and Gradient Tree Boosting, for formation lithology identification using data from the Daniudui gas field and the Hangjinqi gas field. The input to each model consists of features selected from different well log data samples. To determine the best model to classify the lithology type, this study used validation curve to determine the parameter search range and adopted the hyper-parameter optimization method to obtain the best parameter set for each model. The performance of each classifier is also evaluated using 5-fold cross validation. The results suggest that ensemble methods are good algorithm choices for supervised classification of lithology using well log data. The Gradient Tree Boosting classifier is robust to overfitting because it grows trees sequentially by adjusting the weight of the training data distribution to minimize a loss function. The random forest classifier is also a suitable option. An evaluation matrix showed that the Gradient Tree Boosting and Random Forest classifiers have lower prediction errors compared with the other three models. Although all the models have difficulties in distinguishing sandstone classes, the Gradient Tree Boosting performs well on this task compared with the other four methods. Moreover, the classification accuracy is remarkably similar across the lithology classes for both the Random Forest and Gradient Tree Boosting models.

关键词： Big data analytics   Machine learning   Mineral exploration   Geochemical anomalies   GIS   Fujian Province  

摘要： Big data analytics brings a novel way for identifying geochemical anomalies in mineral exploration because it involves processing of the whole geochemical dataset to reveal statistical correlations between geochemical patterns and known mineralization. Traditional methods of processing exploration geochemical data mainly involve the identification of positive geochemical anomalies related to mineralization, but ignore negative geochemical anomalies. Therefore, the identified geochemical anomalies do not completely reflect the sought geochemical signature of mineralization, leading to uncertainty in geochemical prospecting. In this study, data for 39 geochemical variables from a regional stream sediment geochemical survey of southwest Fujian Province of China were subjected to big data analytics for identifying geochemical anomalies related to skarn-type Fe polymetallic mineralization through deep autoencoder network. The receiver operating characteristic (ROC) and areas under curve (AUC) were applied to evaluate the performance of big data analytics. The AUC of the anomaly map obtained using all the geochemical variables is larger than the AUC of the anomaly map obtained using only five selected elements known to be associated with the mineralization (i.e., Fe2O3, Cu, Pb, Zn, Mn). This indicates that big data analytics, with the support of machine learning methods, is a powerful tool for identifying multivariate geochemical anomalies related to mineralization.

关键词： Clustering   homelessness   machine learning   predictive modeling   shelter services  

摘要： New York City faces the challenge of an ever-increasing homeless population with almost 60,000 people currently living in city shelters. In 2015, approximately 25% of families stayed longer than nine months in a shelter, and 17% of families with children that exited a homeless shelter returned to the shelter system within 30 days of leaving. This suggests that "long-term" shelter residents and those that re-enter shelters contribute significantly to the rise of the homeless population living in city shelters and indicate systemic challenges to finding adequate permanent housing. This article focuses on our preliminary work with Win (Women-in-Need) shelters to understand the factors that predict readmission and length-of-stay of homeless families. We create a unified, comprehensive database of the homeless population being served by Win shelters, accounting for more than 6,000 homeless families. We apply logistic regression models and an unsupervised clustering algorithm to identify predictors of re-entry and long-term length-of-stay. Citizenship, age, medical conditions, employment, and history of foster care or shelter stays as a child are found to be significant predictors. The results of the K-means clustering identify three primary groups, consistent with previous typologies characterized by transitionally homeless, episodically homeless, and chronically homeless.

关键词： 机器学习方法   深度学习   人脑磁共振成像   特征提取   稀疏编码  

摘要： 人脑,作为世界上最复杂的系统之一,连接的数量超过数千亿。大脑是人类情感、思维、认知、行为、情绪等产生的来源,是自然界留给人类的最后一个密码本。磁共振成像(Magnetic Resonance Imaging,MRI)技术为我们揭开人脑的奥秘奠定了坚实的技术基础。例如人脑结构磁共振成像(Structural Magnetic Resonance Imaging,sMRI)可以用来反映人脑结构上的特点与变化,而功能磁共振成像(Functional Magnetic Resonance Imaging,fMRI)则能够反映人脑的功能活动模式,帮助人们更好地理解人脑的思维模式和活动规律。近年来,机器学习方法的兴起在计算机视觉和模式识别领域引起了广泛的关注。相比于传统的统计分析方法,机器学习方法能够在人脑中提取出更多人眼不可见的信息,为模式分类、组间差异分析提供了新的视角和平台。本文,利用了三种机器学习方法,分别是三维特征提取技术、组稀疏编码技术以及深度学习技术,用于解决人脑性别鉴别、精神分裂症组间差异分析、多中心大数据脑影像分类问题,论文主要包括以下三个方面的工作。基于三维特征提取的人脑磁共振性别鉴别。通过检测人类大脑来判断性别信息,不是一项简单的任务,因为人脑的空间结构是极其复杂的,并且直接通过肉眼是看不出任何区别的。在本文中,我们提出了一个全新的三维特征描述算子:三维加权梯度方向直方图(Three Dimensional Weighted Histogram of Gradient Orientation,3D WHGO),用来描述人脑中的复杂空间结构。我们提出的三维特征描述算子融合了信号强度的局部信息和全脑的三维空间全局信息。我们还改进了一个算法框架,用于处理基于人脑磁共振成像数据的三维图像分类问题。这个框架,三维空间金字塔,增加了特征之间的空间关系作为额外的信息。我们提出的方法能够在个体水平区分性别。我们通过使用个体磁共振成像扫描的性别鉴别来测试我们的方法,这些扫描是来自于四个研究中心的大量健康成年人样本,在优化参数下,我们得到了区分女性和男性高达个体水平的精度。与之前的方法相比,我们提出的方法获得了更高的正确率,表明这项技术具有更高的判别能力。正是因为在性别鉴别上具有更好的性能,我们提出的方法可能在临床实践和在精神神经疾病的研究中有潜在的能力。基于组稀疏编码的精神分裂症研究。静息态功能磁共振成像数据已经成为分析认知功能和精神疾病损伤强有力的技术手段,这些精神疾病包括精神分裂症。过去的组分析方法都是基于人脑中某个脑区在某个脑功能网络中进行的研究,然而最近有研究表明一些脑区是同时地参与到多个功能网络的活动中。在本文中,我们提出了一个新的机器学习方法,称作组间稀疏编码,用来在静息态功能磁共振成像信号中寻找精神分裂症病人与健康对照组之间的差异。我们的分析是基于全脑体素信号的组水平稀疏表达。本文研究了组稀疏编码方法在精神分裂症分析中的应用,试图通过这样的方法寻找精神分裂症区分于正常人的特征模式。首先,我们提取出所有被试的功能磁共振成像信号,这些数据通过预处理的过程已经映射到标准的MNI模板空间,以此构建一个大规模的输入信号矩阵。其次,我们使用字典学习和稀疏编码的方法来获得系数矩阵。接着,我们使用双样本t检验的方法来分析精神分裂症病人相比于正常人增强和减弱的活动模式。最后,使用AAL模板来分析检测到的区域分布情况。我们在COBRE数据集上测试了我们的方法,实验结果表明精神分裂症病人相比于正常人,在额顶注意网络和默认模式网络出现增强的模式。而其他的除了额顶注意网络,都呈现减弱的模式。这些结果也为更好的理解精神分裂症提供了新的视角。基于深度学习的多中心脑影像分类。随着神经影像技术的发展,越来越多的磁共振成像数据在临床中被采集。传统的基于单中心小样本的分析方法正在面临严峻的挑战。伴随着人工智能而生的深度学习技术,已经在很多研究中,表现出了解决基于大数据分类问题的强大能力,然而,这项技术还没有在神经影像的分类中得到广泛的应用。在本文中,我们提出一种新的三维深度叠加神经网络(3D Deep Adding Neural Network,3D DANet),用于处理来自于六个数据集超过61个中心的6008个样本的分类问题。我们提出的方法利用多个卷积层来提取不同方向的梯度信息并通过叠加方法来融合两个尺度下的空间信息。在标准的五折交叉验证的策略下,我们利用性别标签进行分类测试得到了超过92%的高正确率,证明了我们提出的方法能够有效的处理多中心大数据分类问题。与传统的分类方法和一些深度学习模型相比,我们提出的方法得到了更高的正确率,表明我们的方法在脑影像分类方面有更强的能力。据我们所知,我们的工作是首次在这样的大尺度和大规模的数据集上进行性别分类并得到这样

关键词： 支持向量机   海洋平台   健康监测   损伤识别   数值模拟  

摘要： 海洋平台长期处于恶劣的海洋环境下,不可避免地出现损伤。为保证平台在服役期内的安全作业,减少结构损伤所造成的安全威胁和经济损失,对平台进行损伤识别具有重要的安全意义和经济价值。传统的损伤检测方法存在明显的局限性,基于振动分析的结构健康监测已成为国内外学者的研究重点。结构健康监测通过结构的动态响应提取损伤敏感性特征,并基于这些特征进行结构安全状态的评估。然而海洋环境的复杂变化会干扰结构损伤所导致的动力响应的变化,进而致使现有的确定性分析方法在识别海洋平台结构损伤时难以发挥作用。在上述背景下,本文从机器学习的角度将支持向量机算法应用于海洋平台的损伤识别中,并通过数值模拟针对某在役导管架平台的杆件断裂进行了具体的分析。本文提出了在海洋平台损伤识别领域应用支持向量机算法的实现方法,重点讨论了特征向量的构建和支持向量机的模型选择,并对损伤定位进行了初步的研究。在样本集的构建过程中讨论了特征节点的选择和不同的测点数据的组合,建立了不同特征向量的样本集,对于三种支持向量机分别确定了最优特征维度。在支持向量机的模型选择中,对采用不同核函数的支持向量机分别进行了参数寻优,讨论了参数变化对识别结果的影响,最后讨论了优化后的高斯核支持向量机对缺失数据和含噪声数据的表现,并对损伤定位的识别进行了初步的探讨。

关键词： 多环芳烃   致癌性   构效关系   多元线性回归   机器学习  

摘要： 多环芳烃(Polycyclic aromatic hydrocarbons，PAHs)是自然环境中重要的持久性有机污染物。实验水平上对于致癌物的活性研究存在费用昂贵且周期较长的缺点，因此建立PAHs的定量构效关系(Quantitative structure-activity relationship，QSAR)模型对准确预测PAHs及其衍生物的致突变和致癌活性以及理解其毒性机理具有重要意义。本文基于量子化学方法优化分子结构并计算化合物结构描述符，经回归分析和模型分析筛选重要的描述符，继而使用多元线性回归和机器学习方法建立QSAR模型，并对模型进行分析。　　硝基多环芳烃(Nitro-PAHs)是含有至少一个硝基基团的PAHs衍生物。本研究首先选取具有致突变作用的48个Nitro-PAHs在Ames实验中的logTA100值作为实验观测值。然后，使用密度泛函方法对所有分子结构在M062X/6-311+g(d，p)水平上于气相中进行全几何优化和振动频率的计算。经相关分析和模型分析的两层描述符筛选办法，从64个分子描述符中筛选得到6个重要描述符，分别为:分子体积((m)V)、分子中苯环的个数(n2)、分子中氮原子的最负APT电荷数((APT)qNmin）、最高占据轨道能量(EHOMO)、分子亲电性(ω）和零点校正能(E0)。基于这6个描述符，使用多元线性回归以及径向基函数(RBF)、BP网络(BP)和支持向量机(SVM)三种机器学习方法建立Nitro-PAHs致突变性的预测模型，并得到15个优秀模型，其中由变量n2，EHOMO，E0和(APT)qNmin建立的QSAR模型为最优(R2total=0.9458);且机器学习方法建立的模型比多元线性回归方法建立的模型具有更好的预测性和可行性。　　在建立QSAR模型以预测致突变活性研究的基础上，根据logTA100值将Nitro-PAHs的致突变能力分为1、2和3三个等级，然后使用机器学习的方法，进一步对48种Nitro-PAHs进行了构效关系分级研究。首先，对基于DFT计算得到的64个分子描述符进行相关分析和模型分析的两层描述符筛选，得到了6个重要描述符，分别为:分子体积((m)V)、分子中碳原子的个数(nC）、分子中氮原子的最负APT电荷数((APT)qNmin)、最高占据轨道能量(EHOMO)、分子亲电性(ω)和零点校正能（E0）。然后，使用RBF、BP和SVM三种机器学习方法建立分级模型，这三种方法的最高分级正确率分别为95.83％、87.5％和96.88％，其中经由SVM方法的分级模型为最优。因此，我们将这三种机器学习方法进一步应用于PAHs致癌性的分级研究中。　　PAHs是一类重要的环境致癌物，能够诱发人类。在致突变研究的基础上，对49种苯系母体PAHs进行了QSAR分级研究。使用DFT方法在M062X/6-311+g(d，p)基组上对全部化合物进行了结构优化，获得42个分子描述符。经相关分析和模型分析筛选，最终得到8个重要的描述符:分子中苯环的个数(n2)、分子中碳原子的最负APT电荷数+氢((APT)qC+Hmin)、分子中碳原子的最正APT电荷数((APT)qCmax）、最高占据轨道能量(EHOMO)、次最高占据轨道能量(NHOMO)、氢原子的最正Milliken电荷(qHmax)、氢原子的最负Milliken电荷（qHmin）以及分子电负性(x)。然后应用RBF、BP和SVM这三种机器学习方法，建立致癌性分级相关的QSAR模型。结果表明,BP方法所得分级模型无法对PAHs的致癌性进行较为准确的分级;而使用RBF和SVM方法建立的分级模型，其计算值的正确率达到95％以上。　　在建立了49种苯系母体PAHs致癌性分级QSAR模型的基础上，我们又对127个Me-PAHs的致癌性进行了分级研究。首先使用DFT方法在M062X/6-311+g(d，p)水平上计算得到了51个分子描述符，经过相关分析和模型分析两层描述符筛选，确定了对致癌活性有重要影响的8个描述符，即分子中苯环的个数(n2）、分子中碳原子的最负APT电荷数+氢((APT)qC+Hmin)、分子中碳原子的最正APT电荷数((APT)qCmax)、最高占据轨道能量(EHOMO)、次最高占据轨道能量(NHOMO)、氢原子的最正Milliken电荷（qHmax）、氢原子的最负Milliken电荷(qHmin)以及分子电负性(x)，使用RBF和SVM方法建立了致癌性分级QSAR模型。结果表明，SVM方法用于Me-PAHs的致癌性分级时能够得到较高的判对率(＞90％)，而RBF方法不能对Me-PAHs的致癌性进行准确的分级，对测试集的判对率一般都低于60％。且使用SVM方法基于6个描述符(ω、n2、EHOMO、(APT)qC+H

关键词： 空气质量预测   深度信念网络   随机森林   特征选择  

摘要： 为了避免严重的空气污染对人体健康造成的不利影响，需要准确的实时空气质量预测。空气污染物浓度由许多复杂的因素所影响，识别与其相关的主要因素对于大气污染的预防和治理具有重要意义。机器学习方法可被用于选取与大气污染物浓度预测相关的特征和预测污染物浓度。本文以空气质量预测为研究对象，基于深度信念网络(DBN)和随机森林等机器学习模型，提出了一种用于回归问题的特征选择方法和三种预测方法。主要工作如下:　　1、提出了用于回归的特征选择方法FS-FR。首先，根据特征与因变量数值的大小以及变化趋势的相关性，基于DBN重构模型，选取了与回归任务相关的特征，然后，利用定义的相对相关度去除了相关特征中的冗余特征。最后，将提出的方法应用于与PM2.5浓度预测相关特征的选择研究中，通过实验验证了该特征选择方法的有效性。　　2、提出了权值传递的预测方法(WRF)和特征时变的权值传递预测方法(WRF-VF)。在WRF方法中，滑动窗口被用于采样最近数据作为训练样本。随着滑动窗向前滑动，一个用DBN预训练的深度神经网络(DBN-DNN)预测模型在被训练之后，用于对未来目标样本的因变量进行在线预测。对于预测模型，将网络每次训练好后的权值和偏置用于下一次它被训练时的初始权值和偏置。在一些时间序列预测问题中，与预测任务相关的特征的种类随时间而变化。为了解决这个问题，将权值传递使用的思想融入到用于回归的特征选择方法FS-FR中，然后将融入了权值传递的FS-FR方法和WRF方法相结合发展了WRF-VF方法。DBN重构模型每次训练好后的权值和偏置用于下一次它被训练时的初始权值和偏置。融入了权值传递的FS-FR方法被用于定期选择未来一段时间预测所需的特征。最后，提出的方法被应用于PM2.5浓度实时预测的案例研究中。　　3、提出了一种多任务学习的DBN-DNN预测模型。DBN被用于学习多个任务的特征表示，通过共享表示对多个相关任务同时进行求解。DBN最后一层与含有多个神经元的sigmoid输出层之间的节点连接采用局部连接，避免全连接网络在训练网络权值时为兼顾各任务的训练而使得训练好的网络对单个任务的预测精度偏低这一问题。提出的模型被用于预测PM2.5，NO2和SO2这三种存在化学反应且浓度走势相近的污染物的浓度。　　4、提出了一种基于随机森林的在线预测方法，用于提前24小时预测三种大气污染物(PM2.5，NO2，SO2)的浓度。在预测模型被训练之前，使用基于随机森林的变量选择方法(VSURF)选取与空气污染物浓度预测相关的因子。　　上述提出的方法的性能通过使用微软研究院的数据集来评估。与几种经典及先进的方法比较表明提出的预测方法更适用于预测空气污染物浓度，并且能够得到较基准方法更好的预测精度。本文所提出的方法均为机器学习一般性方法，它们不局限应用于大气污染物浓度预测相关特征的选择以及浓度预测的案例研究。