关键词： 定量构效关系   定量结构毒性关系   毒性预测   急性毒性   呼吸道毒性   泌尿系统毒性   支持向量机   相关向量机   随机森林   eXtreme梯度提升   提升算法   集成学习   正则化   降维   递归特征消除   不平衡数据集  

摘要： 毒性是导致候选药物开发失败的主要原因之一,为了有效提高药物开发的效率和成功率,需要在药物研发的早期阶段对化合物的毒性进行评价并将毒性较强的化合物尽早排除。毒性的实验评价成本高、周期长、工作强度大,因此发展高效可靠的毒性理论预测和虚拟高通量筛选模型具有重要的意义。在本论文中,我们采用多种机器学习算法,构建了针对急性毒性、呼吸道毒性和泌尿系统毒性的理论预测模型,并探讨了不同机器学习算法的性能和适用情况。主要研究内容及结论如下:（1）.基于包含7385个化合物的大鼠经口急性毒性的大型数据集,采用相关向量机、支持向量机、k-最近邻回归、随机森林、局部近似高斯过程、多层感知器集成和极限梯度提升算法等技术构建一系列回归预测模型。采用了卡方统计量对分子描述符和分子指纹（PubchemFP或SubFP）进行了混合数据降维。在所有预测模型中,基于拉普拉斯核函数的相关向量机模型对测试集具有最优的预测能力（qe2xt=0.669～0.689）。此外,我们还构建了多个一致性预测模型,最优的一致性预测模型对测试集中的化合物可以实现较为准确的预测（qext2=0.689）。最后,我们对一些与毒性密切相关的分子描述符和分子指纹进行了深入分析。（2）.基于一个包含多个呼吸道毒性终点的小鼠数据集,采用相关向量机、支持向量机、正则化随机森林、极限梯度提升、朴素贝叶斯和线性判别分析算法构建了多个呼吸道毒性回归和分类预测模型。为了确定最优的分子描述符子集,采用标准化一卡方统计量过滤—单变量过滤rfSBF-递归特征消除RFE-RF的四级策略对原参数集进行了降维。在所有预测模型中,基于高斯径向基核的支持向量机模型对测试集的化合物定量预测精度最优（qe2xt=0.707）,而极限梯度提升模型对测试集的化合物分类预测效果最优（测试集:MCC=0.644、AUC=0.893、灵敏度=82.24%、特异度=83.21%、全局精度=82.62%）。此外,我们还采用了多种方法分析了模型的应用域,并用杠杆方法确定了训练集中的41个响应异常值分子（hi＞0.004）、23个结构性影响的异常值分子（标准化残差＞3）和31个强影响分子（Cook距离＞0.00388）。最后,我们对回归预测误差较大以及错误分类的化合物的结构特征进行了系统分析。（3）.基于一个含有不同泌尿系统毒性终点的小鼠数据集,采用多种机器学习算法（支持向量机、相关向量机、正则化随机森林、C5.0决策树、极限梯度提升、Adaboost.M1、支持向量机提升和相关向量机提升算法）构建了多个回归和分类预测模型。用于回归和分类的最优的分子描述符子集的选择采用了基于随机森林的递归特征消除方法。在所有预测模型中,基于高斯径向基核的支持向量机提升模型对测试集的定量预测精度最优（qext2=0.845）,而基于高斯径向基核的支持向量机提升模型对测试集的分类效果最佳（测试集:MCC=0.787、AUC=0.893、灵敏度=89.58%、特异度=94.12%、全局精度=90.77%）。此外,我们还使用了多种方法分析了模型的应用域,并用杠杆方法确定了训练集中的3个响应异常值分子（hi＞0.762）、4个结构性影响的异常值分子（标准化残差＞3）和10个强影响分子（Cook距离＞0.02797）。最后,我们对具有较大回归预测误差的化合物及错误分类的化合物的结构特征进行了系统分析。（4）.此外,我们还研究了几种新型机器学习算法的性能和适用性,相关向量机、极限梯度提升和支持向量机提升算法的性能较好,而正则化随机森林和局部近似高斯过程回归算法的性能则有待提高。

关键词： 空气质量预测   分类算法   混合模型   位置数据   网络爬虫  

摘要： 随着我国雾霾问题的日益严重,人们越来越关注空气质量,预测未来时间和未知区域的空气质量可以给人们生活提供建议,而城市中的普通人往往关注空气质量等级而不是某一个污染物的指数,所以预测空气质量等级有一定的现实意义。一般的气象学方法例如大气预测模型、污染扩散模型,往往结构复杂,计算量高。传统的机器学习方法能避免这些问题,但是数据源和模型结构都较为单一。如何利用城市里高速发展的互联网产生的大量数据,深入理解分析空气质量预测课题,提取特征构造模型,从而提高空气质量预测的效果是一个值得探索的问题。本文提出了基于位置数据的空气质量分类混合预测模型,主要研究工作如下:1)研究空气质量和气象特征,时间特征,POI(Point of Interest)特征,以及位置数据之间的相关性。2)对于未来时间的空气质量等级预测,在时间上用SVM算法分类,在空间上对周边区域通过分割整合处理特征,使用ANN算法进行分类,再将两个预测结果通过决策树整合。3)对于未知空间的空气质量等级预测,在时间上用CRF算法分类,在空间上用KNN选择若干个相似的已知区域,计算两两之间的相关系数作为特征,使用GBDT算法进行分类,最后用决策树整合。4)通过一系列实验,研究位置人流数据,即位置数据的使用粒度对预测效果的影响,比较本文中使用位置数据的混合分类模型与回归模型、单一模型、以及其他传统模型的性能,结果显示本文的模型有一定的改进。

关键词： 引导学习   知识   经验   机器学习   人工智能   智能电网   健康诊断  

摘要： 该文以配电网健康指数综合分析与诊断为例,探讨如何将引导学习用于科学研究和实践应用。首先,对配电网健康指数的研究背景做了简要讨论。其次,提出了一种内嵌专业知识与经验的引导学习算法。该算法以Softmax Regression为基准学习模型,通过建立知识函数,在学习目标中融入专业知识和经验,并应用Symbiotic Organisms Search算法对非凸非连续的学习目标进行优化,以获得最佳学习参数。然后,根据训练样本是否标记、是否包含噪声数据、是否为均衡样本等构建4种典型应用场景,测试并对比分析引导学习算法的性能。结果表明,所提方法具有较高的鲁棒性和安全性,可适用于诸如电力系统等具有开放、随机环境的复杂学习任务,是一种面向安全人工智能的有益探索。最后,探讨了机器学习软件/平台的发展趋势,并结合电力系统应用的特点,提出一种"单元化"机器学习系统的架构设计方案。

关键词： 机器学习   多标记学习   标记分布学习   标记流形   电影评分分布预测   人脸年龄估计  

摘要： 为了更好地解决标记不确定性问题,人们提出了新的学习框架——标记分布学习。与传统多标记学习相比,标记分布学习能够解决不同标记对示例描述程度不同的问题,因此能够更好地利用标记之间的相关性。尽管标记分布学习已经成功运用到了多个领域并且取得了较好的应用效果(如人脸年龄估计、表情识别、多标记排序等),但目前的研究仍然存在一些问题。首先,在数据层面,标记分布学习要求输入数据的标记必须为分布形式,而当前机器学习领域研究更多的是分类问题,对于其中绝大部分应用来说,标记分布是难以获得的,这就极大地限制了标记分布学习的应用范围。其次,对于某些特定领域(如人脸年龄估计),由于存在先验知识,标记分布可以从原始分类数据中自适应地学习得到,但是这种方法对训练数据量的要求很高,当数据量不足时自适应过程就会失效以致于无法学习到合理的标记分布。最后,在方法层面,目前的标记分布学习算法仍然较少,很多机器学习领域成熟有效的算法(如支持向量机)没有能够很好地引入到标记分布学习中来。本文的目标是针对以上问题展开深入研究并提出相应的解决方法。本文的主要贡献包括:1.以多标记学习为例,对标记分布进行扩展并首次提出了“标记流形”的概念,同时提出了“多标记流形学习”(ML2)算法,降低了标记分布学习对输入数据的要求,使其能够直接应用在传统分类数据上;2.以人脸年龄估计问题为例,提出了“半监督自适应标记分布学习”(SALDL)算法,通过引入无标记数据,解决了标记自适应过程对数据量的要求,提高了标记分布学习在有标记数据不足情况下的性能;3.提出了“标记分布支持向量回归”(LDSVR)算法,该算法对经典的支持向量回归(SVR)算法进行扩展,通过引入核技巧,提高了标记分布学习的性能;4.以电影评分分布预测为例,提出将标记分布学习应用到评分类应用问题中,并收集公开了相应的数据集,极大地扩展了标记分布学习的应用范围。

摘要： Matrix representations are a natural way to represent many forms of networked and tabulated data. These include connections among people, user preferences over items, or (the time-series of) bot-net attacks against entities. Models based on matrix factorization have been extensively studied in machine learning and statistical analysis. In this thesis, we address issues related to learning with matrix structured data such as interpreting missing values in a highly sparse matrix. The impact of missing information on matrix structured data can be serious and lead to biased estimates of parameters, increased standard errors, and decrease the ability to generalize findings. We address this issue in three different applications. In the first part of this dissertation, our goal is to determine the structural differences between different categories of networks (represented as adjacency matrices) and to use these differences to predict the network category. We propose Cliqster, a new Bernoulli process-based model for unweighted networks. By solving this problem, we are able to present an efficient algorithm for transforming the network to a new space which is both concise and discriminative. This new space preserves the identity of the network as much as possible. Our algorithm is interpretable and intuitive. In the second part of this work, we have matrices that represent users’ preferences (in the form of ordinal or “1-5 star” ratings) over items. The task of predicting a user’s rating of items is solved by recommendation systems. Recommendation systems have been widely used by commercial service providers for giving suggestions to users. Collaborative filtering (CF) systems, one of the most popular recommendation systems, utilize the history of behaviors of the aggregate user-base to provide individual recommendations and are effective when almost all users faithfully express their opinions. However, they are vulnerable to malicious users biasing their inputs in order to

摘要： Advances in techniques have been producing increasingly complex neural recordings, posing significant challenges for data analysis. This thesis discusses novel statistical methods for analyzing high-dimensional neural data. Part one discusses two extensions of state space models tailored to neural data analysis. First, we propose using a flexible count data distribution family in the observation model to faithfully capture over-dispersion and under-dispersion of the neural observations. Second, we incorporate nonlinear observation models into state space models to improve the flexibility of the model and get a more concise representation of the data. For both extensions, novel variational inference techniques are developed for model fitting, and simulated and real experiments show the advantages of our extensions. Part two discusses a fast region of interest (ROI) detection method for large-scale calcium imaging data based on structured matrix factorization. Part three discusses a method for sampling from a maximum entropy distribution with complicated constraints, which is useful for hypothesis testing for neural data analysis and many other applications related to maximum entropy formulation. We conclude the thesis with discussions and future works.

关键词： 诊断效能   PI-RADSv2   MR   机器学习方法   前列腺癌  

摘要： 摘要目的探究MRI影像组学的机器学习方法是否有助于提高前列腺成像报告和数据系统(PI-RADS v2)在临床相关前列腺癌(PCa)的诊断效能。方法本研究经机构伦理委

关键词： 流存分析   组合分类器   logistic回归   SVM   同质性检验  

摘要： 随着旅游业的迅速发展,旅游市场之间的竞争也日趋激烈,为了在市场份额占据领导地位,各旅游服务公司不断扩展新型业务,促销新的套餐。当网站进来一个用户时,大多数的用户会流失掉,一部分将会成为公司的用户,因此能够将其转化为自己的用户,提高转化率和客户忠诚度十分关键。这也是本文中提出用户流存分析的原因。本文中希望通过用户访问网站的行为数据找出影响用户流存的关键因素,并通过算法的研究预测访问网站用户最终留存情况。本文通过四种机器学习算法建立某旅游网酒店业务网站访问用户的流存预测模型:logistic回归、SVM、随机森林和AdaBoost算法(组合分类器算法)。首先对数据集进行预处理,包括处理缺失值、异常值,同时为了消除量纲的影响对变量进行标准化。接着把数据准备好后将研究数据集按照3:1的比例划分成训练集和测试集。通过非参检验方法验证训练集与测试集数据是否服从相同分布,去掉未通过同质性检验的变量。最后,利用上面的四种算法分别建立模型,对比各种模型下所生成的规则对测试集预测的结果。通过对四种算法结果的对比,发现随机森林算法在本文的数据集研究上取得的预测效果最好。

关键词： 引导学习   知识   经验   机器学习   人工智能   智能电网   健康诊断  

摘要： 简要介绍机器学习的发展历程,分析了典型机器学习算法的主要特征及局限性。然后,结合电力领域特征,分别从工程实际、研究机理和"知识资产管理"需要3个层面,探讨了电力领域对机器学习方法的要求。在此基础上通过将专业知识和经验进行数学化表示和封装,提出一种嵌入"知识函数单元"的机器学习方法——引导学习,重点研究其理论基础、架构和原理。引导学习的主要特点是结合了领域知识经验和机器学习,提供了一种知识分析与数据挖掘相融合的机器学习范式,探索了人机协同混合增强智能的实现机理和电力知识资产传承管理的可行路线。最后,探讨了需进一步研究的问题。

摘要： Modeling municipal or urban decisions is challenging due to the abundance of variables that guide end results. One such challenging issue is the existence of vacant lots in a city, which causes poorer standard of living for the community. As a result, reclaiming these properties and putting them into productive use is a primary concern. However, each time community leaders had to ``reinvent the wheel'' and make decisions from scratch. To this end, we propose the creation of a vacant lot model and utilizing it to provide recommendations for vacant lot conversions, providing a starting point for such decision making. We define a vacant lot model in terms of determinants to a vacant lot's impact, and evaluate the proposed method on real-world vacant lot datasets from the cities of Philadelphia, Pennsylvania and Baltimore, Maryland. Our results indicate that our prediction model performs accurately on cities with a centralized approach to vacant lot conversion.