关键词： 足球机器人系统   多智能体系统   机器学习   对手建模   路径规划  

摘要： 足球机器人是目前人工智能领域研究的热点之一。它通过提供一个标准问题来促进人工智能和智能机器人的研究。这个领域可以集成并检验很大范围内的技术，同时也是推动信息领域产、学、研结合的重要途径。 足球机器人系统中，每个队的队员通过相互协作的运动控制完成比赛的任务。每个机器人不断观察环境的状态，通过决策过程给出对机器人左右轮速的信号。在这个过程中，高层决策往往给出一个运动目标点，经过路径规划后输出对机器人的控制信号。因此在足球机器人系统中，高层决策的智能度和路径规划算法的性能决定了足球机器人系统的控制性能。 机器人足球比赛的环境是一个动态、复杂、对抗的环境，并且每个机器人只能得到场上的不完全信息，如何使机器人能通过不断的学习提高自己的性能是开发足球机器人系统的关键内容。 机器人足球比赛过程中，由于存在竞争的一方，实时跟踪对手的行为状态、分析对手的思维和意图是对抗活动的基本前提，建立对手模型很有必要。本论文以Agent的BDI模型为思维模型，在概率信念逻辑基础上，引入换位原理，给出了一种多智能体对手建模的新思路并将之应用到机器人足球比赛中。通过对敌对的足球机器人团队进行建模，对对方的行为进行合理预测，并且采取相应的行动以创造机会遏制对方的行动。本文提出的方法，还可以达到在动态开放环境下，特别是信息不完全的情况下实时推断机器人团队中其他同伴的思维状态，为团队协作提供支持。另外，对手建模的过程也是学习对手的过程，可以将从对手那里学习到的有效的策略加入到自己的知识信念库里，以丰富本方策略。 足球机器人系统中，路径规划是高层决策和底层控制间的衔接部分，路径规划算法的性能在很大程度上影响机器人队员的性能。本论文将增强式学习算法和人工势场法相结合，提出状态评价函数和势场的对应关系，以及控制策略和势场力方向的对应关系，通过机器人的自适应学习，来形成优化的人工势场，使机器人能够以最短路径绕过障碍，到达目标。同基于传统人工势场法相比，此方法避免了不合理势场方程所引起的局部极小值问题，而且通过学习得到的策略，可以得到从任意起始位置开始的最优路径。通过实验表明本文方法能有效解决多障碍环境中机器人避碰和导航问题，实现了动态环境中实时、无碰和优化的路径规划，并具有较好的实时性能。

关键词： 统计学习理论,核机器,支撑矢量机,再生核,再生核Hilbert空间,模式识别,回归估计,数学规划,复值样本,主分量分析,多用户检测,数字均衡,波束形成  

摘要： 从上世纪60年代始，人们开始研究基于数据的机器学习问题理论，直至上世 纪九十年代，在Vapnik等人的努力下，基于数据的机器学习理论得到了长足的发 展，形成了一门比较完善的统计学习理论，并在此基础上创建了一类全新的通用 的有效的机器学习算法：支撑矢量机。统计学习理论的精髓在于引入了假设函数 集容量控制的概念，学习机为了获得好的推广能力，需在假设函数集容量控制和 最小化经验风险之间作一个好的折衷。在统计学习理论出现和完善之前，在机器 学习中引入核函数，更广义地说就是引入非线性映射和非线性函数技术早已有之。 但核函数真正在机器学习中获得成功应用始于支撑矢量机。其原因就是由于引入 了非线性函数，使得学习机假设函数集太大，容易导致学习机的过拟合而降低推 广能力。正是统计学习理论和核技术的结合，才触发了从上世纪九十年代中期开 始的核机器的出现和快速成功的发展。目前主要的核机器技术包括支撑矢量机、 核Fisher分类器和核主分量分析等。本论文的所有工作正是在上述结合点上展开，主要包括两大部份的内容：支撑矢量机算法分析和改进方面以及基于统计学习理 论的新核机器算法方面。 在支撑矢量机算法分析和改进方面，本论文主要作了以下四方面的工作：第一、分析了支撑矢量机的基本几何性质。我们针对模式识别和回归估计两 类支撑矢量机，分别分析和证明了它们的一些基本几何性质，基于这些性质讨论 了支撑矢量机对新增样本的推广能力，得到了一些非常有价值的结论。从这些结 论可以看出支撑矢量机对新增样本具有良好的推广能力，并且支撑矢量机是一种 可积累的学习模型。 第二、提出了线性规划支撑矢量机。我们通过对统计学习理论中一些重要结论，特别是线性假设函数集VC维数的分析，得到了一类线性规划支撑矢量机。在线性 规划支撑矢量机中，以对VC维数界作适当放宽为代价，从而降低支撑矢量机的求 解复杂度。在该章最后对人工和实际样本的实验结果说明了线性规划支撑矢量机 采用放宽VC界对学习机推广能力的影响是可以接受的，而在计算复杂度上明显优 于原支撑矢量机。 第三、提出了无约束规划回归估计支撑矢量机。当采用高斯损失函数时，我们 提出了一种无约束支撑矢量机回归估计算法，并证明了该算法具有严格的凸性，不存在局部极小解。该算法较标准支撑矢量机而言，由于不存在线性约束，可以 雷达信号处理重点实验室 II核机器学习方法研究 采用快速的多维搜索数值方法，如最陡下降法、Newton法和共轭梯度法等具有较 快的优化速度，而且能够直接推广到复数域中。 第四、提出了自适应支撑矢量机算法。通常无线通信信道具有时变性，要求多 用户检测算法具有自适应性。我们提出了一种自适应支撑矢量机方法，并把它用 于信道时变情况下的多用户检测。一方面由于支撑矢量机引入结构风险，使得支 撑矢量机多用户检测的推广能力较好且对训练要求的样本数也大大下降；另一方 面由于支撑矢量机的非线性特性可以比线性检测器更好地逼近最佳检测器。 在新的基于统计学习理论的核机器方面，本论文主要作了以下四方面的工作。 第一、提出了一种新的支撑矢量机模型选择准则。支撑矢量机模型选择由于 其高度的非线性一直是一个非常困难的公开问题。我们通过对支撑矢量机推广能 力的分析，提出了一种构造性的与样本分布有关的推广能力衡量准则。该准则与 统计学习理论中的推广能力准则具有几何上的一致性，由样本的二阶统计量构成，比已有的完全不依赖于样本分布的推广能力上界更能反映学习过程的收敛性和收 敛速率。较为重要的一点是该准则在学习过程之前是可处理的，所以它可以用作 所有分类器中数据预处理的准则，同时也可以为支撑矢量机模型的选择提供依据。 第二、提出了复值支撑矢量机算法。支撑矢量

摘要： The current approach to detecting novel attacks in network traffic is to model the normal frequency of session IP addresses and server port usage and to signal unusual combinations of these attributes as suspicious. We make four major contributions to the field of network anomaly detection. First, rather than just model user behavior, we also model network protocols from the data link through the application layer in order to detect attacks that exploit vulnerabilities in the implementation of these protocols. Second, we introduce a time-based model suitable for the bursty nature of network traffic: the probability of an event depends on the time since it last occurred rather than just its average frequency. Third, we introduce an algorithm for learning conditional rules from attack free training data that are sensitive to anomalies. Fourth, we extend the model to cases where attack-free training data is not available. On the 1999 DARPA/Lincoln Laboratory intrusion detection evaluation data set, our best system detects 75% of novel attacks by unauthorized users at 10 false alarms per day after training only on attack-free traffic. However this result is misleading because the background traffic is simulated and our algorithms are sensitive to artifacts. We compare the background traffic to real traffic collected from a university departmental server and conclude that we could realistically expect to detect 30% of these attacks in this environment, or 47% if we are willing to accept 50 false alarms per day.

关键词： 数据挖掘   机器学习方法   神经网络方法   关联规则发现   数据库技术   多维数据分析  

摘要： 一、引言随着计算机信息技术、数据库技术的迅速发展以及数据库管理系统的广泛应用,无数个数据库被用于商业管理、政府办公、科学研究和工程开发等领域。要想使数据真正成为一个公司的资源,只有充分利用它为公司自身的业务决策和战略发展服务才行,否则大量的数据可能成为包袱,甚至成为垃圾,人们正面临'数据丰富而知识贫乏'的挑战。因而数据挖掘技术应运而生,得以蓬勃发展,并越来越显示出其强大的生命力。

ISBN: (纸本)780073708X

关键词： 径向基函数神经网络   层次遗传算法   并行计算   机群系统   数据挖掘   数据分类   预测   时间序列数据库  

摘要： 随着现代信息技术的迅速发展，许多领域都积累了大量的数据。我们渴望发现潜在于这些数据中的知识与规律。正是这一需求造就了数据挖掘学科的兴起及数据挖掘技术的发展。作为一个多学科交叉的综合性领域，数据挖掘涉及了数据库、统计学、机器学习、高性能计算、模式识别、神经网络和数据可视化等学科。数据分类与预测作为一种重要的挖掘技术有着广泛的应用。在这一研究方向，目前已提出了多种分类方法（如决策树归纳分类、贝叶斯分类、神经网络分类和K-最邻近分类等）和一些预测技术（如线性回归、非线性回归等）。然而，尚未发现有一种方法对所有数据的处理都优于其他方法[1]。 由于时间序列数据库的日趋庞大及其挖掘的潜在意义，目前，时序数据挖掘研究已成为一个热点；然而,时间序列数据的非线性混沌特点，使得对它的挖掘成为难题。本文在分析与比较以上几种分类及预测方法的基础上，引入了径向基函数神经网络（Radial Basis Function Neural Network，简称RBFNN）对时间序列数据进行预测。在介绍该神经网络优点的同时，也阐述了其中较为棘手的难点。文中使用了层次遗传算法作为神经网络学习方法。在分析该方法可行性及效率的基础上，本文提出了用粗粒度并行方法进行径向基函数神经网络训练的思想，并建立了求解模型，旨在取得较好的预测效果。 最后，本文应用上述并行模型优化的RBF神经网络对非线性函数值以及证券个股收盘价进行预测。实验结果表明，当数据无噪声时，预测效率与精度都非常高；在处理带噪声，并呈现混沌特性的数据时，虽有一定的误差，但预测结果还是在可以接受的范围内。

关键词： 支持向量机   L2-软间隔   积极集法   加权Parzen窗   分解迭代  

摘要： 以往的工作中,大部分的研究和应用都是基于 L1-软间隔支持向量机方法的.该文首先较为系统地讨论了 L2-软间隔支持向量机方法,探讨了它与 L1-软间隔支持向量机方法相区别的一些性质,如支持向量分布和几何特性等.在实现算法上,该文针对 L2-软间隔支持向量机方法提出了一种基于积极集法的快速支持向量机训练算法,该算法采用了分解迭代的策略,使用积极集方法来求解二次规划子问题,有效地简化了支持向量机的实现步骤.在多个标准数据集上的数值实验表明,该算法对正则参数C<\'\'>的变化不敏感,且在正则参数取值较大C<\'\'>>10时,新算法所需的训练时间比经典的 SVM<\'light>算法要少的多,而得到的预测准确率可以与基于 L1-软间隔支持向量机的算法相比拟.此外,该文从几何直观角度研究了 L2-软间隔支持向量机方法,改进了Keerthi等人提出的最小模算法.使得该算法在所需计算量上可以与近来Keerthi等人提出的最近点对算法(即NPA算法)相比拟,但在编码实现上要简单得多.该文进一步研究了大间隔分类方法.将 L2-软间隔方法与Kernel-Adatron算法相结合,改进了Kernel-Adatron算法,使其不再受样本在特征空间中是线性可分的假设的约束,从而在特征空间中仍然得到统计力学对其收敛速度的理论保证.同时改进了Minover方法,给出了一种加快Kernel-Adatron算法收敛速度的新方法.最后,该文研究了一种基于加权Parzen窗的数据聚类方法.该方法放宽了Parzen窗的权系数限制,采用加权Parzen窗获得对数据分布状态的良好描述,并根据数据的分布状态得到不同模式类的分界面,将聚类过程转变为求解加权Parzen窗权值的线性规划问题.

关键词： MACHINE learning   MACHINE theory  

摘要： Classification methods used in machine learning (e.g., artificial neural networks, decision trees, and k-nearest neighbor clustering) are rarely used with population genetic data. We compare different nonparametric machine learning techniques with parametric likelihood estimations commonly employed in population genetics for purposes of assigning individuals to their population of origin ("assignment tests"). Classifier accuracy was compared across simulated data sets representing different levels of population differentiation (low and high F-ST), number of loci surveyed (5 and 10), and allelic diversity (average of three or eight alleles per locus). Empirical data for the lake trout (Salvelinus namaycush) exhibiting levels of population differentiation comparable to those used in simulations were examined to further evaluate and compare classification methods. Classification error rates associated with artificial neural networks and likelihood estimators were lower for simulated data sets compared to k-nearest neighbor and decision tree classifiers over the entire range of parameters considered. Artificial neural networks only marginally outperformed the likelihood method for simulated data (0-2.8% lower error rates). The relative performance of each machine learning classifier improved relative likelihood estimators for empirical data sets, suggesting an ability to "learn" and utilize properties of empirical genotypic arrays intrinsic to each population. Likelihood-based estimation methods provide a more accessible option for reliable assignment of individuals to the population of origin due to the intricacies in development and evaluation of artificial neural networks.

关键词： 知识发现   数据挖掘   Web挖掘   XML   数据库   统计分析方法   机器学习方法  

摘要： 在总结KDD方法和DM技术的基础上 ,对web挖掘的现状。

关键词： Markov random fields (MRIF)   spatial autoregression (SAR)   spatial context   spatial data mining  

摘要： Modeling spatial context (e.g., autocorrelation) is a key challenge in classification problems that arise in geospatial domains. Markov random fields (MRF) is a popular model for incorporating spatial context into image segmentation and land-use classification problems. The spatial autoregression (SAR) model, which is an extension of the classical regression model for incorporating spatial dependence, is popular for prediction and classification of spatial data in regional economics, natural resources, and ecological studies. There is little literature comparing these alternative approaches to facilitate the exchange of ideas (e.g., solution procedures). We argue that the SAR model makes more restrictive assumptions about the distribution of feature values and class boundaries than MRF. The relationship between SAR and MRF is analogous to the relationship between regression and Bayesian classifiers. This paper provides comparisons between the two models using a probabilistic and an experimental framework.