关键词： 词频统计   词频分布   信息检索   贝叶斯网络  

摘要： 随着科技的发展,我们步入了一个信息化的社会,其信息量呈几何级数增加,如何有效地进行信息检索分类,以满足人们对信息的需求。而现有待处理信息中以文本文档占据大多数,本文主要研究文本文档的检索分类技术。 词频统计是进行信息处理工作的基础,本文对词频统计方法尤其是多关键词的词频统计进行了研究,设计了一种有效的多关键词词频统计方法——利用检索树来词频统计。在该方法中,充分考虑了关键词之间的冗余信息,扫描一次文档就可统计出全部关键词词频信息,实现了多关键词的高效匹配。利用该方法还可间接地实现对中文文本的切分词处理,并能得到每个关键词相应的前缀信息。该方法比常用的BF方法、KMP方法及BM方法减少了重复开销。 根据已有的词频统计结果,分析中文信息中的词频分布规律。齐普夫定律是英文的词频分布经验定律。实验结果表明中文信息也满足词频分布的经验公式,即高频部分满足Zipf定律,低频部分满足Booth定律。 对常用的几种信息检索分类模型的原理和方法进行比较研究,包括布尔逻辑模型、向量空问模型及概率推理模型。通过实验比较分析

关键词： Agent   信息检索   信息过滤   SVS  

摘要： 随着Internet的快速发展与计算机的普及,人们已经进入了网络信息时代。WWW服务器的数量都在呈指数级规律增长,大概每6个月增长一倍,虽然搜索引擎基本上解决了信息检索中“信息过载”和“资源迷向”等问题,能够为用户查找到一定的有用资源,但相对于整个因特网来说是极不全面的,其在资源覆盖度、检索精度、检索结果可视化、可维护等诸多方面,效果远远不能够令人满意。 本论文首先介绍了现有搜索引擎的研究现状,指出其中不足,并分析了Agent的技术特性,阐述其应用的先进性和可行性。接着提出一个新的智能搜索引擎框架结构,包括专家Agent、信息检索Agent、信息过滤Agent、查询扩展Agent、用户模型Agent等模块,各部分协同工作,形成了一个有机整体。由于在该检索系统中,搜索和过滤两个环节尤为重要,故在后续章节中详细阐述了信息检索Agent及其检索模型、信息过滤Agent的功能与算法。本文在比照其他几种常用检索模型的基础上,提出了SVS检索模型,既克服了向量空间算法的局限性,又体现出隐性语义索引模型的优势。另外人性化的人机界面Agent提供智能的查询接口,当从普通搜索引擎查询回来的网址还是不够时,系统启动自己的网络搜索引擎,从现有的网址出发,利用有限区域的深度广度优先算法进行搜索,从而保证信息的查全率。信息过滤Agent突破传统信息过滤的单一性,在绑定“属性+内容+结构”三种查询过滤方法的基础上,再进行贝叶斯改进分类,然后利用ID3学习算法获取最后结果给用户,保证了信息的查准率。最后介绍了用户Agent以及如何创建、使用和维护用户档案和用户信息库。 本文将智能Agent技术应用于信息检索中,可以十分灵活地提供多种智能化的信息处理手段,将有利于开拓Internet网络资源的信息服务。

关键词： 信息检索   反馈   移动agent   用户兴趣   个性化  

摘要： 论文首先介绍了移动agent和信息检索的概念、相关技术以及国内外发展现状与趋势,并描述了利用移动agent和用户反馈信息进行信息检索的MABIRS系统。 本文阐述了系统的体系结构,说明了索引数据库、用户兴趣树、用户兴趣库、用户兴趣模型、分类器、MA管理器、各种移动agent等组件的基本功能。并且详细介绍了该系统的实现原理、系统构架以及用户兴趣库、索引数据库、用户兴趣模型、用户兴趣树等功能模块的联系,并结合模块的功能实现流程图,阐述了整个系统的设计过程。 在本文中,设计了基于巡查模式的三层安全模型、三阶段网页分类评价原则及基于用户兴趣的相关度调整算法,利用与用户反馈相关的各种参数对用户兴趣模型中的相关度进行调整,并对网页与类别的相关度进行评价。通过相关的实验,证明了方法的有效性,为建立高效的个性化信息检索系统打下了基础。

关键词： 中文信息检索   NLP技术   文本聚类   自动摘要   查询扩展  

摘要： 随着科学技术的高速发展和各种信息资源数量的不断增多,为了提高效率,信息检索己经成为信息科学技术领域最重要的研究内容之一。其中涉及到自然语言处理（NLP）的技术有:分词、信息抽取、自动聚类和分类、自动摘要、查询扩展、等等。近年来,对网络中文信息检索的需求与日俱增。针对这一需求,本文对中文信息检索中涉及到的几项NLP关键技术进行了研究。 本文在深入研究基于向量空间模型的文本聚类方法的基础上,提出了一个新的聚类模型:即在传统的基于相似度的平面划分聚类模型中增加一个文本特征向量调整模块。本文同时给出了用以进行特征提取的特征评价函数,对基于相似度的平面划分聚类算法做了改进。实验结果表明增加了文档特征调整的聚类模型具有较好的聚类效果。 本文提出了一种基于主题聚类的自动摘要算法。在一篇文章中,主题思想由文中的各个子主题构成,如同议论文中的论点由分论点构成一样,基于主题聚类的自动摘要算法把统计方法与知识理解相结合,既摆脱了领域限制,又使摘要的结果更为准确。本文构造出一个新的依赖关系模型,能较好地为摘要算法选择较为准确的属性,给出评价语句重要性的规则,这为摘要算法提供了选择较为重要语句的尺度。本文还提出了一种较为客观的、基于任务的摘要性能评估算法。 目前大多数检索系统中,用户的需求是通过查询关键词来表示的。用户实际需求与查询关键词之间往往存在较大的语义差距,如何缩小这种语义差距是实现面向用户个性化信息服务的关键问题。本文提出了一种查询扩展优化算法,给出了对查询关键词的增加、删除和权重修改的自适应模型算法,在模型中给出了确定扩展关键词数量的方法,优化了查询反馈中的权重调节因子,使之能够更好的满足用户的实际需求。实验结果表明,该方法更适宜改进Web上的信息检索,相对传统的查询扩展算法可以提高查询精度。

关键词： 跨媒体信息检索   多媒体信息   检索系统   基于内容   视频检索   检索技术   图像检索   语音识别器   文本检索   正文检索  

摘要： 信息检索的基本概念信息检索(IR-Information Retriieval)泛指从包含丰富内容的信息集中找到所需要的或感兴趣的信息或知识的过程,信息检索的主要任务包括对信息项(information items)的表示(representation)、存储(storage)、组织(organization)和访问(access).

ISBN: (纸本)7117069252

关键词： 网络信息检索   搜索引擎   智能搜索引擎  

摘要： 搜索引擎是一种浏览和检索数据集的工具,随着Internet的迅猛发展,传统搜索引擎已不能适应信息技术的发展,展望未来,只有新一代智能搜索引擎才能适应信息时代的要求。

关键词： 信息检索   向量空间模型   特征项   查全率   查准率  

摘要： 互联网技术的迅速发展,使Web已经成为世界范围内信息共享和信息传播的最主要渠道之一,其网上的文本数量也成指数级增长。如何能够快速和精确地在浩瀚的信息海洋中检索到用户所需的信息已成为当今重要的研究课题。 文本信息检索是指从大量文档集合中找到与给定的查询请求相关的、恰当数目的文档子集。在进行信息检索时,与用户需求匹配的信息经常不在检索结果内,而大量用户不需求的信息,却占用检索结果的相当大的一部份。因此,改进文本信息检索的检索性能,提高检索质量也成为了亟待解决的问题。 本论文的主要研究目的,针对可能影响检索效力的一个容易被忽略的因素---标题位置特征项,针对这一目的在传统向量空间模型的基础上提出一种改进向量空间模型。改进的向量空间模型对特征项的权重问题进行了研究,提出了结合特征项出现位置的权重计算方法。该法可以提高查询式与文档的匹配度,进而提高检索系统的查准率。论文提出了多层向量空间模型的概念,新模型可较好地解决传统向量空间模型维数过大的问题和不能区分关键词位置语义的问题,应有助与针对提高检索系统的查询速度和精度问题的研究。论文还提出了改进的查询条件与文档的相似度计算方法,在相似度的计算式中加入了可调参数η,根据特征项位置表达文档主题的能力不同,设定不同的η值。论文提出了一种可调节的过滤阈值(相关门槛值)设定方法,使用户可根据需要选择过滤精确等级来调节兴趣网页的输出质量。 本文在传统向量空间模型基础上提出的改进向量空间模型算法,通过初步实验表明该算法具有较高的查全率和查准率,并可改善Web信息检索系统输出结果的排序能力。

摘要： Most approaches to information retrieval have focused primarily on word co-occurrence, or what is typically referred to as a bag-of-words model. While these models do not capture relationships between words other than co-occurrence, they have proved robust and efficient for a large variety of text. More complicated techniques from natural language processing have been largely ineffective when applied to document retrieval but techniques may have more to offer to information retrieval tasks other than document retrieval [Lewis and Sparck Jones, 1996, Voorhees, 1999]. This thesis examines passage retrieval for a question-answering task, and demonstrates that natural language techniques for determining categorical and referential relationships improve passage retrieval. Specifically, the identification of categorical and referential relationships in free text is explored as well as the determination of categorical relationships that hold for the answers to natural language questions. We also examine the integration of these relationships into two passage retrieval systems. Each is evaluated using a question-answering task and performance is markedly improved when categorical relationships are incorporated. Referential relationships improve the performance of one system significantly and produce a small, but insignificant improvement in the second system. Other work has demonstrated improvements in passage retrieval with the addition of categorical relationships [Prager et al., 2000]. This thesis describes experiments which extend the results of [Morton, 1999] and [Morton, 2000] in demonstrating that modeling referential relationships can further improve passage retrieval using a large-scale evaluation.

关键词： 中文信息检索   NLP技术   统计学   中文分词   关键词提取   文档分类/聚类  

摘要： 中文信息检索是信息检索领域的一个重要分支。尽管中文信息检索的技术和研究已经取得了相当多的成果,但目前中文信息检索的效果却并不乐观。本文就中文信息检索的几个主要问题,在NLP技术的基础上,利用统计学和代数学方法,从词语层和文档层对信息检索中文档和文档集的处理方法进行了深入研究。 本文首先从理论上对中文信息检索索引单位的选择做了详细分析,改进了传统的最大匹配分词算法,一定程度上解决了切分歧义的问题,同时在改进算法中引入了一种基于统计的窗口移动扩展方法,简单而有效地改善了未登录词的识别问题。 信息抽取已成为制约信息检索性能的一个瓶颈,而关键词提取则是信息抽取的一个重要环节。本文针对中文,实现了基于χ2统计的单文档关键词提取算法,其主要基础是词与词之间的共现次数的统计,并使用χ2统计量来衡量两个词语之间的关联。同时改进了传统的KEA算法,扩展了标示关键词的特征,实现了基于朴素贝叶斯理论的中文多文档关键词提取模型。 文本分类是对信息检索中的文档集进行组织的一项关键技术。本文首先对文本分类算法进行了研究,探讨了文本特征抽取方法,其中综合考虑了频度、分散度和集中度三项指标,设计并实现了一种新的特征抽取算法,使得选出的特征项整体优化。另外,提出了一种基于向量空间模型的词共现模型,并将通过该模型统计出的共现词信息应用于文本分类研究中。上述技术都在一定程度上提高了文本分类系统的性能。最后,本文把分类技术应用到了信息检索中的用户查询歧义消除方面,实现了一个分类检索系统,使用户可以快速获取自己真正需要的信息。 针对高维词-文档矩阵所造成的高存储空间和运算时间开销,本文将线性（LSI）和非线性（Isomap、SIE）维数约减算法引入到高维文档数据的降维处理中,并在文档聚类方面对三种算法处理后的数据进行了性能比较。实验结果表明,采用了局部嵌入技术的SIE算法取得了与LSI相当的性能,优于全局优化的Isomap算法,并且降维处理时的运算复杂度也大大降低。 最后,本文实现了基于N层向量空间模型的Windows上的信息检索系统。该系统对Web文档采用了一种分层处理机制,重点改进了Web文档中的关键信息的权重计算。