关键词： 情报检索  

ISBN: (纸本)7030178440

摘要： 数据库应用系列教材:本书介绍了信息检索的概念模型，信息检索系统的性能评价，详细讨论了索引项的抽取与加权技术、全文检索技术的简单匹配方法、各种实现算法等内容。

关键词： 信息检索   中文分词   双数组Trie树   双字耦合度   t-测试差  

摘要： 中文分词是中文信息处理的一个基础环节。在中文信息检索的文本处理阶段，也常用到这项技术。学术界关于分词技术的研究一直比较多，但是目前的研究大多是通用的分词算法，专门针对信息检索应用的分词技术研究相对较少。 本文首先介绍了中文分词的难点，以及目前常用的一些切分算法。然后综合分析了分词技术对中文信息检索的影响，在此基础上系统地提出了适用于信息检索应用的分词技术的特点，并且根据这些特点给出我们自己的分词算法。 由于面向大规模信息检索的分词算法对时间性能要求较高，我们的词典算法采用了双数组Trie树优化算法。该算法查询一个词语最多只需要进行n-1次整数相加，时间复杂度是O(n)，n为查询词长度。我们的实验显示，无论是单纯的词语查询速度还是最大匹配切分速度，双数组Trie树算法都要比目前词典机制中常用的普通Trie树算法和双字Hash算法快。 歧义消除和未登录词识别是分词的两大技术难点。考虑到信息检索应用的特点，在歧义消除部分，对于交叉歧义和覆盖歧义这两类歧义，我们只处理前者，并在歧义位置用双字耦合度和t-测试差的线性迭加值来判断是否切分;对于后者，我们提出一种在查询扩展时处理的方法。未登录词识别部分我们则利用单字的成词位置概率，同时结合局部二元串频统计对所有命名实体和新词进行统一识别。 实验表明，该分词算法切分速度在CPU3.2G，内存512M的环境下能达到2MB／秒，比当前一些切分精度较高的分词算法如ICTCLAS要快很多;在同样检索系统下，和信息检索中常用的交叉二元切分法、分词中常用的最大匹配法和ICTCLAS相比，使用该算法后检索出的前10篇文档的准确率P@10分别提高了9％、11.4％和8.8％，前20篇文档的准确率P@20提高了13.2％、12.7％和7.5％。

关键词： 信息检索   搜索引擎   分词   文本分类   决策树  

摘要： 随着网络技术的发展，网上的资源成指数级的增长，如何在Internet这样的海量信息资源中迅速搜索和查找到用户感兴趣的信息已成为网络上必不可少的需要。已经有象Google和百度这样成熟的通用Web搜索引擎出现，并在很大程度上满足了用户Web信息检索的需求。目前的通用Web搜索引擎在传统的全文检索技术基础上，更多地涉及到网页数据全面快速的采集、海量网页数据的索引和存储、搜索结果的相关性排序、搜索效率的毫秒级要求、分布式处理和负载均衡、自然语言处理技术等。 通用Web搜索引擎通常难以收集全所有领域和主题的网络信息，即使信息领域和主题收集比较全面，由于领域和主题范围太宽，很难将各领域和主题都做得精确而又专业，从而使得检索结果无用信息太多。基于领域主题的Web搜索引擎则弥补了这一不足，它是就某一特定的专门的主题或领域范围来提供Web信息检索服务的搜索引擎，以其高度目标化和专业化在各类搜索引擎中占据了一席之地，其查询结果具有很高的针对性，因此用户对查询结果的满意度较高。 本论文主要是探讨基于领域主题的WEB信息检索相关的技术问题，围绕着Web页面信息的抓取与处理、中文分词、文本自动分类、网页排序、索引与搜索等关键技术问题展开讨论。 本文的主要贡献是： (1) 研究并提出了一种基于块的不需要复杂机器学习方法而仅采用探试法来获取并识别Web页面主要信息内容块的快速算法，实验证明该算法在Web页面主要内容块的识别方面有着较高的正确率与召回率，并且利用该算法可以去掉对非主要内容块的存储，对存储网页快照和建立索引也会带来可观的外存存储节约。 (2) 基于简化贝叶斯网络模型提出并实现了一种文本分类算法，该算法的学习时间具有多项式的时间复杂度，并且分类的准确率和召回率均高于朴素贝叶斯方法。

关键词： 图像识别   基于特征的检索   匹配   多媒体数据库  

摘要： 随着计算机和网络通信等技术的高速发展，多媒体信息的种类和数量与日俱增。如何从这个巨大的多媒体信息库中找到需要的多媒体信息已经成为一个重要的课题，并丌始受到越来越多的国内外学者的关注。本文的研究正是针对这一需求提出来的，其主要内容是结合数据库技术与多媒体技术的最新发展成果，从基于特征的图像检索和多媒体数据模型等方面深入研究了多媒体数据库的设计与实现。 本文首先对多媒体数据库的理论和方法进行了探讨，总结了多媒体数据库实现的关键技术：数据库访问技术、数字图像处理与图像识别、面向对象技术以及多媒体数据模型，同时研究了这些技术在本系统中的应用。接着重点讨论了基于特征检索的体系结构和检索过程，综合探讨了基于颜色和基于纹理的检索技术，在此基础上，本文提出了一种综合利用颜色和纹理特征进行图像检索的新方法，有效地提高了图像检索的精度。最后论述了多媒体数据库管理系统的设计和实现过程。 本系统主要由五个模块组成：查询模块，特征提取模块，相似匹配模块，多媒体库管理模块，多媒体特征显示模块。系统采用C／S+B／S的混合架构，在用户主要在C／S结构内进行系统的管理和维护的同时，还可以通过B／S结构实现部分多媒体数据的网上发布。

关键词： 中文查询扩展   中文全文检索   中文索引技术   相关术语群  

摘要： 随着国际互联网的快速普及,通过网络共享的中文信息资源以接近指数级的速度递增。要从这么多的网页中找到我们需要的信息,无疑像大海捞针一样困难,而信息检索技术就是为了帮助人们快速地找到所需的信息。 中文作为一种典型的以表意为基础的象形文字,与西方的拼音文字有很大的不同,适用于西方拼音文字中的检索方法并不能直接应用于中文。本文对中文信息检索中的几个重要问题进行了研究。主要的工作包括以下几个方面: 第一,使用基于查询手工词切分的方法对中文文本的各种特征表示方法进行了比较研究。本文的试验结果为将来中文文本信息检索研究提供一个重要的参考,对于研究者探索新的索引策略是一个很重要的依据,对于为了改进索引策略或检索模型而进行的在同等条件下不同策略的比较研究也具有重要的指导意义。 第二,通过研究考察已有的查询扩展技术在中文信息检索中的有效性,并根据人类进行信息检索的思维模式,提出了一种新的基于相关术语群的查询扩展技术。在NTCIR-4和NTCIR-5中文信息检索测试集上进行的实验表明,相对于传统的查询扩展,利用机器自动构建的相关术语群的查询扩展方法在检索效果上取得了较大的提高。不同于传统的查询扩展方法的是:本文同时利用了检索语料外部和内部的,以及检索文档局部和全局的各种不同的相关性信息,从而克服了使用单一某种相关性信息的缺点,提高了查询扩展的性能。 第三,设计并实现了一种中文信息检索系统。本系统具备良好的可扩展性,可以适应从个人资料库到大型数字图书馆的不同规模的应用。 第四,综合运用本论文中研究方法和检索软件系统,我们参加了2005年度在日本举行的文本信息检索国际标准评测会议(NTCIR-5),在中文单语检索项目中取得了第五名的成绩,从而验证了论文中方法的有效性和可行性。

ISBN: (纸本)7502580638

关键词： 信息检索   向量空间模型   隐含语义索引   自动分词   个性化  

摘要： 随着Internet和Web技术的飞速发展,Internet已成为人们进行信息交流的不可缺少的巨大的信息空间。面对如此巨大的海量信息,人们在寻找自己所需的信息时常常迷失方向。如何快速、准确的从浩瀚的信息资源中找到自己所需的信息已成为困扰用户的一大难题。本文提出了个性化的信息检索方案,并就方案中涉及到的个性化信息检索的关键技术进行了深入研究。 首先,介绍了信息检索及信息过滤技术。对传统信息检索方法,如对全文本扫描、倒排文件、签名文件、以及聚类的分析。并讨论了自然语言处理技术、神经网络技术等新的信息检索方法。 其次,对向量空间模型进行了分析。提出了改进的加权算法,并借助辅助主题词表和个性化信息库设计了新的检索系统模型,改进了信息检索方法。 再次,分析了分词技术在信息检索过程中的应用,并讨论了信息检索和分词技术结合的方式,以及需要解决的关键技术问题。设计出一个无词典分词方法。它利用统计方法避开了复杂的语法规则,不需要有庞大的词典支持,解决了新词出现问题,且分词速度快,具有重要的实用价值。 最后,针对如何使用户获得Internet上有用的信息,提出了一个基于Internet的个性化信息检索系统模型。系统采用Agent技术、相关反馈学习算法,有效地适用于Internet中信息检索的需要,具有一定的理论价值和应用价值。

关键词： 信息检索   情报工作   搜索技术   人工智能   网页快照   Internet  

ISBN: (纸本)730213068X

关键词： 数据挖掘   个性化信息检索   搜索引擎   聚类挖掘   分类挖掘   关联规则  

摘要： 随着网络应用的普及,网上信息量以惊人的速度增长,并且更新频繁。人们面对的问题不再是缺乏有用信息,而是如何找到自己所需要的信息。虽然传统信息检索技术在一定程度上满足了人们的需要,但却存在着低查准率和低查全率的问题。多数商业搜索引擎提供的信息检索服务,由于侧重通用性而不能满足不同背景、不同目的用户的查询请求。针对这种现状,作者研究了基于数据挖掘的个性化信息检索系统。 论文首先对搜索引擎系统的研究现状和发展趋势进行论述,探讨了将数据挖掘技术应用于个性化信息检索系统的可行性,在此基础上提出了一个基于数据挖掘的个性化信息检索系统的总体框架模型。接着对该系统的主要功能进行较深入的描述,对该系统的的关键技术进行较深入的研究。最后给出了一种基于Apriori的类别关联规则的挖掘算法。仿真结果表明基于Apriori的类别关联规则的挖掘算法能够挖掘出用户的个性化信息,同时表明用户个性化信息的质量好坏与支持度值的大小密切相关。