关键词： 搜索引擎   全文检索   Lucene   Heritrix   中文分词  

摘要： 随着网络信息资源急剧增长,互联网已经逐渐成为了一个海量信息空间,人们在享受互联网带来便利的同时也被淹没在信息的汪洋中,如何从海量网络信息中获取潜在的、有价值的信息,已成为众多互联网用户所面临的一个极其重要的问题。在这种迫切需求下,信息检索技术和网络搜索引擎便应运而生,并成为互联网中重要的应用和研究课题。 Lucene是一个全文检索框架,开发人员可以方便地在其基础上进行二次开发,设计实现快捷的专业搜索引擎。虽然Lucene功能强大、配置灵活,但是仅作为一个检索框架而言,缺少信息采集模块,还不能实现完整的搜索引擎功能,同时Lucene自带的中文分词器也不能有效的切分处理中文词汇,因此,本文选取Lucene作为研究对象。 论文首先深入分析了Lucene整体框架结构,包括建立索引、检索索引文件以及结果集排序工作过程和原理。接着,介绍了网页采集技术和网络爬虫Heritrix,深入研究其框架结构及核心部件的工作原理,并对网页爬虫的功能做了如下的改进工作:针对爬虫下载内容复杂冗余问题,通过筛选URL链接方法,使爬虫忽略不符合条件的网页,从而过滤下载内容,减少存储空间的浪费;针对爬虫抓取速率不高问题,通过修改部分源码,取消附加robots协议对爬虫抓取过程的限制,从而提高了爬虫抓取效率;针对Heritrix默认采用主机名队列分配策略在抓取单一网站页面时,导致的抓取队列过长及部分线程阻塞问题,设计ELF散列算法,新建了一个队列分配策略,把URL尽量平均分到各个队列中去,从而提高抓取的速度。本文通过实验证明,上述三个优化方案达到预期目标。 论文阐述了四种常见的中文分词算法,三种经典词典文件组织方式,并进行比较分析,在归纳各自优缺点的基础上,设计实现了一个改进的中文分词器。改进后的分词器采用了三级索引词典文件组织方式,该文件组织方式融合了表格词典结构方式实现方法简单、空间占用少、维护更新容易以及树形词典结构词条查找效率高的优点,从而有效地减小词典空间,实现词条的快速查询。设计并采用了改进的最大正向匹配中文分词算法,算法的主要过程是:从左至右顺序遍历待切分语句,计算首字散列值,在一级索引中匹配该散列值,匹配成功,将下一个字符加到前缀字符串中,计算新字符串长度,在二级索引中匹配该长度,匹配成功,计算新字符串散列值,在三级索引中匹配该散列值,匹配成功,记录当前已匹配字符串的长度,继续加入下一个字符,直到完成索引中当前首字最长的词条。改进后的中文分词算法运用了类似TRIE索引树的逐字匹配算法,消除了传统正向最大匹配算法的切分盲点,同时,避免多次无效二分查找,提高了分词效率。论文通过算法的时间复杂度和实验分析证明,改进后的分词器提高了中文分词速度和准确性。 最后,综合上述理论、技术和算法研究,应用J2EE架构技术实现了一个全文信息检索系统,满足了用户快速准确地检索信息的需求。

关键词： 内容感知存储系统   信息检索   索引分割   重复数据删除   信息生命周期管理   相似性查询   数据相关图  

摘要： 随着信息技术的日益发展，信息资源呈现出爆炸性增长的态势。数字资源的急剧增长导致有效数据通常被淹没在信息海洋之中，单靠人工或传统查询工具将很难迅速定位所需信息。由于信息检索技术可从大规模信息系统中快速、准确、全面地获取有效信息，因此它被认为是解决上述问题的最佳途径。现有研究围绕着提高存储系统智能化程度、增强异构信息检索能力和提升查询结果相关性等方面展开，但是存储与查询功能的相对独立使得存储系统很难理解所存内容、并依据感知到的信息进行查询优化操作。为了将信息检索领域中的相关技术移植并应用于存储领域，在研究内容感知存储系统架构的基础上，探讨了该系统中的信息组织、索引和检索机制，从系统结构角度提供了一种有效融合存储与检索功能的整体解决方案。 为解决存储系统缺乏内容感知能力的问题，设计了一种跨越存储栈的信息扩展与传递机制。该机制根据应用层的具体需求抽取上层语义信息并作为扩展信息保存，然后在传统的数据I/O通道上扩展元数据I/O通道实现扩展信息的传递，存储系统通过解析此类扩展信息获取语义内容，进而实现在存储系统内部感知和使用上层信息以优化系统整体性能的目的。在该扩展传递机制的基础上设计并实现了内容感知网络存储原型系统。 为充分利用存储系统感知到的各类信息，为使用者提供高效、便捷的查询服务，提出了内容感知网络存储系统中的两阶段检索策略。由于存储系统中的查询需求主要来自系统管理员对元数据的查询，以及普通用户对关键字内容的查询。这两类查询通过对元数据和关键字分别建立索引来提升系统查询速度，但存储系统自身所具备的特性并没有被用于优化上述查询过程。所提出的两阶段检索策略将基于元数据和关键字的查询与底层存储系统的块相似性查询相结合，提升了系统的整体查询效率。 为有效衡量索引优化操作对系统性能的影响，提出了基于分级存储的索引分割机制及开销模型。随着存储系统中信息量的不断增大索引所消耗的空间也在同步增长，有些索引在生成之后几乎不会被检索到，因此并非所有索引都拥有相同的访问频率。据此索引优化算法按照访问频率对索引进行分割和分级存储，将不常用的索引存放到低速存储设备上以节约成本，并分析了索引分割对查询命中率、索引空间开销以及查询时间所造成的影响。 为满足用户对于相似性查询的需求，提出了基于内容哈希的数据相关图构建方法。由于存储系统通常采用层次结构来组织和管理数据，这种层次化设计思想通过标准的接口在各层间传递特定的信息，它隐藏了每一层所不必关心的信息，但也约束和限制了扩展信息在各个层次间的自由流动。所提出的数据相关图构建方法以存储系统中的重复数据块为桥梁，通过打破层次壁垒在多层信息之间建立起联系，生成具备全局特征的完整数据相关图，为将信息检索领域的相关理论引入存储系统奠定了基础。 为解决用户查询请求过于宽泛或精细时无法得到预期查询结果的问题，结合数据相关图对两阶段查询机制中的排序算法进行改进，提出了块相似性度量算法。该算法将信息检索中网页排序算法的核心思想引入存储系统，以重复数据删除计算所得到的重复数据块作为生成数据相关图和衡量数据相关度的依据，改进了现有的相似查询和相关度计算方法。该解决方案反映了数据的内部结构特征，降低了查询失效率、提高了查全率。 从上述多个方面开展深入研究，经过模型建立、算法生成、理论分析、实验验证等步骤，将内容感知技术和信息检索关键技术引入到存储系统中，提升了存储系统的智能化程度和信息检索能力。

关键词： 语义分析   本体   信息检索   概念相似度  

摘要： 当前常用的信息检索技术主要还是基于关键词进行机械匹配，将研究的重点放在算法的优化上，而忽视了语义方面的研究。这不能从根本上解决语义多重性、检索表示多样性、相关网页漏检、结果排序不规范等问题。本文便是针对当前出现的这些问题展开研究，提出了基于语义分析的信息检索模型MIRSA。本模型主要包含以下四个关键点：歧义消除方法、语义扩展算法、检索词匹配策略、网页排序算法。该模型可有效解决语义多重性问题、避免相关网页漏检、合理提高相关网页的排序。 在基于语义分析的基础上，本文使用了消除检索词序列中多义词无关语义的方法。该方法借助本体特性并利用了概念相似度来获取多义词所对应的不同概念与检索词序列中其它检索词概念之间的相似度，依据相似度的大小来排除多义词的无关词义。在语义扩展方面，本文依据本体树的结构特点，使用了一种检索词语义扩展的方法。该方法在不改变检索意图的前提下丰富检索词序列，避免了相关网页漏选现象，也为相关网页的排序提供了依据。针对扩展后的检索词序列，本文提出了与其相适应的检索词匹配方法。该方法将原检索词与扩展检索词区别对待，充分发挥新旧检索词对检索网页和网页排序的作用。最后，本文将语义分析引入到词频位置加权排序算法中。通过为检索词添加权重，改进型算法可更客观的计算出网页相对于检索词序列的相关度。 本文利用Protégé3.4.7、Nutch1.2等开发工具获取实验数据。结合本实验软硬件开发、测试的实际环境情况，并在传统查准率的基础上引入相对查准率作为数据分析的理论依据。与常用信息检索模型进行对比分析，证明了该模型在减少相关网页漏选、依据网页重要度对其进行客观排序方面的有效性，从实验的角度印证了本论文思路的可行性。

关键词： 高等学校   信息检索与利用   教学质量   灰色模糊综合价评   有效性检验  

摘要： 高等学校信息检索与利用教学的目的是培养适应社会的高等人才,其教学质量对社会的影响很大,因此对高校信息检索与利用教学质量进行评价、考核有重要的实际意义。本文根据灰色模糊数学的理论,将隶属度和灰色综合起来表示灰色模糊数,给出了灰色模糊综合评价的方法,并且给出了数据的有效性检验,使评价结果更加客观可信。

关键词： 信息检索系统   检索服务   系统界面   Embedded librarian   Embedded service   Academic libraries  

摘要： 对国外信息服务系统进行调研，将信息系统界面分为基于检索结果的类目列表式界面展示、基于检索结果的图形化界面展示、基于用户行为特征的标注式界面展示、基于预设问题的导航式界面展示、基于自然语言提问的答案界面展示5种类型，并分析每种类型界面展示的特点及背后的关键技术。

关键词： 数字图书馆   信息化   发展历程   信息检索技术  

摘要： 进入新世纪以来,世界科技发展日新月异,服务产业也繁荣发展。人们在日常生产和学习、生活当中,对图书馆信息的需求越来越大,需要十分高效地图书馆信息的收集和检索途径。数字图书馆信息化是实现这一目标的最好方式,更是现代实现信息化的过程当中的重要组成部分。数字图书馆信息化程度,已经成为衡量一个国家或地区信息服务产业发展水平的关键因素。目前,越来越多的国家认识到,要全面推进数字图书馆信息化,实现知识的共享和交流。就我国来讲,数字图书馆信息化已初具规模,最为显著的是我国各大高校的数字图书馆信息化实施,对于高效的科研、教育和交流带来巨大效益。该文针对数字图书馆信息化的整理工作做出研究,以供参考。

关键词： Question answering   Information retrieval   Natural language interfaces   Retrieval and ranking models  

摘要： This article provides a comprehensive and comparative overview of question answering technology. It presents the question answering task from an information retrieval perspective and emphasises the importance of retrieval models, i.e., representations of queries and information documents, and retrieval functions which are used for estimating the relevance between a query and an answer candidate. The survey suggests a general question answering architecture that steadily increases the complexity of the representation level of questions and information objects. On the one hand, natural language queries are reduced to keyword-based searches, on the other hand, knowledge bases are queried with structured or logical queries obtained from the natural language questions, and answers are obtained through reasoning. We discuss different levels of processing yielding bag-of-words-based and more complex representations integrating part-of-speech tags, classification of the expected answer type, semantic roles, discourse analysis, translation into a SQL-like language and logical representations. (C) 2011 Elsevier Inc. All rights reserved.

关键词： 现代教育技术   信息素质   文献信息检索与利用   课程改革  

摘要： 将信息素质教育作为最终目标的文献检索与利用课程教学在高校中已经得到普遍开设,在面对信息技术高速发展的机遇和挑战面前,紧扣时代步伐是信息时代对该课程的本身的基本要求,本文结合现代教育技术和文献检索与利用课程本身的特点分析了该课程改革和发展所面临的"瓶颈",以及现代教育技术在该课程改革中所起到的作用,提出了针对该课程主客体因素的薄弱环节进行整改的方法和途径。

关键词： XML加密   XML签名   数据交换   电子商务系统  

摘要： XML是一种面向数据的标记语言，具有结构严谨，简单易用等优点，己成为数据交换的标准．本文首先阐述了XML的特点，语言规范和应用领域，然后从XML加密，XML数字签名，以及XML公钥管理技术三个方面对XHL的安全技术进行了讨论。并组建了XML数据交换平台架构．在此基础上，给出了XML安全技术在石材信息检索系统中的应用．以及系统的需求分析和功能模块设计．

关键词： 文献信息检索课   高职院校   信息素质教育  

摘要： 信息检索能力是当代大学生必备的学习技能,高职院校开设文献检索课,能够提高学生信息素质,为他们终身学习打下基础。