关键词： Lucene搜索引擎   中文分词   文档相关度排序   全文信息检索  

摘要： 随着网络信息资源的急剧增长,人们对于如何快速有效地从海量的网络信息中,抽取出对其有价值的、潜在的信息,使之能有效地被应用在管理和决策中给予了越来越多的关注。信息检索技术帮助用户从海量的信息中提取出他们所需要的有用信息,节省了用户的时间,提高了用户的工作效率。信息检索中的中文检索与西文检索在实现的机制和原理上基本一致,但由于汉语本身的特点,必须引入对于中文语言的处理技术,而中文分词技术就是其中很关键的部分。 论文首先阐述了与中文全文信息检索相关的关键技术,包括:信息检索的概念、中文分词算法的概念、文档相关度排序算法的概念。论文系统地比较分析了四种主要的中文分词算法:基于字符串匹配的分词方法、基于理解的分词方法、基于统计的分词方法和基于语义的分词方法,总结了它们各自的优缺点及其在中文分词各个评价因素上的优劣特性。论文在Lucene原有文档相关度排序算法的基础上,采用了基于用户行为的二次检索Pagerank以及主页加分方式,改进了原有的排序算法。 论文的主要工作是基于Lucene搜索引擎,设计并实现了一个中文全文信息检索原型系统。提出了对于算法和系统的各种改进,即索引预处理、关键词提示的操作优化、引入停止词分词算法、正向最大匹配算法的改进、逆向最大匹配算法的改进。通过实验,将改进后的词典分词方法与Lucene的自动切分方法:一元分词法和二元分词法进行比较后,验证了基于本文提出的改进的词典分词方法的优势。论文采用了基于用户行为的二次检索,Pagerank以及主页加分方式,改进后的文档相关度排序算法利用了用户对文档的主观评价,显著地提高了搜索系统的准确度。 最后,论文对基于Lucene搜索引擎的中文全文信息检索系统的实现方法进行了总结,并对未来进一步的研究工作进行了展望。

关键词： 信息检索   用户满意度   测评模型   结构方程   精品课程  

摘要： 国家精品课程建设是“高等学校教学质量和教学改革工程”的重要组成部分,国家精品课程网站荟萃了国内高校一流的教学资源。随着我国网络化、数字化建设步伐的加快,国家精品课程教学资源已经成为高校师生网上免费共享、不可多得的常用资源。各门国家精品课程网站教学内容精彩纷呈,建设风格各有千秋。然而,用户对各网站的评价如何?网站信息资源能否满足用户需求?网站的用户满意度将成为衡量其优劣的主要标准之一。 本文以2007年度山东理工大学“信息检索与利用”国家精品课程网站为研究对象,探讨如何测量网站服务质量和用户满意度之间的关系以及如何依据结论挖掘出影响网站用户满意的关键因子,进而为网站优化提供可靠依据。 论文主要围绕测评模型构建和实证分析两大模块展开。首先通过归纳大量国内外顾客满意度的相关文献,梳理出十大类顾客满意度测评模型的发展现状及其理论基础；然后,从网站用户消费流程入手,提出依据“用户特征+网站特点+CSI模型”的方法构建测评模型。在此基础上,构建了该网站用户满意度测评模型,其中概念模型包括感知质量、网站形象、用户预期、用户需要、感知价值、用户满意和用户抱怨7个结构变量(26个相应的观测变量)和12个研究假设。 在构建的概念模型和研究假设基础上,选择本校学习信息检索课程的在校大学生为样本,采用依据李克特7级量表法设计的调查问卷,搜集了286份有效问卷。实证过程采用结构方程建模法,同时以SPSS13.0和AMOS7.0高级统计软件为数据分析工具,对构建的测评模型进行了验证。依据模型检验结果,结合网站的实际情况,对影响用户满意度的结构变量进行了分析,提出了从网站、用户和外界环境三个维度提升用户满意度。在分析网站质量方面,引入四分图将相应的观测变量指标分为优势区、修补区、保持区和机会区,并提出了网站的改进方向。

关键词： 网络检索   系统开发  

ISBN: (数字)9787030261434 ISBN: (纸本)9787030261434

摘要： 本书全面、系统地讲述了网络信息检索技术的基本原理，并阐述了其在搜索引擎系统开发及其智能化实现中的应用。在全面介绍了网络信息检索技术、标引与索引、检索结果处理、中英文分词、网络信息获取及预处理之后，本书对信息采集中的网页去重与相似网页聚类、信息的动态采集、基于自然语言理解的检索处理、相关概念反馈、检索纠错、检索结果排序、基于用户浏览历史的网页预取技术等多个方面进行了较深入的研究与分析。

关键词： Web信息检索   Web 2.0   基于图的排序   基于图的降维   信息推荐   人脸图像检索   聚焦爬虫  

摘要： 随着互联网和万维网(World Wide Web)的快速繁荣发展,万维网逐渐成为人们生活中不可或缺的一种信息获取来源。万维网给信息检索技术带来了极大的机遇和挑战。经过最近十几年的发展,信息检索已经由一个纯粹的学术研究学科转变成大多数人信息获取的技术基础。 随着Web 2.0概念的普及和发展,万维网不再仅仅是一个巨大的信息库,更逐渐成为一个用户参与和交流的平台。Web 2.0应用网站的蓬勃发展将再次推动信息检索技术的革新。本文认为,在Web 2.0时代,信息检索技术主要有以下三方面的发展趋势:1)更加灵活的个性化信息服务。随着用户的急剧增加,Web 2.0网站迫切需要满足用户的个性化信息需求。然而,传统的Web信息检索技术并不擅长处理Web 2.0应用的复杂结构数据。Web 2.0需要更加灵活的个性化信息服务,如信息推荐系统。2)更加有效的多媒体数据检索技术。随着Web 2.0的普及,用户可以很方便地上传和分享多媒体信息。多媒体数据的迅速增多使得多媒体信息检索技术成为人们关注的焦点。3)检索服务的专业化。当前,Web 2.0应用中的用户产生数据已经成为万维网这个巨大信息库的重要组成部分之一。过于繁杂的Web数据使得Web信息检索向领域化、专业化方向发展。 很多Web数据呈现复杂的内在关联结构。本文指出,为了更好地解决这些数据上的相关检索问题、提升检索效果,就需要充分利用蕴含在数据复杂关联结构中的知识。图学习技术能够对复杂关联结构进行较好地建模并捕捉其中蕴含的知识。因此,结合上述发展趋势,本文研究工作围绕基于图学习的Web信息检索技术展开,具体在以下四个相关研究问题上进行深入研究并提出了新颖的图学习算法: 1) Web 2.0社区化标签应用中的个性化标签推荐:社区化标签应用中用户可以对资源任意地加标签。产生的标签标注数据可以很自然地用图来建模。本文提出一种新的基于图的多类关联对象查询排序算法,以解决社区化标签应用中的个性化标签推荐问题。 2)Web 2.0社区化标签应用中的个性化文档推荐:传统的信息推荐系统聚焦在评级打分数据上,而社区化标签应用中的标签标注数据是一种不同的且具有特殊图结构的数据。本文提出一种新的基于图的多类关联对象降维(语义空间学习)算法,将用户、标签和文档映射到同一语义空间中,然后根据用户与文档之间的欧式距离来进行文档推荐。 3)人脸图像检索与识别:传统的人脸检索和识别研究利用降维技术(子空间学习)来获得人脸图像的高层次特征表达。最近提出的一种基于图的二阶张量子空间学习算法在人脸图像上表现比较出色,但是其时间复杂度比较高。本文提出一种新的基于图的高效二阶张量子空间学习算法,在保证可接受的检索、识别性能的同时,降低了学习子空间映射函数的时间复杂度。 4)高质量专业Web资源抓取:聚焦爬虫是从Web上抓取主题相关信息资源的一种重要技术手段。对垂直搜索引擎来讲,最重要的研究问题之一是如何从Web中把高质量的相关资源找出来。本文提出一种新的基于Web图的网页主题质量在线评估算法,并在此基础上设计了一个获取高质量主题相关Web资源的聚焦爬虫。 文章最后总结了本文工作,并对基于图学习的Web信息检索技术发展前景进行展望。

关键词： 个性化   用户兴趣   信息检索   数据挖掘  

摘要： 最近几年,网络高速膨胀,为人们获取信息提供了很大的便利,但是由于网络数据量过于庞大,传统的信息检索技术不能有效满足人们需求,人们往往不能快速的找到自己所需要的信息,这就给信息服务提了一个新的挑战,要求研究人员需要在传统信息检索技术上做新的尝试与改进,充分考虑每个用户的个性因素,以用户为出发点,针对不同的用户提供不同的查询结果。 本文对个性化建模技术进行了研究,提出一种基于客户端的个性化模型,将用户的访问历史页面作为挖掘对象,不需要用户过多的参与,自动从用户的隐式反馈中推导出用户的兴趣。 本文着重研究了用户兴趣挖掘的相关技术,以用户访问过的历史页面内容作为兴趣建模的信息来源,利用HTML的结构特点来提取页面内容中的重要部分,采用基于字符串匹配分词和基于统计分词相结合的方法,对页面内容进行词的切分,用以表达页面的主题内容,再去除切分结果中的停用词,本文中页面主题用空间向量模型来表示,对特征词,用词频、位置加权以及非线性函数相结合的方式来计算权重。 本文根据中文ODP（Open Directory Project）分类目录的结构构建了一个分类参考模型,并依据中文分类主题词表对其进行了特征词的扩充,然后根据页面与分类参考模型的相似度来判别页面的分类情况。 在更新用户模型的过程中,要根据新反馈的兴趣类,对用户模型的兴趣类进行调整,不仅包括兴趣度的调整,也包括各兴趣类的特征词及其权重的调整,在这里采用了时间遗忘机制对兴趣类的兴趣度和特征词进行衰减处理。 用户在查询时,利用个性化模型对其输入的检索词进行查询扩展,再调用现有通用搜索引擎,可以得到较为不错的结果。

关键词： 社会性标注   标签推荐   标签词义消歧   本体学习   网页排序  

摘要： 社会性标注是一种Web上的用户共享、组织、搜索和管理资源的一种机制。随着Web2.0的兴起,社会性标注系统得到了迅猛的发展,目前已经成为一种流行的共享网络资源的方式。本文研究社会性标注的关键技术及其在信息检索中的应用,主要内容包括: (1)社会性标注系统中的个性化标签推荐算法:社会性标注系统中的个性化标签推荐是指根据用户对资源的历史标注信息,为目标用户对特定资源推荐能够满足其个性化需求的标签。以往的研究大都假设用户是独立同分布的。这种假设没有考虑到用户之间日益增多的社会关系。本文研究如何利用用户之间的社会关系等信息改进标签推荐算法,提出一种能够有机结合用户个性化标签使用偏好和用户协同标注信息的个性化标签推荐算法。首先将社会性标注、用户之间的社会关系和资源之间的相似关系等数据用图建模。与以往的研究使用的基于特征向量计算相似度的方法不同,使用基于随机游走的方法来计算对象之间的相似度。在此基础上,利用用户和标签之间的相似度作为用户的个性化标签使用偏好,并将其融合到基于协同过滤的个性化标签推荐算法中。通过在Delicious数据集上进行实验,对不同的相似度函数和不同的标签推荐算法进行了比较。实验结果表明,与目前的代表性算法相比,本文提出的个性化标签推荐算法的在Precison、Recall和NDCG等性能指标上有明显提高。 (2)社会性标注系统中的标签词义消歧算法:由于不存在一致的分类体系或本体论,社会性标注存在歧义性的问题,即相同的标签可以被用来表示不同的含义。研究在社会性标注系统中的标签语义消歧问题可以使很多基于社会性标注数据的应用受益。本文提出一种无监督的标签语义消歧算法。对于目标标签,通过将其相关的所有标注表示为三维张量来为其标注上下文建模,并在由此张量导出的超图上进行谱聚类分析来发现表示不同标签语义的标签簇。通过在从实际的社会性标注系统中采集的实验数据集上进行实验来评价算法性能。定性分析和定量评价结果表明了本文提出的标签语义消歧方法的有效性。 (3)基于社会性标注的本体学习算法:由相互协作的用户在社会性标注系统中产生的大量的标注数据可以用来作为语义网应用的数据源。本文提出一种基于社会性标注的本体学习方法来挖掘蕴涵在社会性标注中的语义信息。提出一种隐含包容层次结构来刻画标签空间中潜在的结构,并基于此模型推导出本体学习算法。首先利用集合论的方法确定标签之间的包容关系,并用图建模包容关系。在将此图转化为层次关系时,注意到其中固有的包容关系的不一致性,并提出一种基于随机游走的标签普遍性计算方法。最后提出一种凝聚式层次聚类算法,利用标签普遍性的计算结果来生成概念层次结构。在实际社会性标注系统中采集的数据集上进行的实验表明,与目前的代表性方法比较,本文提出的方法无论在定性还是在量化比较上,均有较明显的提高。 (4)基于社会性标注的网页排序算法:社会性标注系统作为一种新的资源管理和共享方式,吸引为数众多的用户参与其中。由此产生的大量社会性标注数据成为网页质量评价的一个新维度。本文研究如何利用社会性标注改进网页检索性能,提出一种有机结合网页和用户的查询相关性与互增强关系的网页排序算法。首先利用统计主题模型,使用相关标签为网页和用户建模,并计算查询相关性。然后利用二部图模型刻画网页和用户间的互增强关系,使用相关标签与网页内容和用户兴趣的匹配程度为互增强关系赋予权重。最后结合查询相关性和互增强关系,以迭代方式同时计算网页和用户的排序。实验结果表明,与目前的代表性算法相比,该算法在检索性能上有明显提高。

关键词： 网格技术   分布式信息检索   Alchemi  

摘要： 传统的信息检索技术往往是集中式的,随着数据量的指数增长,这种集中式的数据存放对于数据库的更新维护带来很大的难度,同时检索查询操作也变得非常费时,这造成了整个系统性能的瓶颈。网格技术可以集中网络中闲置的计算资源和能力,提供巨大的计算能力和存储空间。本文将网格技术引入到信息检索中,与传统集中式信息检索相比,网格分布式信息检索将各种相关计算任务分配给网格上对应的计算节点,由于采用分布式的体系结构,可以提高速度,有效地提升了信息检索系统的整体性能。 本文在深入分析了国内外研究的基础之上,吸取这些研究的经验教训,设计并初步实现了在网格环境下,可以根据用户提出的检索需求,快速、准确地找到所需的网格资源的分布式信息检索系统框架,并验证其可行性。文章在分析传统的集中式信息检索系统的诸多缺点的基础上,参考了国外网格信息检索小组提出的模型,引入用户兴趣模型和中文分词技术,使用基于NET的网格计算框架Alchemi设计了新的基于网格的分布式信息检索的模型,分析检索流程,并设计了系统安全访问控制模型。为了解决网格资源多样化的问题,引入元数据来统一繁杂的网格资源的表示方式,最后初步实现了其原型系统,通过实验证明了模型的可行性。论文的具体研究工作如下： 参考现有的网格分布式信息检索的策略和方法,详细设计了基于网格的分布式信息检索的框架,并分析了具体的检索步骤,给出了基于用户模型和中文分词的检索策略,详细设计了系统的模块和各个模块的功能,给出两种系统访问模型。同时,鉴于网格资源的格式繁杂,引入元数据来统一网格资源的表示方式,给出了网格资源的元数据定义。 最后,在Microsoft. Net平台下开发了网格分布式信息检索系统,考虑到系统实现的复杂性,本文详细介绍了系统的核心模块Alchemi任务分发和管理模块的实现过程,并用实例和统计数据证明了系统的可行性和有效性。

关键词： 文档分类结构   社会化平行分类   层次化分类   信息检索   个性化搜索   统计语言检索模型   非参数贝叶斯方法  

摘要： 尽管文档分类作为一种知识组织方法在诸多场合有广泛的应用,但针对这类高质量数据的数据挖掘研究却不多。本文着重于利用文档分类结构的信息检索技术研究。对平行分类结构和层次化分类结构两大文档分类组织方式作了深入分析并相应地提出了多个信息检索模型。 平行分类结构.作为第二代万维网的典型代表之一,社会化收藏和标注系统,比如Delicious和Flickr等,为互联网用户提供了给网络文档进行平行分类的功能。由于这种平行分类系统是开放给所有网络用户参与的,所以我们称之为“社会平行分类”,本文着重研究这类平行分类系统。网络用户、平行类标和网页文档构成了社会平行分类的三大实体。为此,我们考虑两块信息检索工作。1)利用社会平行分类作为用户的兴趣指标和网页的主题指标的个性化信息检索。通过分析和应用社会平行分类的三个属性:类标属性、关键字属性和结构属性,我们提出了一个个性化搜索框架。2)利用社会平行分类作为额外元数据的通用型信息检索。我们提出了一个新的统计语言检索模型(LMIR)将文档的社会平行分类类标和文档的内容结合,实现搜索性能的提升。我们进行了大量的实验对两个模型进行评测。实验结果均显示我们的模型要比基准模型效能高出很多。 层次化文档分类结构。本部分研究在搜索数据集具备层次化内容组织结构时的信息检索问题,比如ODP网页分类数据。这些数据中的层次结构都是根据人类先验知识而构建,因此他们在语义层面上是高质量的。在信息检索中将这类数据考虑在内将有很大潜力提高搜索的效果。我们提出了一个非参数的贝叶斯层次化统计语言检索模型(NPH-LMIR)来实现文档内容和层次化分类结构的整合。在ODP数据上进行的大量实验显示我们的模型比基准模型在搜索精度上提高了几十个百分点。

关键词： 系统架构   J2EE架构   信息检索   领域知识挖掘  

摘要： 对于领域性的信息检索系统来说,准确率的要求往往是其最为关心的,因为目前通用的信息检索系统对于具有高度领域性的信息来说并不能展现出良好的效果,甚至远远达不到可用的程度,这就使得面向领域性的信息处理需要构建新的检索系统。 构建一个新的信息系统主要有两方面的内容: 1.根据实际应用情况,设计系统的架构; 2.根据领域性的具体要求,设计系统的具体功能点。本文的任务就是设计并实现一个面向特定领域信息处理的检索系统,上述两方面的内容正是本文的主要研究内容。 1.系统的架构是长久以来计算机应用系统研究领域中的关键部分。应用系统的主要目的不在于体现理论价值,而在于为现实的日常生活带来便利,能够高效、自动化地处理日常事务。而系统的架构的目的正是在于使得应用系统能够适应应用的实际使用环境要求,为系统的实际部署使用提供保证。本文在学术界通用的信息检索系统的统一框架基础上,设计出了面向某特定领域的信息检索系统架构。该架构在及时响应、查询吞吐量、容灾性方面都达到了实际应用的要求,能够高效地完成日常事务处理任务。 2.信息系统的功能优劣决定了其服务质量。本文以通用信息检索系统的功能点为蓝本,结合本领域实际特点,设计了系统所应具备的功能性组件。这些组件使用了大量的信息挖掘技术,加入了领域性的知识,使得各功能都能够准确高效地对领域信息进行处理,它们主要是定制分词、关键词抽取、聚类、查询自动扩展、自动文摘等。这些功能性组件均根据领域的实际特点进行了算法和技术上的改进,使得各组件在效果上均达到了常规相关技术难以达到的实用效果。其中,定制分词的正确率,召回率分别达到了97.10%和98.99%;关键词抽取模块的正确率和召回率则分别达到了93.36%和95.06%;自动文摘的关键词覆盖率也达到了94.56%。 3.本文在实现系统时,采用了流行的J2EE轻量级框架,将系统的各个部分进行了清晰地分层,使得整个系统在简单性、可维护性方面具有很高的质量。

关键词： XML文档   交互式信息检索   节点编码模式   检索模型   相关反馈   聚类  

摘要： XML作为互联网上信息描述和数据交换事实上的标准,已经被业界广泛采用。随着Web上大量XML文档的涌现,如何对XML文档进行有效的检索成为了一个具有实际应用价值的重要研究课题。由于XML文档是一种半结构化的数据,具有明显的结构标记,可表达一定的语义信息。因此,可以利用XML文档所含有的结构信息,改进传统的基于关键词的信息检索,从而提供更加全面准确的检索结果。但是,由于XML文档结构的复杂性、异构性以及可扩展性,使得如何在信息检索的过程中有效利用XML文档的结构信息成为了XML信息检索所面临的首个挑战。 源于数据库的XML查询语言可以表达复杂的信息需求,但是要形成有效的结构化查询对于最终用户来说是非常困难的事情。因为用户可能并不熟悉文档结构,所以很难提出准确的“内容+结构”的结构化查询。基于关键词的XML信息检索依然面临着用户需求表达模糊的问题。XML信息检索实际上也是一个交互式的检索过程,相关反馈、检索结果聚类等交互式信息检索技术在XML信息检索中依然存在,而且有其独特的特点。例如,如何利用关键词检索的简单性迅速返回查询结果,然后根据用户的相关反馈等信息,系统自动形成或帮助用户形成内容+结构查询,以清晰地表达用户信息需求;如何根据XML文档的内容和结构特征聚类XML信息检索结果,以帮助用户迅速找到满足其需求的信息。因此,如何利用交互式信息检索技术改进XML信息检索的准确性是XML信息检索所面临的又一个挑战。 本文从XML信息检索所面临的这两个挑战入手展开研究,以XML文档交互式信息检索技术作为研究课题,主要研究两个问题：第一个问题是如何有效地结合结构信息和内容信息实现XML信息检索,主要包括XML节点编码、索引、检索模型和查询处理算法;第二个问题是如何进一步解决XML信息检索中同样存在着的用户信息需求表达模糊的问题,即研究相关反馈、检索结果聚类等交互式XML信息检索的一些关键技术。本文所做的主要工作和贡献包括以下几个部分： 1) XML节点编码模式及索引结构的研究。提出了一种新颖有效的节点编码模式,详细论述了该节点编码模式的定义和性质。在这个新的节点编码模式的基础上,构建了一种有效地集成结构索引和文本内容索引的混合索引结构HID。该混合索引结构HID能够有效地支持XML信息检索,包括关键词检索和结构化查询。对比实验结果表明本文所提出的新的混合索引结构HID在索引构建时间和空间消耗上具有较佳的性能。 2)XML信息检索模型及查询处理算法的研究。提出了一种用于XML信息检索的模糊结构向量空间模型。通过将文本内容特征词的概念扩展为结构化特征词,对向量空间模型进行扩展,使其能够包含结构信息的匹配和度量;同时将特征词在文档中出现的概念由一个精确的集合隶属关系,扩展为一个模糊集合隶属度的概念,以实现内容和结构信息的整体匹配,而且能够区别结构的匹配程度,建模不同程度的匹配为不同程度的重要性。该检索模型可统一建模关键词查询、标记关键词查询和路径关键词查询。最后给出了有效实现检索模型相应的查询处理算法,并实现了一个XML信息检索原型系统。对比实验结果表明本文所构建的XML信息检索原型系统具有较高的检索准确率和较快的查询响应时间。 3)XML信息检索相关反馈技术研究。提出了一种新的结合内容和结构的XML信息检索结构化相关反馈方法,能够有效地结合内容和结构特征等多种证据源,实现将初始的关键词查询扩展为内容+结构的结构化查询。该结构化相关反馈方法通过内容查询词扩展、查询词路径扩展和检索元素粒度相关反馈三种算法扩展初始的关键词查询。内容查询词的扩展和重新权重综合考虑了出现特征词的相关公共元素的数目、特征词在相关元素中的重要性、特征词邻接距离和结构语义等多种证据。实验结果表明本文所提出的结构化查询相关反馈方法可以有效地改进XML信息检索的准确率。 4) XML信息：检索结果聚类技术研究。针对XML文档的特点,提出了一种新的结合内容和结构特征的XML文档特征建模方法,能够有效地度量XML信息检索结果文档片断间的相似性。将XML信息检索结果聚类问题建模为k-中心聚类问题,通过改进解决k-中心聚类问题的贪心算法,提出了一种新的XML信息检索结果快速聚类算法。实验结果表明基于本文所提出的XML文档特征建模方法和新的XML信息检索结果快速聚类算法实现了较好的聚类质量和较快的聚类速度。