关键词： 社会性标注   标签推荐   标签词义消歧   本体学习   网页排序  

摘要： 社会性标注是一种Web上的用户共享、组织、搜索和管理资源的一种机制。随着Web2.0的兴起,社会性标注系统得到了迅猛的发展,目前已经成为一种流行的共享网络资源的方式。本文研究社会性标注的关键技术及其在信息检索中的应用,主要内容包括: (1)社会性标注系统中的个性化标签推荐算法:社会性标注系统中的个性化标签推荐是指根据用户对资源的历史标注信息,为目标用户对特定资源推荐能够满足其个性化需求的标签。以往的研究大都假设用户是独立同分布的。这种假设没有考虑到用户之间日益增多的社会关系。本文研究如何利用用户之间的社会关系等信息改进标签推荐算法,提出一种能够有机结合用户个性化标签使用偏好和用户协同标注信息的个性化标签推荐算法。首先将社会性标注、用户之间的社会关系和资源之间的相似关系等数据用图建模。与以往的研究使用的基于特征向量计算相似度的方法不同,使用基于随机游走的方法来计算对象之间的相似度。在此基础上,利用用户和标签之间的相似度作为用户的个性化标签使用偏好,并将其融合到基于协同过滤的个性化标签推荐算法中。通过在Delicious数据集上进行实验,对不同的相似度函数和不同的标签推荐算法进行了比较。实验结果表明,与目前的代表性算法相比,本文提出的个性化标签推荐算法的在Precison、Recall和NDCG等性能指标上有明显提高。 (2)社会性标注系统中的标签词义消歧算法:由于不存在一致的分类体系或本体论,社会性标注存在歧义性的问题,即相同的标签可以被用来表示不同的含义。研究在社会性标注系统中的标签语义消歧问题可以使很多基于社会性标注数据的应用受益。本文提出一种无监督的标签语义消歧算法。对于目标标签,通过将其相关的所有标注表示为三维张量来为其标注上下文建模,并在由此张量导出的超图上进行谱聚类分析来发现表示不同标签语义的标签簇。通过在从实际的社会性标注系统中采集的实验数据集上进行实验来评价算法性能。定性分析和定量评价结果表明了本文提出的标签语义消歧方法的有效性。 (3)基于社会性标注的本体学习算法:由相互协作的用户在社会性标注系统中产生的大量的标注数据可以用来作为语义网应用的数据源。本文提出一种基于社会性标注的本体学习方法来挖掘蕴涵在社会性标注中的语义信息。提出一种隐含包容层次结构来刻画标签空间中潜在的结构,并基于此模型推导出本体学习算法。首先利用集合论的方法确定标签之间的包容关系,并用图建模包容关系。在将此图转化为层次关系时,注意到其中固有的包容关系的不一致性,并提出一种基于随机游走的标签普遍性计算方法。最后提出一种凝聚式层次聚类算法,利用标签普遍性的计算结果来生成概念层次结构。在实际社会性标注系统中采集的数据集上进行的实验表明,与目前的代表性方法比较,本文提出的方法无论在定性还是在量化比较上,均有较明显的提高。 (4)基于社会性标注的网页排序算法:社会性标注系统作为一种新的资源管理和共享方式,吸引为数众多的用户参与其中。由此产生的大量社会性标注数据成为网页质量评价的一个新维度。本文研究如何利用社会性标注改进网页检索性能,提出一种有机结合网页和用户的查询相关性与互增强关系的网页排序算法。首先利用统计主题模型,使用相关标签为网页和用户建模,并计算查询相关性。然后利用二部图模型刻画网页和用户间的互增强关系,使用相关标签与网页内容和用户兴趣的匹配程度为互增强关系赋予权重。最后结合查询相关性和互增强关系,以迭代方式同时计算网页和用户的排序。实验结果表明,与目前的代表性算法相比,该算法在检索性能上有明显提高。

关键词： 信息检索   查询扩展   检索模型   查全率   查准率  

摘要： 随着互联网技术的迅速发展,网络上的信息呈爆炸式增长,网络技术的发展拓宽了我们获取信息的渠道,然而这些海量信息在给我们的日常生活带来极大便利的同时,也给我们带来很大的困扰,人们在面对这泛滥成灾的海量信息的时候无所适从,陷入了信息量过载的困境。如何从这些海量信息中检索出用户自己所需要的信息己成为信息检索领域一个非常重要的研究课题。由此,搜索引擎应运而生,而由于用户提交的查询与文档信息不匹配和表达不完整等现象的存在,传统信息检索不能满足用户的查询要求。为解决此问题,有些学者提出了查询扩展技术,通过一定的方法和策略对用户的初始查询词进行扩展和重构,从而达到改善检索性能的目的。查询扩展是信息检索中优化查询的一种有效方法,研究信息检索中的查询扩展技术,具有重要的理论价值和实际意义。 本文的主要研究工作如下： 首先,文章说明了本文的研究背景、目的及意义,对信息检索与查询扩展的发展做了简要的概述。随后介绍了信息检索中的一些相关知识与理论并对目前的几种传统查询扩展技术进行了详细地分析与介绍,为本文的研究工作提供了一定的理论基础。 其次,比较研究了三种传统的信息检索模型的检索性能,包括布尔模型、向量空间模型和概率模型。通过分析几种模型的检索原理与检索性能,比较这些模型的优缺点,并在此基础上对传统的向量空间模型进行了改进,提出了一种基于web页面结构的改进向量空间模型,该模型基于html语言的结构信息,将web文本文档的内容划分为标题类、黑体类、正文类3块,根据不同的块在文档中的位置以及对文档的重要程度不同,给各块赋予不同的权重比例系数,对其中的词项权重进行重新调整,以更好的区分相关文档和不相关文档,从而提高检索系统的检测性能。 再之,结合查询扩展方法的不同特点以及检索模型各自的优缺点,在前文的基础上,利用上一章提出的改进的向量空间模型,提出了一种基于web页面结构和用户查询行为的伪相关反馈查询扩展算法,该算法利用本文提出的基于web页面结构的改进向量空间模型在不改变用户查询行为的情况下,结合用户对初检结果的查询浏览行为提取相关文档,然后对初始查询进行扩展。实验表明,该模型比传统的tf-idf算法、基于局部上下文分析的查询扩展算法和基于Apriori算法的局部反馈查询扩展算法的检索性能都有明显的提高。

关键词： 跨语言信息检索   查询翻译   未登录词   译文挖掘   搜索引擎  

摘要： 跨语言信息检索(CLIR)是用户采用一种语言的查询检索另一种语言的文档集合的过程。查询翻译是CLIR系统中采用最广泛的方法。查询翻译普遍采用基于词典的方法,而查询中的未登录词(OOV)使CLIR的性能显著降低。因此如何正确翻译查询中的OOV成为查询翻译的关键问题。 互联网上存在数量巨大的双语语料库资源,因此可以利用这些资源构建双语语料库。通过充分利用丰富网络资源,解决了基于语料库查询翻译中存在的语料库规模小、领域不相关、更新不及时等问题。首先分别从互联网抓取双语资源;其次采用各种特征进行语料库对齐,从而构建语料库;最后从所构建的语料库中抽取翻译知识进行查询翻译。从语料库中抽取的高质量翻译知识能显著提高OOV译文的覆盖度。基于搜索引擎的查询翻译方法利用了搜索引擎OOV译文高资源覆盖度的特点,从搜索引擎挖掘译文用于查询翻译。通过跨语言查询扩展提高所获取的摘要资源的质量;通过基于频度变化信息和邻接信息的候选单元抽取方法从所获取的双语摘要资源中抽取候选翻译单元,该方法提高了候选翻译单元的质量;综合利用频度-距离模型、表层模板匹配模型和音译模型从候选翻译单元中选择最佳译文用于查询翻译。从搜索引擎挖掘的译文极大提高了CLIR的性能。 对采用基于词典的查询翻译方法、基于语料库的查询翻译方法以及基于搜索引擎的查询翻译方法的CLIR进行了性能比较,探索各种方法中影响检索性能的因素;并将各种查询翻译方法进行有效综合,实验显示综合方法能进一步提高检索性能。

关键词： XML文档   交互式信息检索   节点编码模式   检索模型   相关反馈   聚类  

摘要： XML作为互联网上信息描述和数据交换事实上的标准,已经被业界广泛采用。随着Web上大量XML文档的涌现,如何对XML文档进行有效的检索成为了一个具有实际应用价值的重要研究课题。由于XML文档是一种半结构化的数据,具有明显的结构标记,可表达一定的语义信息。因此,可以利用XML文档所含有的结构信息,改进传统的基于关键词的信息检索,从而提供更加全面准确的检索结果。但是,由于XML文档结构的复杂性、异构性以及可扩展性,使得如何在信息检索的过程中有效利用XML文档的结构信息成为了XML信息检索所面临的首个挑战。 源于数据库的XML查询语言可以表达复杂的信息需求,但是要形成有效的结构化查询对于最终用户来说是非常困难的事情。因为用户可能并不熟悉文档结构,所以很难提出准确的“内容+结构”的结构化查询。基于关键词的XML信息检索依然面临着用户需求表达模糊的问题。XML信息检索实际上也是一个交互式的检索过程,相关反馈、检索结果聚类等交互式信息检索技术在XML信息检索中依然存在,而且有其独特的特点。例如,如何利用关键词检索的简单性迅速返回查询结果,然后根据用户的相关反馈等信息,系统自动形成或帮助用户形成内容+结构查询,以清晰地表达用户信息需求；如何根据XML文档的内容和结构特征聚类XML信息检索结果,以帮助用户迅速找到满足其需求的信息。因此,如何利用交互式信息检索技术改进XML信息检索的准确性是XML信息检索所面临的又一个挑战。 本文从XML信息检索所面临的这两个挑战入手展开研究,以XML文档交互式信息检索技术作为研究课题,主要研究两个问题：第一个问题是如何有效地结合结构信息和内容信息实现XML信息检索,主要包括XML节点编码、索引、检索模型和查询处理算法；第二个问题是如何进一步解决XML信息检索中同样存在着的用户信息需求表达模糊的问题,即研究相关反馈、检索结果聚类等交互式XML信息检索的一些关键技术。本文所做的主要工作和贡献包括以下几个部分： 1) XML节点编码模式及索引结构的研究。提出了一种新颖有效的节点编码模式,详细论述了该节点编码模式的定义和性质。在这个新的节点编码模式的基础上,构建了一种有效地集成结构索引和文本内容索引的混合索引结构HID。该混合索引结构HID能够有效地支持XML信息检索,包括关键词检索和结构化查询。对比实验结果表明本文所提出的新的混合索引结构HID在索引构建时间和空间消耗上具有较佳的性能。 2)XML信息检索模型及查询处理算法的研究。提出了一种用于XML信息检索的模糊结构向量空间模型。通过将文本内容特征词的概念扩展为结构化特征词,对向量空间模型进行扩展,使其能够包含结构信息的匹配和度量；同时将特征词在文档中出现的概念由一个精确的集合隶属关系,扩展为一个模糊集合隶属度的概念,以实现内容和结构信息的整体匹配,而且能够区别结构的匹配程度,建模不同程度的匹配为不同程度的重要性。该检索模型可统一建模关键词查询、标记关键词查询和路径关键词查询。最后给出了有效实现检索模型相应的查询处理算法,并实现了一个XML信息检索原型系统。对比实验结果表明本文所构建的XML信息检索原型系统具有较高的检索准确率和较快的查询响应时间。 3)XML信息检索相关反馈技术研究。提出了一种新的结合内容和结构的XML信息检索结构化相关反馈方法,能够有效地结合内容和结构特征等多种证据源,实现将初始的关键词查询扩展为内容+结构的结构化查询。该结构化相关反馈方法通过内容查询词扩展、查询词路径扩展和检索元素粒度相关反馈三种算法扩展初始的关键词查询。内容查询词的扩展和重新权重综合考虑了出现特征词的相关公共元素的数目、特征词在相关元素中的重要性、特征词邻接距离和结构语义等多种证据。实验结果表明本文所提出的结构化查询相关反馈方法可以有效地改进XML信息检索的准确率。 4) XML信息：检索结果聚类技术研究。针对XML文档的特点,提出了一种新的结合内容和结构特征的XML文档特征建模方法,能够有效地度量XML信息检索结果文档片断间的相似性。将XML信息检索结果聚类问题建模为k-中心聚类问题,通过改进解决k-中心聚类问题的贪心算法,提出了一种新的XML信息检索结果快速聚类算法。实验结果表明基于本文所提出的XML文档特征建模方法和新的XML信息检索结果快速聚类算法实现了较好的聚类质量和较快的聚类速度。

关键词： 语义Web   信息检索系统   本体   语义扩展  

摘要： 伴随信息社会的高速发展，互联网上的信息资源在数量上呈现几何级增长，在形式上表现为更加多样化和复杂化。基于传统信息检索技术的搜索引擎或检索系统在用户服务的满意度上已经每况愈下。这主要是因为传统的信息检索技术是基于检索词的简单字面匹配进行处理查询操作，而忽略了检索词内在含义及其之间的联系，也无法完整、精确和有效地提取蕴含在资源中的信息语义，所以经常造成了检索结果与用户检索意图相差甚远的情况。针对这些问题，本文提出一种基于语义Web技术的信息检索系统的设想。语义Web不是一个新生事物，而是在当前Web基础上发展起来的新一代Web技术。 它能够明确表达和描述Web信息资源语义，并把信息资源之间关系定义为某种特定的含义，这种以语义Web进行描述和表达的信息资源及其关系的技术，将在很大程度上提高信息资源的共享和利用能力。本文介绍了语义Web的七层体系结构，并深入研究了语义Web三大关键技术：XML、RDF、Ontology。接着介绍了Ontology的构建原则、构建方法和Ontology标注的有关内容，分析了Ontology描述语言OWL的语言层次，阐述了其对语义Web的作用。在此基础上，对提出的基于语义Web技术信息检索系统进行精细的功能需求分析和用例分析，深入探讨系统的框架结构和功能流程，完成了系统的设计。然后，使用多种的工具软件，以教育技术领域为例子开发了基于语义Web技术的信息检索系统。并分析研究了系统构建过程中几个重要模块，它们分别是：资源的抓取或下载模块、资源解析与分析判断模块、索引创建模块和教育技术领域Ontology模块。最后，实现和演示了基于语义Web技术的教育技术领域检索系统。此系统具有了3种检索方式：文献（综合）检索、网络检索和类目导航，检索中实现了语义扩展和语义推理功能。

关键词： 网络检索   系统开发  

ISBN: (数字)9787030261434 ISBN: (纸本)9787030261434

摘要： 本书全面、系统地讲述了网络信息检索技术的基本原理，并阐述了其在搜索引擎系统开发及其智能化实现中的应用。在全面介绍了网络信息检索技术、标引与索引、检索结果处理、中英文分词、网络信息获取及预处理之后，本书对信息采集中的网页去重与相似网页聚类、信息的动态采集、基于自然语言理解的检索处理、相关概念反馈、检索纠错、检索结果排序、基于用户浏览历史的网页预取技术等多个方面进行了较深入的研究与分析。

关键词： Music  

摘要： We describe a novel query-by-example (QBE) approach in music information retrieval that allows a user to customize query examples by directly modifying the volume of different instrument parts. The underlying hypothesis of this approach is that the musical mood of retrieved results changes in relation to the volume balance of different instruments. On the basis of this hypothesis, we aim to clarify the relationship between the change in the volume balance of a query and the genre of the retrieved pieces, called genre classification shift. Such an understanding would allow us to instruct users in how to generate alternative queries without finding other appropriate pieces. Our QBE system first separates all instrument parts from the audio signal of a piece with the help of its musical score, and then it allows users remix these parts to change the acoustic features that represent the musical mood of the piece. Experimental results showed that the genre classification shift was actually caused by the volume change in the vocal, guitar, and drum parts.

关键词： 系统架构   J2EE架构   信息检索   领域知识挖掘  

摘要： 对于领域性的信息检索系统来说,准确率的要求往往是其最为关心的,因为目前通用的信息检索系统对于具有高度领域性的信息来说并不能展现出良好的效果,甚至远远达不到可用的程度,这就使得面向领域性的信息处理需要构建新的检索系统。 构建一个新的信息系统主要有两方面的内容: 1.根据实际应用情况,设计系统的架构; 2.根据领域性的具体要求,设计系统的具体功能点。本文的任务就是设计并实现一个面向特定领域信息处理的检索系统,上述两方面的内容正是本文的主要研究内容。 1.系统的架构是长久以来计算机应用系统研究领域中的关键部分。应用系统的主要目的不在于体现理论价值,而在于为现实的日常生活带来便利,能够高效、自动化地处理日常事务。而系统的架构的目的正是在于使得应用系统能够适应应用的实际使用环境要求,为系统的实际部署使用提供保证。本文在学术界通用的信息检索系统的统一框架基础上,设计出了面向某特定领域的信息检索系统架构。该架构在及时响应、查询吞吐量、容灾性方面都达到了实际应用的要求,能够高效地完成日常事务处理任务。 2.信息系统的功能优劣决定了其服务质量。本文以通用信息检索系统的功能点为蓝本,结合本领域实际特点,设计了系统所应具备的功能性组件。这些组件使用了大量的信息挖掘技术,加入了领域性的知识,使得各功能都能够准确高效地对领域信息进行处理,它们主要是定制分词、关键词抽取、聚类、查询自动扩展、自动文摘等。这些功能性组件均根据领域的实际特点进行了算法和技术上的改进,使得各组件在效果上均达到了常规相关技术难以达到的实用效果。其中,定制分词的正确率,召回率分别达到了97.10%和98.99%;关键词抽取模块的正确率和召回率则分别达到了93.36%和95.06%;自动文摘的关键词覆盖率也达到了94.56%。 3.本文在实现系统时,采用了流行的J2EE轻量级框架,将系统的各个部分进行了清晰地分层,使得整个系统在简单性、可维护性方面具有很高的质量。

关键词： 信息检索   倒排索引   向量空间模型   查询扩展   文档重排  

摘要： 随着计算机系统性能的提高,互联网信息的飞速发展,以及企业信息化程度的迅速提高,中文信息资源以极快的速度递增。信息的增加在满足人们对信息需求的同时也给人们快速、准确的查找所需要的信息带来了一定的难度。在这种情况下,信息检索技术成为研究的热点。 信息检索(Information Retrieval,IR),通常指文本信息检索,包括信息的存储、组织、表现、查询、存取等各个方面,其核心为文本信息的索引和检索。信息检索的主要技术包括索引处理、查询扩展、检索模型、重排处理等,中文信息检索还涉及到分词处理。 针对中文信息检索相关技术的研究,本文的研究内容可以分为两个部分。首先,以NTCIR7的中文IR4QA子任务为实验背景,设计并实现了一个中文信息检索系统。系统在索引时对原始文本进行分词处理后以词为单元生成倒排索引,检索部分则采用了经典的向量空间模型。为了解决词不匹配的问题,检索得到初始结果后,利用一种基于局部共现的查询扩展方法进行查询扩展处理。实验结果表明,经过查询扩展处理后,系统性能得到明显提升。对于系统所得结果,经过NTCIR7官方评价工具的评估,可以看到我们的检索系统有较好的检索性能。另外,对特定类型问题进行了文档重排技术的研究。针对检索系统将检索结果反馈给用户时,用户往往只浏览前N个检索结果的情况,本文结合开放性资源维基百科和定义以及人物传记这两种类型问题的特点,将与特定问题相关的维基百科页面引入,以对初检结果进行文档重排处理。实验表明,这种方法能有效提高排在前面的文档的精度。

关键词： 网格技术   分布式信息检索   Alchemi  

摘要： 传统的信息检索技术往往是集中式的,随着数据量的指数增长,这种集中式的数据存放对于数据库的更新维护带来很大的难度,同时检索查询操作也变得非常费时,这造成了整个系统性能的瓶颈。网格技术可以集中网络中闲置的计算资源和能力,提供巨大的计算能力和存储空间。本文将网格技术引入到信息检索中,与传统集中式信息检索相比,网格分布式信息检索将各种相关计算任务分配给网格上对应的计算节点,由于采用分布式的体系结构,可以提高速度,有效地提升了信息检索系统的整体性能。 本文在深入分析了国内外研究的基础之上,吸取这些研究的经验教训,设计并初步实现了在网格环境下,可以根据用户提出的检索需求,快速、准确地找到所需的网格资源的分布式信息检索系统框架,并验证其可行性。文章在分析传统的集中式信息检索系统的诸多缺点的基础上,参考了国外网格信息检索小组提出的模型,引入用户兴趣模型和中文分词技术,使用基于NET的网格计算框架Alchemi设计了新的基于网格的分布式信息检索的模型,分析检索流程,并设计了系统安全访问控制模型。为了解决网格资源多样化的问题,引入元数据来统一繁杂的网格资源的表示方式,最后初步实现了其原型系统,通过实验证明了模型的可行性。论文的具体研究工作如下： 参考现有的网格分布式信息检索的策略和方法,详细设计了基于网格的分布式信息检索的框架,并分析了具体的检索步骤,给出了基于用户模型和中文分词的检索策略,详细设计了系统的模块和各个模块的功能,给出两种系统访问模型。同时,鉴于网格资源的格式繁杂,引入元数据来统一网格资源的表示方式,给出了网格资源的元数据定义。 最后,在Microsoft. Net平台下开发了网格分布式信息检索系统,考虑到系统实现的复杂性,本文详细介绍了系统的核心模块Alchemi任务分发和管理模块的实现过程,并用实例和统计数据证明了系统的可行性和有效性。