关键词： 信息检索   搜索引擎   网络爬虫   中文分词   排序  

摘要： 本文对Web中文信息检索进行了简介,分析了Web中文信息检索的几个关键技术,总结时下流行的中文搜索引擎技术.笔者还提出了一些心得、体会和设想,最后对智能中文搜索引擎进行了展望.

ISBN: (纸本)9787030185471

关键词： CSCW   信息检索   检索模型   用户相关反馈   协同反馈  

摘要： 随着网络资源的不断增加，人们在信息海洋中获取需要的信息也变得越来越困难，出现了“信息迷航”和“信息过载”的现象。人们急需高性能的检索技术来满足日益增长的信息需求，这促使信息检索技术的快速发展，成为当前研究热点之一。 信息检索模型是影响一个信息检索系统性能的最主要因素，通过结合用户相关反馈来提高检索系统的性能一直是众多学者研究的课题，其主要的驱动思想是高效的检索性能必定依赖于正确的用户反馈。但靠单用户进行反馈对系统检索性能的改善是有限的，利用多用户协作的方式进行反馈就显得更合理，能构造出更完善的查询请求来提高检索性能。 论文首先分析了信息检索技术的研究现状，探讨了CSCW的三要素和关键技术，研究了三种典型的信息检索模型、用户相关反馈技术及搜索结果合并算法，针对现有信息检索存在的精度低、效率差和覆盖率低等问题，结合CSCW、用户相关反馈和元搜索技术，提出了协同反馈信息检索模型。在此基础上，论文对基于CSCW的信息检索系统进行构架，该系统融入了层次化结构的设计思想，以基于消息原语的通信机制为协同工作的基础，将协同反馈信息检索模型结合到元搜索引擎中，实现了多用户协同信息检索。最后，本文实现了系统原型的核心模块，解决了协同反馈信息检索技术中的部分问题，并通过实验验证了所提模型的可行性和有效性，以期对信息检索技术的研究提供参考和帮助。

关键词： 基于上下文的信息检索   统计语言模型   领域本体   概念   语义相关度   用户上下文   用户认知结构  

摘要： 随着信息检索技术的发展,基于上下文的信息检索技术（Contextual Information Retrieval,CIR）成为当前信息检索领域研究的热点。CIR是把有关用户、查询的上下文知识和信息检索技术融合在一起,统一组织在一个整体框架内,以向用户提供最适合用户需求的检索信息。对CIR的研究不仅对理解用户“查询背后的需求”（the need behind the query）、实现检索的“所得即所需”提供技术支撑,并为未来实现“上下文驱动的信息推送”（context driven information supply）提供理论研究基础。 为了达到“所得即所需”的目的,信息检索系统需要充分地理解并掌握检索活动的主体（用户）和客体（资源）。CIR中,通过分析上下文信息从语义角度理解用户和资源是关键的一环。本文就信息检索过程中统计语言模型方法的文档语义理解问题、用户个性化需求的语义理解问题两个方面进行了深入的研究,并在此基础上设计开发出一个个性化知识检索原型系统:CKRS。本文的主要贡献包括: 1)提出一种计算词语-概念相关度的K2CM方法 人们现实生活中存在的查询表达多样性常常为信息检索带来许多语义理解错误――词语问题,基于概念的语义检索已经是一种公认的解决方法。在基于概念的语义查询扩展中,词语-概念语义相关度的确立是个中心环节。随着语义Web和本体技术的发展,越来越多的文档按照本体标注和组织。针对这类文档,本文提出一种新颖的K2CM（Keyword to Concept Method）方法,从两方面观察词语-概念相关度,一方面是从词语-文档-概念所属程度角度,一方面是从词语-概念共现度角度。词语-文档-概念所属程度来源于标注的文档集中词语通过文档和概念构成的所属关系。词语-概念共现度是在词语概念对共现性基础上增加了词语概念对的文本距离和文档分布特征的考虑。公开数据集上的语义检索实验结果表明,和传统方法相比,基于K2CM的语义查询扩展可以明显提高查询效果。 2)提出把词语-概念相关关系引入统计语言模型中 统计语言模型因其具有直观明了的概率含义和表现良好的检索效果成为信息检索领域中继向量空间模型和概率模型之外的另一个主要研究工具。针对按概念类别组织的文档集,提出一种基于词语-概念相关关系的统计语言模型TCA-LM（Term-Concept Association based Language Model）,把从文档集中获取的词语-概念相关关系融入到已有的统计语言模型中。TCA-LM的基本思想是把一篇文档看成由两个文档块组成,一个是由概念构成的有语义文档块,另一个是由”无语义”词语构成的无语义文档块,分别计算两个文档块和查询的相似程度。对无语义文档块,我们把里面的词语都假设为无关的,沿用已有的经典统计语言模型计算。对有语义的文档块,把查询词语和概念相关关系引入统计语言模型中。词语-概念相关关系采用词语-概念相关度来衡量。在计算过程中,只对文档中重要的有语义部分（即由概念组成的部分）应用词语-概念相关关系而省略相对不重要的无语义部分,在引入词语-概念相关关系对统计语言模型进行修正的同时也提高了计算效率。公开数据集上的检索实验结果表明,基于词语-概念相关关系的统计语言模型可以有效帮助提高检索准确率。 3)提出一种领域本体中概念之间语义相关度的计算方法 当前,本体中概念之间缺乏相应的语义相关度成为本体的应用障碍之一。提出一种基于概念间不同类型语义关系计算概念间语义相关度的方法SRbM （Semantic Relationship based Method）。SRbM基于领域本体的语料库,从贝叶斯概率论思想出发分析具有不同类型语义关系的概念对在语料库中共现的特点,利用极大似然方法估计领域本体上一个概念到其直接相邻概念的语义相关度DSA（Degree of Semantic Association）。在DSA的基础上,依据概念之间相关关系的传播性,给出了一种计算领域本体中任意两个概念之间语义相关度的方法。实验部分采用美国医学主题词表MeSH和信息检索领域公开的CF数据集实现语义查询扩展。实验结果表明SRbM方法产生的语义相关度具有相当的有效性,应用在语义查询扩展中可明显提高检索效果。 4)提出基于领域本体构建用户认知结构 认知能力是人类的基本能力之一,用户的爱好、理解水平、表达等都和用户的认知结构紧密相关。了解用户认知结构是理解用户个性化需求的重要因素之一。本文提出在领域本体基础上建立用户认知结构表示模型DbSAM（Domain based Spreading-Activation Model）,根据用户提供的认知中心概念,一方面,通过领域本体上概念之间的语义相关性推导

关键词： 信息检索   元数据   期刊资源整合   实用分类系统  

摘要： 在高校图书馆，期刊是被利用最多、信息价值最高、处于“龙头”地位的一种文献。期刊具有出版周期短、内容新颖、信息量大、能系统地反映最新科技动态等特点，是高校师生从事教学和科研活动的必备资料。但是期刊资源种类繁多、数据量大、形式各异，不同的期刊资源往往具有独立的数据库、检索系统和发布系统，这使得图书馆的期刊资源比较分散杂乱，给读者的检索和利用造成了许多不便。为此，我们需要对期刊资源进行整合，建立一个统一的检索平台，有效地促进期刊资源的有序化，实现不同类型的期刊资源的访问，从而保持知识体系的整体性和关联性，提高期刊资源的利用率及读者的检索效率。 本文对元数据的类型、结构、格式以及都柏林核心元数据集进行了深入的研究，选择目前国际通用的广泛用于资源检索的都柏林核心元数据标准作为参考，并结合中南大学图书馆的实际，设计了期刊资源元数据元素格式。其次，对期刊资源整合的基本原则和整合的方式也进行了深入地研究，并对期刊资源进行了导航整合和基于元数据的整合。接下来，论文对实用分类系统这一种新兴的概念建模工具进行了探讨，提出了将实用分类系统融合到信息检索技术中去的思路。 论文详细阐述了基于实用分类系统的信息检索系统的总体设计思想以及系统各个功能模块的具体实现过程，并对研究和开发工作进行了总结，对未来的工作进行了展望。本文的研究工作，对数字图书馆期刊资源整合的建设和发展打下了良好的基础。

关键词： 信息检索   相关反馈   标签影响因子   辐射场   类标题生成   查询词扩展  

摘要： 信息检索时,需求的模糊导致查询结果不尽人意。为使检索更有效,需采用各种相关反馈途径对检索策略进行修改,以发现用户的信息需求。近年来,研究者提出了基于各种检索模型下的反馈方法,比较突出的有向量空间模型和概率模型。在本文中首先系统地介绍了信息检索以及各种检索模型下的相关反馈技术。在对反馈技术进行仔细分析的前提下,本文提出了如下创新: 首先分析了向量空间模型及其中的相关反馈。研究发现,向量空间模型检索精度及其中相关反馈的查准率,都在一定程度上受到原始矩阵中数据准确度的影响。传统的权值构造方法是词频-逆文档频率法及其扩展方法。这些方法在处理Web文档的时候,没有考虑到不同Web标签中同一词汇的影响程度有所不同这一特点,故不能准确地反映文档集特点。本文提出了Web标签影响因子算法,通过对大量的训练文档进行分析,从而获得比较准确的标签因子,用其对原始矩阵数据进行了一定程度的精化。通过实验,发现对改善系统查准率有一定帮助。 文中重点分析了概率潜在语义模型中的相关反馈技术。首先对PAM算法进行了初始k点选择优化,优化技术为辐射场,并对辐射场技术中每个参数的选择提出了具体的解决办法。在概率潜在语义模型的基础上,结合这种改良的聚类算法本文提出了新的相关反馈流程。 用概率潜在语义模型构造的数据矩阵为本次研究的基础数据,用k -中心点算法(PAM)的聚类结果来近似的拟合潜在语义类别。由于聚类的结果只与输入矩阵的数据有关;而建立概率潜在语义模型的算法,其唯一依据也是原始矩阵数据;若将PAM算法中聚类个数限定为潜在语义类的类别数目,就可以认为二者有较强的联系,可以用聚类结果类别来近似拟合潜在语义类。类别拟合完毕以后,文中还给出了类标题生成方法,且构建了反馈后对原始查询的查询词扩展方法。用查全率和查准率两个指标来衡量改良后的检索结果,实验数据表明,系统性能在一定程度上得到了改善。

关键词： 语义Web   本体   智能信息检索   语义检索  

摘要： 随着Internet的快速发展，Web已经成为全球最重要的信息源。搜索引擎作为获取信息的主要工具，为用户提供了一种可以方便快捷地检索这些信息的途径。但是由于缺乏一个强大的语义模型作为支撑，传统的搜索引擎只能采用较为表层的、基于关键字的方法，对于实现高层的智能化应用造成了极大的困难。如何使当前Web中的信息资源具有应用程序可以理解的含义，并根据资源所具有的领域知识，实现语义检索，提高信息资源的利用率，这些问题是信息检索领域所面临的挑战。 作为Web技术的提升与发展，语义Web是对当前Web的扩展，其上的信息被赋予定义良好的含义，能更好地使计算机和人之间进行协同工作。语义Web研究的主要目的就是增强Web资源的语义表示，包括对Web资源的内容意义和功能能力进行描述，使语义得以显式地表达，以满足分布式主流计算环境下语义互操作性的需要，使软件Agent对Web上异构和分布信息进行智能的、有效的访问和检索。 针对目前Web信息检索中存在的主要问题，本文把语义Web的资源描述框架(RDF)，RDF模式(RDFS)，Web本体描述语言(OWL)技术有机地结合到信息检索中，提出了一种基于OWL的智能信息检索模型。该模型试图在当前搜索引擎技术的支持下，通过知识库中对Web资源的OWL本体描述实现用户对文档库的语义查询，适用于解决当前Web环境下，如何帮助用户快速准确地获取信息资源的问题；同时，在对模型中查询过程分析的基础上，重点介绍了一种相关度排序方法。该方法综合语义检索和关键字检索两种情况，确保在知识库信息不完备的情况下，模型能象传统搜索引擎一样正常工作。

关键词： 语义网   描述逻辑   证券领域本体   面向领域的语义检索系统   语义排序算法   自适应热点   证券领域语义描述  

摘要： 本文利用语义网相关概念与技术对面向领域的信息检索进行了研究。文中利用本体技术对相关证券领域的词汇与关系进行了定义,并构建起证券领域知识模型。其次,利用本体对用户检索语句进行语义查询扩展后,利用基于语义的排序算法作为平台核心的排序模块,通用检索技术作为平台核心检索模块实现了面向领域的证券信息检索系统。另外,针对投资者的需求对系统进行了扩展以期达到自适应热点功能并提出了Web语义信息服务框架。 语义网是目前流行的下一代互联网概念,在专业搜索领域中应用语义网相关技术可以提高搜索的准确率,并且本体的建立便于知识重用与机器互操作。本文首先介绍了语义网及其相关技术,对描述逻辑进行详细的描述,然后构建了面向证券领域本体Stock Ontology(简称SO),并用OWL语言进行了相应描述。 本文在建立了证券领域本体SO后,提出并实现了面向专业领域的信息检索系统Semantic Information Retrieval System based on Special Area (简称SIRSSA),该系统可以对用户所提供的关键词进行语义扩展,生成标准系统检索语句以便满足投资者相关信息查询的需求。另外系统还提供三元组检索语句组合模块使用户可以更精确的设定检索语义。同时,提出了基于语义的检索集二次排序算法OntoRank,在分析集合文档概念关系的基础上,对本体进行概念关系查询后确定相应词汇权重因子,并计算文档权重,对系统初始检索集进行排序更新,提供用户查询语义相关检索集合。 本文进一步提出自适应热点算法扩展,利用用户点击频率统计相关信息受关注程度,可以自动反映热点,使投资者可以方便在检索的同时得到极大相关热点排序集合。 本文将面向证券领域的语义信息检索进行Web服务描述,以期对外提供服务接口供机构投资者调用,并利用ABC时空本体模型对证券文本信息进行语义描述。此外,提出了可以根据不同的地理信息数据的描述利用本体推理机制进行股票交易过程的信息服务流程。 基于文本描述与数量处理的基础上,本文给出了面向证券领域综合应用平台的框架,使文本描述与数量分析集成,在进行证券数据挖掘的同时提供对文本信息的响应。文中进一步提出证券信息普适服务的设想。

关键词： 信息检索   索引模型   互关联后继树   中文分词   文本分类   频繁项挖掘  

摘要： 随着计算机系统性能的提高，互联网络技术的快速普及，以及企业信息化程度的提高，中文信息资源以极快的速度递增。信息检索就是从庞大的信息资源中找到人们所需信息的技术。 信息检索(Information Retrieval)，通常指文本信息检索，包括信息的存储、组织、表现、查询、存取等各个方面，其核心为文本信息的索引和检索。目前，信息检索已经发展到网络化和智能化的阶段。为了提高检索的准确率以及增强用户体验，对中文信息检索除了继续研究索引技术外，对索引技术之外的相关技术研究方兴未艾。跟英语的提取词根(stemming)技术类似，中文分词技术是处理中文所特有的技术，中文分词的好与坏直接影响到信息检索的精度。自动分类(聚类)在信息组织、导航方面非常有用，其目的是帮助人们更好的发现、组织、表示信息，提取知识，满足信息检索的高层次需要，有助于用户快速评价检索结果的相关程度。文本关联规则技术，特别是对文本频繁项挖掘，能给用户在对信息检索需求转为搜索关键词时提供帮助，从而给信息检索的人机交互方面增加了友好的一面。 本文以中文信息检索的索引模型为研究对象，也对信息检索其它相关技术进行了研究，主要包括中文分词、文本关联分析、文本快速分类。提出了后续有序的互关联后继树索引模型、基于互关联后继树快速准确的中文分词算法、基于模拟退火算法的快速KNN分类算法和基于投影和树的频繁项挖掘算法。本文的研究工作和创新内容包括以下几个方面： 1互关联后继树索引模型的改进研究 互关联后继树是国内自主提出的优秀信息检索索引模型，它具有创建速度快，空间和查询效率高等特点，并且可以通过索引生成原文等优点。为了在Internet上大规模应用，在创建和更新文本索引以及全文检索速度等方面能达到实用的要求，本文对这个索引模型做了进一步的研究，提出了后续有序的互关联后继树索引模型。它的优点是在进行检索时，对有序的子树进行求交，能快速地检索出结果，从而有效地提高了信息检索的时间效率。 2基于互关联后继树的快速和准确中文分词 中文信息检索的查准率跟中文分词的准确率是息息相关的。目前有很多算法的准确率比较高，但是是以牺牲时间为代价获得的。在Internet上应用，分词算法的时间效率和分词准确率之间是个折衷平衡的关系，在能满足分词速度实用的前提下，尽可能提高分词的准确率。在提高分词速度方面，本文提出了用互关联后续树作为分词过程中使用的数据结构。中文分词准确率不高的主要原因是对歧义词和未登录词的划分不够准确，本文对中文机构名称和地名进行了研究分析，找出它们的特点，提出了一种结合规则和机器学习的分词方法，这种方法在对中文机构名称和地名准确划分上很有效，实验结果也表明这种方法是一种能快速划分中文词语同时准确率又很高的分词方法。 3基于模拟退火的快速KNN算法 在Internet信息检索应用环境上，对文本自动分类，涉及到问题主要有两个，一是文档分类的类别是变化的，另一个是文档量大。对于第一个问题，由于模板匹配类算法的特点，如KNN，它是一种懒惰(lazy)算法，将待分类样本与标准模板进行比较，看跟哪个模板匹配度更好些，从而确定待测试样本的分类，不需要事先确定分类函数，因此我们选择KNN分类算法来解决；解决第二个问题，我们先对文档的高维特征进行排序，然后借用模拟退火算法的思想，在精度稍微下降的情况下，极快地对文档进行分类。试验表明，基于模拟退火算法的快速KNN算法有实际应用前景。 4基于投影和树的文本频繁项挖掘算法 由于文本的频繁项挖掘的时间效率是随着项的增长以指数级别增长，因此对Internet信息检索应用环境下，频繁项挖掘的时间效率更是研究者研究的重点。本文提出了一种新的数据结构—投影和树，在对项进行建树时，可以同时对项进行计数，这样在挖掘时，可以直接利用统计好的计数，不需要重新计数；另外，在对树进行挖掘时，以深度优先的方式，对树进行一次深度优先遍历即可，加快了挖掘的时间。实验表明，基于投影和树的挖掘算法比同类的算法效率要高。 5为中国电信集团黄页信息技术有限公司实现了一个黄页搜索引擎(一期)系统。 利用上述创新技术，我们为中国电信集团黄页信息技术有限公司实现了一个黄页搜索引擎(一期)系统，并取得显著的成效。尽管黄页搜索引擎(一期)系统，是一种针对黄页信息专用的搜索引擎，但从技术本身来说，对于一般搜索引擎，也同样是有效和实用的。

关键词： 颜色特征   直方图   相似性度量   形状特征   空间关系特征   反馈查询  

摘要： 在基于内容的图像检索中,颜色特征计算简单,性质稳定,作为图像的一种重要视觉信息,已得到了广泛应用。本文首先针对图像的颜色空间的表示、颜色特征提取和基于颜色特征的相似性度量方法进行了研究。本文讨论和比较了几种常见的颜色空间模型,在此基础上重点对三种颜色直方图(全局直方图方法、累加直方图方法、局部累加直方图的方法)以及三种直方图相似性度量方法(相交法、欧氏距离法、加权距离法)进行了讨论,并通过实验进行了分析、比较,并得出结论。 其次,形状是物体的本质特征之一,具有较强的鲁棒性。它不会随图像目标颜色、纹理的改变而发生变化,因此在以查询与图像具有相似形状为主要目的的检索中,形状特征显示出颜色、纹理所不能比拟的优越性能。因此研究目标图像的形状特征提取方法成为解决此类问题的重中之重,本文通过对形状特征的分析和研究,对基于最优阈值的不变矩形状特征提取方法进行了改进。 空间关系表达了图像内部各部分之间的联系,它是图像的另一个信息内容,尤其是图像中含有较多独立的部分以及检索结果强调这些部分的位置关系时,并且目标的形状和大小相对于目标之间的相对位置而言。可以忽略不计时,使用空间关系特征进行检索是一种比较适合的检索方法。本文采用了一种基于状态转移矩阵的空间关系特征提取方法,该方法先对图像进行彩色空间转换,由RGB空间转换到HSV空间,然后对HSV空间的三个分量进行非等间隔量化,把量化的每一份作为一种状态,对于每一种状态在图像中的空间位置关系以一定的操作方式形成马尔可夫链,对得到的马尔可夫链计算其状态转移矩阵,我们把状态转移矩阵构成的矢量作为图像的空间关系特征矢量,然后对DTW特征匹配算法进行改进,并结合相关反馈查询方法对图像库中的图像进行检索。 最后选取互联网上的200幅花卉图像进行了实验,与现有算法进行对比,并得出可行性结论。