ISBN: (纸本)9787118049510

关键词： 信息检索   搜索引擎   网络爬虫   中文分词   排序  

摘要： 本文对Web中文信息检索进行了简介,分析了Web中文信息检索的几个关键技术,总结时下流行的中文搜索引擎技术.笔者还提出了一些心得、体会和设想,最后对智能中文搜索引擎进行了展望.

ISBN: (纸本)9787030185471

关键词： 信息检索   汉语分词   未登录词识别   汉语分词系统  

摘要： 汉语分词是中文信息处理中最基础的部分。信息检索用汉语分词要求分词算法具备一定的歧义识别与未登录词识别功能。 本文深入研究了未登录词识别技术，根据人在阅读时识别新词的思维过程，提出了一种新的未登录词识别算法，其中的数量词识别规则、边界单字规则、虚字辅助规则、未登录词记忆识别规则以及左方探测法、右方探测法选取未登录词规则等，使得算法在不依赖大型语料库的前提下可以有效地识别多种领域中各种类型的未登录词。同时，算法通过对正向、逆向双向分词算法的结果进行比较，能识别出绝大部分的交集歧义，使得未登录词识别与切分歧义识别一体化，有效地解决了识别未登录词时导致的新的切分歧义问题。接着，本文改进了词表组织结构，改善了词表查询算法，在提高分词效率的同时也使得词表的囊括度更大、更新维护更加灵活。 在此基础上，针对信息检索领域的特点以及对分词算法的要求，本文提出了汉语自适应分词算法，并设计开发出了汉语分词基础模块carmmLib．d11以及汉语自适应分词系统Carmm。carmm用户可以定制词表，定制分词结果以及可以对词表、未登录词表等词表进行管理维护等。Carmm还具备很好的扩展性和可移植性。 最后，本文对Carmm与中科院的分词系统ICTCLAS开源版进行了全面测评，包括系统效能测评(系统基本性能测评、负荷测评、稳定性测评)、系统分词准确率测评、系统未登录词识别的准确率和召回率测评。在整个测评过程中，Carmm的分词速率可以稳定在100KB／s左右。在人民日报语料库的开放测评中，Carmm系统的分词准确率约为91.2％。在网络时文的开放测评中，Carmm系统的分词准确率约为90.1％，接近于ICTCLAS开源版的91.3％；未登录词识别的准确率约为91.2％，略低于ICTCLAS开源版的93.9％；而未登录词识别的召回率约为94.7％，明显高于ICTCLAS开源版的89.0％。与此同时，Carmm系统在分词速率、处理大量未登录词的速率稳定性、面对高负荷系统环境的健壮性、系统易用性、系统抗干扰性等方面都优于ICTCLAS系统开源版。

关键词： 基于上下文的信息检索   统计语言模型   领域本体   概念   语义相关度   用户上下文   用户认知结构  

摘要： 随着信息检索技术的发展,基于上下文的信息检索技术（Contextual Information Retrieval,CIR）成为当前信息检索领域研究的热点。CIR是把有关用户、查询的上下文知识和信息检索技术融合在一起,统一组织在一个整体框架内,以向用户提供最适合用户需求的检索信息。对CIR的研究不仅对理解用户“查询背后的需求”（the need behind the query）、实现检索的“所得即所需”提供技术支撑,并为未来实现“上下文驱动的信息推送”（context driven information supply）提供理论研究基础。 为了达到“所得即所需”的目的,信息检索系统需要充分地理解并掌握检索活动的主体（用户）和客体（资源）。CIR中,通过分析上下文信息从语义角度理解用户和资源是关键的一环。本文就信息检索过程中统计语言模型方法的文档语义理解问题、用户个性化需求的语义理解问题两个方面进行了深入的研究,并在此基础上设计开发出一个个性化知识检索原型系统:CKRS。本文的主要贡献包括: 1)提出一种计算词语-概念相关度的K2CM方法 人们现实生活中存在的查询表达多样性常常为信息检索带来许多语义理解错误――词语问题,基于概念的语义检索已经是一种公认的解决方法。在基于概念的语义查询扩展中,词语-概念语义相关度的确立是个中心环节。随着语义Web和本体技术的发展,越来越多的文档按照本体标注和组织。针对这类文档,本文提出一种新颖的K2CM（Keyword to Concept Method）方法,从两方面观察词语-概念相关度,一方面是从词语-文档-概念所属程度角度,一方面是从词语-概念共现度角度。词语-文档-概念所属程度来源于标注的文档集中词语通过文档和概念构成的所属关系。词语-概念共现度是在词语概念对共现性基础上增加了词语概念对的文本距离和文档分布特征的考虑。公开数据集上的语义检索实验结果表明,和传统方法相比,基于K2CM的语义查询扩展可以明显提高查询效果。 2)提出把词语-概念相关关系引入统计语言模型中 统计语言模型因其具有直观明了的概率含义和表现良好的检索效果成为信息检索领域中继向量空间模型和概率模型之外的另一个主要研究工具。针对按概念类别组织的文档集,提出一种基于词语-概念相关关系的统计语言模型TCA-LM（Term-Concept Association based Language Model）,把从文档集中获取的词语-概念相关关系融入到已有的统计语言模型中。TCA-LM的基本思想是把一篇文档看成由两个文档块组成,一个是由概念构成的有语义文档块,另一个是由”无语义”词语构成的无语义文档块,分别计算两个文档块和查询的相似程度。对无语义文档块,我们把里面的词语都假设为无关的,沿用已有的经典统计语言模型计算。对有语义的文档块,把查询词语和概念相关关系引入统计语言模型中。词语-概念相关关系采用词语-概念相关度来衡量。在计算过程中,只对文档中重要的有语义部分（即由概念组成的部分）应用词语-概念相关关系而省略相对不重要的无语义部分,在引入词语-概念相关关系对统计语言模型进行修正的同时也提高了计算效率。公开数据集上的检索实验结果表明,基于词语-概念相关关系的统计语言模型可以有效帮助提高检索准确率。 3)提出一种领域本体中概念之间语义相关度的计算方法 当前,本体中概念之间缺乏相应的语义相关度成为本体的应用障碍之一。提出一种基于概念间不同类型语义关系计算概念间语义相关度的方法SRbM （Semantic Relationship based Method）。SRbM基于领域本体的语料库,从贝叶斯概率论思想出发分析具有不同类型语义关系的概念对在语料库中共现的特点,利用极大似然方法估计领域本体上一个概念到其直接相邻概念的语义相关度DSA（Degree of Semantic Association）。在DSA的基础上,依据概念之间相关关系的传播性,给出了一种计算领域本体中任意两个概念之间语义相关度的方法。实验部分采用美国医学主题词表MeSH和信息检索领域公开的CF数据集实现语义查询扩展。实验结果表明SRbM方法产生的语义相关度具有相当的有效性,应用在语义查询扩展中可明显提高检索效果。 4)提出基于领域本体构建用户认知结构 认知能力是人类的基本能力之一,用户的爱好、理解水平、表达等都和用户的认知结构紧密相关。了解用户认知结构是理解用户个性化需求的重要因素之一。本文提出在领域本体基础上建立用户认知结构表示模型DbSAM（Domain based Spreading-Activation Model）,根据用户提供的认知中心概念,一方面,通过领域本体上概念之间的语义相关性推导

关键词： 信息检索   文本分类   词间相关性   搜索引擎   MPEG-7标准   基于内容图像检索   查询扩展   机器学习  

摘要： 随着互联网的快速发展，网上的信息呈指数级增长。因此，如何处理网上的海量信息成为非常重要的研究课题。文本分类和信息检索的研究可以帮助人们有效的从网上找到自己感兴趣的信息，帮助用户在日益增多的信息中发现对自己有用的知识。本文从以下三个方面对信息检索的相关问题进行了研究： 首先对文本分类相关技术进行讨论。主要包括：1)引入义类的概念，设计了一个图结构的同义词词典，并给出了该词典的生成算法。应用该词典可以按语义对向量维数进行压缩；词典作为文本分类系统的启发式知识，可以提高系统的模拟推理能力、增加系统对开放语料的处理能力。2)提出一种仿人文本分类算法，该算法一方面基于文章的标题可以突出内容的观点，在处理特征向量时增加标题的权重；另一方面，设计了一维加权因子ω向量，用以模仿人工分类专家的略读和跳读，对大量出现在正例集而较少出现在反例集中的特征项，在计算文档聚类中心时增加它们的权重。实验表明：该算法可以较好的提高文本分类系统的性能。 其次，是对网页检索相关问题的研究。主要研究内容：1)针对搜索引擎检索的对象是Web页面这一特点，通过分析HTML标签的修饰功能，结合传统的tf-idf加权公式，对网页进行加权索引。实验证明对于精确匹配，在查全率较低时系统的查准率有较大的提高。2)利用词间相关性进行查询结果重排。根据Web页面篇幅较小的特点，提出“网页主题关键词集合”的概念。利用词间相关性计算用户查询词集合与网页主题关键词集合之间的距离，对检索结果重新排序。将与用户查询需求相关性较大的网页排在前面。3)查询扩展是提高信息检索效果的一个有效方法，而扩展词的选择是查询扩展的一个难点。通过词共现分析，提出了一种新的词间相关性计算方法，应用于查询扩展，所选扩展词和查询整体关联，较好地反映了查询主题。实验表明，基于这种词间相关性进行查询扩展，对于信息检索性能有一定提高。 最后，对基于内容的多媒体信息检索进行研究。分别对MPEG-7标准的部分描述子进行多媒体检索实验研究。在此基础上，1)提出了一种利用MPEG-7标准中的主颜色描述子抽取镜头视频关键帧的方法，并进行了相应的实验；2)利用主颜色描述子与同构型纹理描述子所适应的检索范围不同，结合两者对关键帧进行了检索实验；3)将以上研究结果应用于“CG(Computer Graphics)制作环境项目管理系统”。

关键词： 本体   浏览   信息检索   交互  

摘要： 随着语义网络技术的发展,越来越多的领域运用本体来描述领域内的知识。比如,本体被用于生物工程来描述基因信息,被用于企业内部来描述企业的各种资源,也被用于金融行业来描述商业数据和决策。通常一个本体中,包含的数据量大并且分布零散。因此,开发出能帮助用户快速地理解本体所包含的信息、准确地定位到与用户查询相关的实体的工具,显得尤为重要。 本工作研究并开发了协助用户浏览本体的工具。该工具具有交互式浏览和搜索的界面。浏览界面分两种,第一种是属于同一类的实体列表浏览,第二种是单个实体的浏览。在实体列表浏览界面下,实体及其各属性以类似于数据库中表的形式被显示。在单个实体浏览界面下,描述实体的文档、该文档的摘要、实体在本体中的位置信息被显示。在搜索界面中,返回的结果信息不仅包含相关实体的快照,而且包含实体在本体中的位置信息。用户可以方便地在浏览界面和搜索界面之间切换。本工作还利用本体环境下丰富的实体链接信息,提出了改进的信息检索模型。该模型通过本体中代表实体的结点之间的边,来传递实体相似度的值。 为了评测开发出的本体浏览工具,本工作进行了用户评测,并且运用多种业界标准的评测指标对本文提出的改进的信息检索模型进行了评测。评测工作的数据集是描述APEX实验室门户网站上所有信息的本体。评测人员由对该领域不熟悉的实验室成员组成。根据用户的反馈,本工具

关键词： 信息检索   相关反馈   标签影响因子   辐射场   类标题生成   查询词扩展  

摘要： 信息检索时,需求的模糊导致查询结果不尽人意。为使检索更有效,需采用各种相关反馈途径对检索策略进行修改,以发现用户的信息需求。近年来,研究者提出了基于各种检索模型下的反馈方法,比较突出的有向量空间模型和概率模型。在本文中首先系统地介绍了信息检索以及各种检索模型下的相关反馈技术。在对反馈技术进行仔细分析的前提下,本文提出了如下创新: 首先分析了向量空间模型及其中的相关反馈。研究发现,向量空间模型检索精度及其中相关反馈的查准率,都在一定程度上受到原始矩阵中数据准确度的影响。传统的权值构造方法是词频-逆文档频率法及其扩展方法。这些方法在处理Web文档的时候,没有考虑到不同Web标签中同一词汇的影响程度有所不同这一特点,故不能准确地反映文档集特点。本文提出了Web标签影响因子算法,通过对大量的训练文档进行分析,从而获得比较准确的标签因子,用其对原始矩阵数据进行了一定程度的精化。通过实验,发现对改善系统查准率有一定帮助。 文中重点分析了概率潜在语义模型中的相关反馈技术。首先对PAM算法进行了初始k点选择优化,优化技术为辐射场,并对辐射场技术中每个参数的选择提出了具体的解决办法。在概率潜在语义模型的基础上,结合这种改良的聚类算法本文提出了新的相关反馈流程。 用概率潜在语义模型构造的数据矩阵为本次研究的基础数据,用k -中心点算法(PAM)的聚类结果来近似的拟合潜在语义类别。由于聚类的结果只与输入矩阵的数据有关;而建立概率潜在语义模型的算法,其唯一依据也是原始矩阵数据;若将PAM算法中聚类个数限定为潜在语义类的类别数目,就可以认为二者有较强的联系,可以用聚类结果类别来近似拟合潜在语义类。类别拟合完毕以后,文中还给出了类标题生成方法,且构建了反馈后对原始查询的查询词扩展方法。用查全率和查准率两个指标来衡量改良后的检索结果,实验数据表明,系统性能在一定程度上得到了改善。

关键词： 语义网   描述逻辑   证券领域本体   面向领域的语义检索系统   语义排序算法   自适应热点   证券领域语义描述  

摘要： 本文利用语义网相关概念与技术对面向领域的信息检索进行了研究。文中利用本体技术对相关证券领域的词汇与关系进行了定义,并构建起证券领域知识模型。其次,利用本体对用户检索语句进行语义查询扩展后,利用基于语义的排序算法作为平台核心的排序模块,通用检索技术作为平台核心检索模块实现了面向领域的证券信息检索系统。另外,针对投资者的需求对系统进行了扩展以期达到自适应热点功能并提出了Web语义信息服务框架。 语义网是目前流行的下一代互联网概念,在专业搜索领域中应用语义网相关技术可以提高搜索的准确率,并且本体的建立便于知识重用与机器互操作。本文首先介绍了语义网及其相关技术,对描述逻辑进行详细的描述,然后构建了面向证券领域本体Stock Ontology(简称SO),并用OWL语言进行了相应描述。 本文在建立了证券领域本体SO后,提出并实现了面向专业领域的信息检索系统Semantic Information Retrieval System based on Special Area (简称SIRSSA),该系统可以对用户所提供的关键词进行语义扩展,生成标准系统检索语句以便满足投资者相关信息查询的需求。另外系统还提供三元组检索语句组合模块使用户可以更精确的设定检索语义。同时,提出了基于语义的检索集二次排序算法OntoRank,在分析集合文档概念关系的基础上,对本体进行概念关系查询后确定相应词汇权重因子,并计算文档权重,对系统初始检索集进行排序更新,提供用户查询语义相关检索集合。 本文进一步提出自适应热点算法扩展,利用用户点击频率统计相关信息受关注程度,可以自动反映热点,使投资者可以方便在检索的同时得到极大相关热点排序集合。 本文将面向证券领域的语义信息检索进行Web服务描述,以期对外提供服务接口供机构投资者调用,并利用ABC时空本体模型对证券文本信息进行语义描述。此外,提出了可以根据不同的地理信息数据的描述利用本体推理机制进行股票交易过程的信息服务流程。 基于文本描述与数量处理的基础上,本文给出了面向证券领域综合应用平台的框架,使文本描述与数量分析集成,在进行证券数据挖掘的同时提供对文本信息的响应。文中进一步提出证券信息普适服务的设想。

关键词： 信息检索   向量空间模型   汉语自动分词   矩阵摄动   偏移距离  

摘要： 在实际信息检索系统中，信息检索系统的查全率和查准率都不是很高，针对不同的文献集，信息检索系统的性能也不一样，很多系统尽量适应各种文献的检索，这样性能就更加低效，与其说使检索系统适应各种文献类型不如退而求其次，针对不同的文献类型设计不同的检索系统，本文对使用最多的科技文献的结构进行了分析，针对科技文献的特点，对中文科技文献信息检索系统的各个方面进行了改进。 在讨论科技文献的自动分词之前首先分析了用来标引文献的关键词，根据文献标引中使用的关键词的特点，改进了分词词典和停用词表，使其更加适用于中文科技文献的标引需要。针对文献的五个部分使用了不同的分词算法，对篇名、摘要和参考文献使用双向最大分词算法，可以从中识别出歧义词。对于正文由于词语的重复率比较高，不对正文出现的少量歧义进行处理，也不会对词频产生大的影响。正文就只采用正向最大分词方法。 信息检索系统选用向量空间模型作为检索模型。在基于向量空间的信息检索系统中加入了位置空间，位置空间中篇名、摘要、关键词、正文和参考文献分别作为一个位置来处理，从中提取的关键词单独计算权值，构成位置向量，然后用位置向量来构造文献向量。文献向量构成整个文献空间矩阵。为了减小文献矩阵的摄动和长文献对词频的影响，本文把文献矩阵规范成了概率阵，并用矩阵的条件数证明了概率阵的摄动明显减小。由于信息检索系统的评价方法一直用查全率和查准率，这两种方法都是二值的评价方法，本文提出了一种偏移距离的方法来评价检索系统。