垂直搜索引擎系统的架构研究

本文首先通过对搜索引擎工作机制的描述来对现有的搜索引擎做了分类、然后通过各模块工作原理和技术的研究(包括下载系统、分析系统、索引系统、查询系统、日志系统)系统性的描述了垂直搜索引擎的关键技术和运作流程,并在最后展望了搜索引擎的未来发展的前进方向。

4

福

建电

脑

2 1年第 1期 0 1 1

垂直搜索引擎系统的架构研究 徐周昶，章美仁 (台州学院数信学院浙江台州 3 7 0 1 0 0)

【摘要】:本文首先通过对搜索引擎工作机制的描述来对现有的搜索引擎做了分类、然后通过各模 块工作原理和技术的研究 (包括下载系统、分析系统、引系统、索查询系统、日志系统 )系统性的描述了垂直

搜索引擎的关键技术和运作流程，并在最后展望了搜索引擎的未来发展的前进方向。 【关键词】垂直搜索；:系统架构；倒排索引；页查重；网向量空间模型 0引言、

( )直搜索引擎： 3垂是相对于通用搜索引擎的信息对于搜索引擎的定义有很多， rN t这么说：量大、询不准确、度不够等提出来的新的搜索引擎 Wod e上 查深 一

这是一种用来在计算机网络特别是在万维网上检索各服务模式，过针对某一特定领域、一特定人群或某通某种文件的计算机程序。实，们可以将搜索引擎的结特定需求提供的有一定价值的信息和相关服务。特其我果看作一种动态网页。这种动态网页通过用户提交的点是“、、”本文介绍的架构就是针对与垂直搜专精深，检索关键词聚合了各种重要的、意义的、有有价值的相索引擎而言的。 关网页。以搜索引擎可以说是一个信息聚合系统。所通 ( )搜索引擎：用户的查询同时向多个搜索引 4元把过用户输人的查询关键词，搜索引擎来定位用户的查擎递交，然后将返回的结果进行重复排除和重新排序询意图，然后迅速地返回查询结果。 处理后作为自己的结果返回给用户。优点是返回信息

随着世界的日益信息化、字化、数网络化，索引量大、全，点是用户需要进行更多的筛选，搜索搜更缺原擎这一技术的重要性更加深入人心，有人甚至将它与引擎的功能无法充分使用。 操作系统并列为当今最复杂的两个系统软件。而且，随 () 5个性化智能信息检索：能化的程序，够学智能着搜索技术的越来越成熟，当前的搜索技术已经不再习用户的需求，有智能性、动性、具主协作性的优点，缺更新不及时。 局限于搜索引擎本身，它基于互联网级别的海

量数据点规模有限，的架构和理念已经扩展到整个信息技术领域的方方面 2垂直搜索引擎的工作原理、

面，我们有理由相信它的深远影响还会继续显现。我有本文架构的垂直搜索引擎结构清晰，工明确。按分信能赶上这次科技浪潮，通过本文谈谈对搜索引擎中照各自的功能划分，以分为下载系统、可分析系统、索 垂直搜索引擎系统的理解和各个模块子系统的架构。引系统、查询系统这 4个系统，本文又加入了日志系 1搜索引擎的分类、统，为了更好地完善搜索引擎而提出的， 5个系统是这搜索引擎系统根据不同的分类方式可以分成不同相互协作，同实现搜索引擎的快速、面、确、共全准稳的类别。按照它的工作机制进行分类可以分为以下几定、智能这些需求。全局看，从下载系统、析系统和索分种： 引系统组成了搜索引擎的数据准备部分，“线”是离的

() 1目录式搜索引擎：靠人工发现信息，靠编部分，询系统是数据服务部分，“依依查是在线”的部分， 日辑人员的知识进行甄别，并在此基础上进行分类，户志系统是为了完善整个系统的数据，是属于“线”用也离 可以在这个分类结构中浏览。由于加入了人的智能 .所部分 .但是它的作用在数据准备和数据服务部分都有以信息准确并且质量高，点是数据量有限，缺更新不及体现。中“线”其在部分的系统需要毫秒级的服务速度。 时，并且成本较高。 而“离线”部分的系统没有时间上的严格限制。整个搜 ()文搜索引擎： 2全针对万维网所有网页进行信息索引擎系统从开始到最后呈现给用户的都是网页。但检索的搜索引擎。由下载系统以某种策略自动地在万是在搜索引擎内部会有不同的组织形式，搜索引擎的维网上搜集和发现信息，由索引系统为抓取到的信息数据都来自网页，所以网页处理能力是搜索引擎技术建立索引，由查询系统根据用户的查询返回查询结果。的主要挑战。下面对搜索引擎的 5个系统一一进行分 优点是信息量大，更新及时，且无须人工干预，点析。并缺 .是返回的结果中包含过多无关信息，需要用户自己筛

21下载系统下载系统负责从几个种子网站出发下载网页，并选 基金项目：江省大学生科技创新活动计划的基金( 001 2 06)浙 2 1 1 80资助 4

第1页