信息搜索引擎综述及系统架构设计

商业科技

信息搜索引擎综述及系统架构设计

陈　丹　浙江大学城市学院　郭伟青　浙江工业大学之江学院

［摘　要］　本文介绍了搜索引擎的发展与分类，给出了一种搜索引擎的架构并对各个组成部分进行了分析，最后分析了如何来评价搜索引擎性能的技术指标。

［关键词］　搜索引擎　发展　分类　技术指标

一、引言

互联网发展的今天，一方面离不开其开放、共享的特性带给人们的全新体验，另一方面也离不开数以亿计的为其提供各类丰富内容的网络节点。互联网被普及前，人们查阅资料第一想到的便是拥有大量书籍资料的图书馆，到了今天，很多人都会选择一种更方便、快捷、全面、准确的方式——使用搜索引擎。

二、搜索引擎的历史

２０世纪９０年初，当时万维网（Ｗｏｒｌｄ　Ｗｉｄｅ　Ｗｅｂ）还未出现，为了查询散布在各个分散的主机中的文件，曾有过Ａｒｃｈｉｅ，　Ｇｏｐｈｅｒ等搜索工具，随着互联网的迅速发展，基于ＨＴＴＰ访问的ｗｅｂ技术的迅速普及，它们就不再能适应用户的需要。１９９４年，Ｌｙｃｏｓ推出了基于Ｒｏｂｏｔ的数据发现技术。１９９８年１０月，Ｇｏｏｇｌｅ诞生，它是目前最流行的搜索引擎之一，具备很多独特而且优秀的功能，并且在界面等方面实现了革命性创新。

三、搜索引擎的分类

按照信息搜集方法和服务提供方式的不同，搜索引擎系统可以分为三大类。但各种搜索引擎站点正在结合其他搜索引擎的优点，在类型上有逐渐融合的趋势。

１．目录式（Ｄｉｒｅｃｔｏｒｙ）搜索引擎。以人工方式或半自动方式搜集信息，由编辑员查看信息之后，人工形成信息摘要，并将信息置于事先确定的分类框架中。该类搜索引擎因为加入了人的智能，所以信息准确、导航质量高，缺点是需要人工介入、维护量大、信息量少、信息更新不及时。这类搜索引擎的代表是：Ｙａｈｏｏ！（ｄｉｒ．ｙａｈｏｏ．ｃｏｍ）和Ｏｐｅｎ　Ｄｉｒｅｃｔｏｒｙ　Ｐｒｏｊｅｃｔ（ｗｗｗ．ｄｍｏｚ．ｏｒｇ）。

２．基于机器人（Ｒｏｂｏｔ－ｂａｓｅｄ）的搜索引擎。基于机器人的搜索引擎是一种典型的搜索引擎。由一个称为爬虫（Ｓｐｉｄｅｒｓ或ｒｏｂｏｔｓ）的机器人程序以某种策略自动地在Ｉｎｔｅｒｎｅｔ中搜集和发现信息，由索引器为搜集到的信息建立索引，由检索器根据用户的查询输入检索索引库，并将查询结果返回给用户。该方式力求能够对ＷＷＷ中所有数据进行检索，涉及网上的任何领域，然而由于ＷＷＷ　的海量信息，实际运行中往往只能对ＷＷＷ　中部分内容进行检索。这类搜索引擎的代表是：Ｇｏｏｇｌｅ（ｗｗｗ．ｇｏｏｇｌｅ．ｃｏｍ），国内的有百度（ｗｗｗ．ｂａｉｄｕ．ｃｏｍ）等。

３．元搜索引擎（Ｍｅｔａ－ｓｅａｒｃｈ　ｅｎｇｉｎｅ）。元搜索引擎的基本思想是：当搜索引擎受到来自客户的查询请求后，自动将这些查询请求转发给其它多个搜索引擎，并将各搜索引擎返回的查询结果收集起来进行处理，最终提供给用户。这类搜索引擎没有自己的数据，而是将用户的查询请求同时向多个搜索引擎递交，将返回的结果进行重复排除、重新排序等处理后，作为自己的结果返回给用户。这类搜索引擎的代表是ＷｅｂＣｒａｗｌｅｒ、ＩｎｆｏＭａｒｋｅｔ等。

四、搜索引擎基本组成

１．搜索器。搜索器的功能是在Ｉｎｔｅｒｎｅｔ中漫游，发现和搜集信息。搜索器搜集的信息类型多种多样，包括ＨＴＭＬ文本、ＸＭＬ文本、Ｎｅｗｓｇｒｏｕｐ文章、ＦＴＰ文件、字处理文档（如Ｗｏｒｄ，Ｐｏｓｔｓｃｒｉｐｔ，　ＰＤＦ）、

多媒体信息（如图片、声音、动画、视频）等。它常常是一个或者多个互相协调的计算机程序，日夜不停地运行，目的是要尽可能多、尽可能快地搜集各种类型的新信息，同时因为Ｉｎｔｅｒｎｅｔ上的信息更新很快，所以还要定期更新已经搜集过的旧信息，以避免死连接和无效连接。

２．索引器。索引器的功能是理解搜索器所搜索的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表。索引项有客观索引项和内容索引项两种：客观项与文档的语意内容无关，内容索引项是用来反映文档内容的。一个搜索引擎的有效性在很大程度上取决于索引的质量。

３．检索器。检索器的功能是根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。检索器常用的信息检索模型有集合理论模型、代数模型、概率模型和混合模型四种。

４．用户接口。用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。主要的目的是方便用户使用搜索引擎，高效率、多方式地从搜索引擎中得到有效、及时的信息。用户接口的设计和实现使用人机交互的理论和方法，以充分适应人类的思维习惯。

五、搜索引擎技术指标

可以用查全率（Ｒｅｃａｌｌ）和查准率（Ｐｒｉｃｉｓｉｏｎ）衡量一个搜索引擎的性能，定义如下：

查准率（精度）＝搜索到的相关文档数／搜索到的全部文档数查全率（召回率）＝搜索到的相关文档数／包含的全部相关文档数

影响一个搜索引擎系统的性能有很多因素，最主要的是信息检索模型，包括文档和查询的表示方法、评价文档和用户查询相关性的匹配策略、查询结果的排序方法和用户进行相关度反馈的机制等。

六、小结

互联网技术的发展，使得互联网上的信息量急剧增加，信息越来越丰富，越来越多的网络用户依靠搜索引擎技术，从浩瀚的信息海洋中获取信息，为学习、生活提供越来越多的便利，搜索引擎技术必将会有更大的发展应用。

参考文献：

［１］李晓明：ｈｔｔｐ：／／ｗｗｗ．ｓｅ－ｅｘｐｒｅｓｓ．ｃｏｍ［ＥＢ］

［２］刘　峰　王秀坤　杨南海　马　霖：中英文专业搜索引擎中数据采集加工的设计与实现［Ｊ］．计算机应用研究．２００４，２１（１０）：１５５～１５７

年１５２８期

２８

第1页