基于Lucene和Heritrix技术搜索引擎的设计与实现l

基于Lucene和Heritrix技术搜索引擎的设计与实现

摘要:使用Lucene和Heritrix技术实现局域网站内搜索,该搜索引擎系统的后台完成了信息资源的抓取、建立镜像文件、建立索引、搜索等关键操作。本系统大量采用了第三方的工具,使得在文档格式的转换,分词的建立有了更好的准确度,更加符合人们日常习惯的说话方式,提高了用户查找所需要内容的命中率。

关键词:Lucene;Heritrix;搜索引擎

信息技术的不断发展,特别是互联网的迅速普及,深入到了人们生活的各个方面,改变了人们的生活方式和思维方式,方便了全球信息资源共享。搜索引擎是一个为你提供信息“检索”服务的网站,它使用某些程序把互联网上的所有信息归类以帮助人们在茫茫网海中搜寻到所需要的信息。其基本工作原理为:

(1)执行自动搜索程序,定期在网上收集相关的新网页或网站信息;

(2)利用自动标引程序和自动索引程序,通过扫描每一个网页中的每一个词(单元信息),建立起以词为单位的索引库;

(3)索引程序执行检索操作,采用相对简单的关键词匹配检索技术,根据检索入口词在每一个网页中出现的频率、概率及位置,对包含这些检索词的网页进行排序;

(4)输出排序的结果,并引导用户按得到的热链进一步搜索下去。

搜索引擎是网站建设中针对“用户使用网站的便利性”所提供的必要功能,同时也是“研究网站用户行为的一个有效工具”。高效的网站内检索可以让用户快速准确地找到目标信息,从而更有效地促进产品/服务的销售,而且通过对网站访问者搜索行为的深度分析,对于进一步制定更为有效的网络营销策略具有重要价值。

一、需求分析

1.主要技术

Heritrix是一个爬虫框架,可加入一些可互换的组件。它是一个由JAVA开发的、开源的Web网络爬虫,使用它从网络上抓取想要的资源。

Lucene是Apache软件基金会Jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包,即它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎。

Lucene和Heritrix是开源Java搜索引擎,应用日趋广泛,并适合于在本系统中应用。利用开源项目实现站内搜索,可以降低实现难度。

2.开发环境

本系统采用了传统架构jsp javabean进行开发。系统的开发平台是在Windows下,主要开发工

TOP相关主题