基于Lucene全文检索引擎的应用研究与实现

基于Lucene全文检索引擎的应用研究与实现

第２８卷第２期

计算机工程与设计

２００７年１月

Ｖ０１．２８

Ｎｏ．２

ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＤｅｓｉｇｎ

Ｊａｎ．２００７

基于Ｌｕｃｅｎｅ全文检索引擎的应用研究与实现

管建和，

甘剑峰

（中国地质大学信息工程学院，北京１０００８３）

摘

要：Ｌｕｃｅｎｅ全文检索技术是信息检索领域广泛使用的基本技术。它是一个优秀的开源全文本搜索技术框架。按照Ｌｕｃｅｎｅ

的框架规范，扩展Ｌｕｃｅｎｅ的功能，可以将Ｌｕｃｅｎｅ很好地嵌入到自己的搜索引擎中。首先介绍了一个高性能的全文检索引

擎一，ｕｃ％ｅ开源系统，详细分析了Ｌｕｃｅｎｅ的系统结构，程序运行逻辑，以及在Ｌｕｃｅｎｅ上的扩展；然后将其引入具体应用，给出了一个基于Ｌｕｃｅｎｅ全文检索技术的校园网Ｗｅｂ搜索引擎的设计与实现。

关键词：全文检索技术；Ｌｕｃｅｎｅ；搜索引擎；索引；切分词

中图法分类号：ＴＰ３９３．０９

文献标识码：Ａ

文章编号：１０００．７０２４（２００７）０２．０４８９—０３

Ｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆｗｅｂｓｅａｒｃｈｅｎｇｉｎｅｂａｓｅｄ

ｏｎ

Ｌｕｃｅｎｅ

ＧＵＡＮＪｉａｎ＿ｈｅ．

ＧＡＮＪｉａｎ．ｆｅｎｇ

（ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｕＥｎｇｉｎｅｅｒｉｎｇ，ＣｈｉｎａＵｎｉｖｅｒｓｉｔｙｏｆＧｅｏｓｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１０００８３，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ：Ｌｕｃｅｎｅｆｕｌｌ－ｔｅｘｔｒｅｔｒｉｅｖａｌｔｅｃｈｎｏｌｏｇｙｉｓａ

ｂａｓｉｃ

ｔｅｃｈｎｏｌｏｇｙｕｓｅｄｗｉｄｅｌｙｉｎｉｎｆｏｒｍａｔｉｏｎｒｅｔｒｉｅｖａｌｆｉｅｌｄ．Ｉｔｉｓ

ａｉｌ

ｅｘｃｅｌｌｅｎｔｔｅｃｈ－

ｎｏｌｏｇｙｆｒａｍｅｏｆｆｕｌｌ－ｔｅｘｔｒｅｔｒｉｅｖａｌｅｎｇｉｎｅｏｆｏｐｅｎ

ＳＯｌ／ｒｏｅ

ｃｏｄｅ．Ｉｔｉｓ

ｅｍｂｅｄｄｅｄｔｏｒｅｔｒｉｅｖａｌｅｎｇｉｎｅｏｆａｐｐｌｉｃａｔｉｏｎａｃｃｏｒｄｉｎｇｔｏＬｕｃｅｎｅ’Ｓ

ｆｒａｍｅｃｒｉｔｅｒｉｏｎａｎｄｅｘｐａｎｄｉｎｇｉｔｓｆｕｎｃｔｉｏｎ．Ｆｉｒｓｔｌｙ，Ｌｕｃｅｎｅ，ａｎａｄｖａｎｃｅｆｕｌｌ－ｔｅｘｔｒｅｔｒｉｅｖａｌｅｎｇｉｎｅｉｓｉｎｔｒｏｄｕｃｅｄ，ｓｙｓｔｅｍｓｔｒｕｃｔｕｒｅ，ｒｕｎｉｎｇｌｏｇｉｃ，ａｎｄｅｘｔｅｎｄｂａｓｅｄ

ｏｎ

ｌｕｃｅｎｅａｒｅ

ａｎａｌｙｓｅｄｉｎｄｅｔａｉｌ．Ｔｈｅｎｅｍｐｌｏｙｉｔｉｎｔｈｅａｐｐｌｉｃａｔｉｏｎ，ｄｅｍｏｎｓｔｒａｔｅ

ｔｈｅｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔｏｆ

ａ

ｗｅｂｓｅａｒｃｈｅｎｇｉｎｅｂａｓｅｄ

ｏｎｌｕｃｅｎｅ

ｔｅｃｈｎｏｌｏｇｙ．

Ｋｅｙｗｏｒｄｓ：ｆｕｌｌ－ｔｅｘｔｒｅｔｒｉｅｖａｌｔｅｃｈｎｏｌｏｇｙ；Ｌｕｃｅｎｅ；ｓｅａｒｃｈｅｎｇｉｎｅ；ｉｎｄｅｘ；ｔｏｋｅｎｉｚｅ

Ｏ引言

应用的全文索引／检索功能。Ｌｕｃｅｎｅ的ＡＰｌ接口设计得比较通用，输入输出结构都很像数据库的表、记录和字段，所以很多

Ｌｕｃｅｎｅ是一个高性能的Ｊａｖａ全文检索工具包，作为一个传统的应用的文件、数据库等都可以比较方便的映射至ｌＪＬｕｃｅｎｅ开放源代码项目，Ｌｕｃｅｎｅ从问世之后，引发了开放源代码社群的存储结构或接口中。总体上看，可以先把Ｌｕｃｅｎｅ当成一个的巨大反响，程序员不仅使用它构建具体的全文检索应用，而支持全文索引的数据库系统。

且将之集成到各种系统软件中去，以及构建Ｗｅｂ应用，甚至某１．２

Ｌｕｃｅｎｅ系统结构

些商业软件也采用了Ｌｕｃｅｎｅ作为其内部全文检索子系统的核Ｌｕｃｅｎｅ作为～个优秀的全文检索引擎，其系统结构运用

心。Ｌｕｃｅｎｅ以其开放源代码的特性、优异的索引结构、良好的了大量的面向对象的设计思想。首先是定义了一个与平台无系统架构获得了越来越多的应用。本文在研究分析Ｌｕｃｅｎｅ的关的索引文件格式，其次通过抽象将系统的核心组成部分设系统结构、运作机制的基础上，设计并实现了一个基于Ｌｕｃｅｎｅ计为抽象类，具体的平台部分设计为抽象类，此外与具体平台

全文检索技术的校园网Ｗｅｂ搜索引擎，希望能对读者了解和相关的部分比如文件存储也封装为类，经过层层的面向对象

使用Ｌｕｃｅｎｅ全文检索引擎提供一些有益的参考和经验。

编程的处理，最终达成了一个低耦合、高效率、容易二次开发１全文检索引擎ｌｕｃｅｎｅ

等的检索引擎系统。Ｌｕｃｅｎｅ系统其结构如图１所示。

我们可以从图１清楚地看到，Ｌｕｃｅｎｅ系统是由基础结构１．１

Ｌｕｃｅｎｅ简介

封装、索引核心、对外接口３大部分组成。其中直接操作索引Ｌｕｃｅｎｅ是ａｐａｃｈｅ软件基金会ｊａｋａｒｔａ项目组的一个子项

文件的索引核心又是系统的重点，索引的最后结果就是产生目，是一个开放源代码的全文检索引擎工具包，即它不是一个许多的索引文件，这些索引文件构成索引库。

完整的全文检索引擎，而是一个全文检索引擎的架构，提供了Ｌｕｃｅｎｅ系统将所有源码分为了７个模块（在Ｊａｖａ语言中以完整的查询引擎和索引引擎，它为数据访问和管理提供了简包即ｐａｃｋａｇｅ来表示），各个模块（包）完成特定的功能。在Ｌｕｃｅｎｅ单的函数调用接口，可以方便的嵌入到各种应用中实现针对系统的这７个包中，核心类包主要有３个（ｏｒｇ．ａｐａｃｈｅ．１ｕｃｅｎｅ．

收稿日期：２００６－０１－２７Ｅ－ｍａｉｌ：ｇｕａｎｊｈ＠ｃｕｇｂ．ｅｄｕ．ｃｎ

作者简介：管建和（１９６２一），男，北京人，教授，研究方向为面向对象技术与应用和计算机网络技术与应用；甘剑峰，男，研究生，研究方向

为计算机网络技术与应用。

万　

方数据——４８９－——

第1页下一页