基于示例的Web信息自动获取系统的设计与实现

信息挖掘

第２５卷

计算机应用

Ｖ０１２５２００５年１２月

ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａ廿ｏｎｓ

Ｄｅｃ

２００５

文章编号：１００１—９０８ｌ（２００５）１２ｚ一００５５—０３

基于示例的Ｗｅｂ信息自动获取系统的设计与实现

张春元，康耀红

（海南大学信息科学技术学院，海南海口５７０２２８）

（６ｒ８ｔｓｐｒｉｎｇ＠ｔｏｍ．ｃｏｍ）

摘要：介绍了一个基于多层体系结构的个性化ｗｅｂ信息自动获取系统的设计与实现，提出了一种新的基于少量中文示例ｗｅｂ页面的兴趣特征抽取算法，并给出了系统的检全率和检准率测试结

果。实验结果表明，较基于关键词的搜索引擎而言，该系统能充分考虑用户的兴趣偏好（示例），长

期、主动地向用户提供更加准确的ｗｅｂ信息获取服务。

关键词：中文示例ｗｅｂ页面；ｗｅｂ信息获取；特征抽取；个性化中图分类号：ＴＰ３１１．５２

文献标识码：Ａ

页面。用户定制兴趣的基本过程是：用户设置兴趣主题，输人

引言

关键词搜索示倒ｗｅｂ页面，客户端将调用百度搜索引擎返回个性化ｗｅｂ信息获取技术能根据用户的兴趣偏好，主动

相应结果供用户挑选，用户从中选择出感兴趣的ｗｅｂ页面作为示例并将其相应的ｕＲＬ提交给兴趣管理器，完成用户兴趣定制。在实际应用中，让用户提交一定数量的示例Ｗｅｂ页面Ｉ．Ｄ嘲ｏｎ是一个个性化的ｗｅｂ信息自动获取系统：通过

会给用户的使用增加负担，影响系统的易用性。为此，网页过自动引入伪正例网页抽取用户提交的少量示例ｗｅｂ页面的滤器对示例ｗｅｂ页面进行特征抽取时通过引人伪正例”。网特征来建立用户过滤模板（ｕｓｅｒ

ｐ趟Ｉｅ）、设置过滤闽值，调用

页的办法来扩充示例ｗｅｂ页面数量，这样即使用户只提交１元搜索引擎获取待过滤ｗｅｂ信息源，采用向量空间模型过滤至２个示例ｗｅｂ页面也可完成兴趣定制。当有用户感兴趣出兴趣网页，并将它们推送给用户。本文首先介绍了Ｉ－Ｄｒａ９０ｎ的ｗｅｂ页面推送回来后，用户还可以扶中挑选出感兴趣的系统的体系结构，然后对本文提出的适用于少量中文示例Ｗｅｂ页面对原示例ｗｅｂ页面集进行扩充、修正，网页过滤器将自适应地调整用户过滤模板。客户端允许用户定制多个兴趣。

１．２兴趣管理器

兴趣管理器实际上是客户端与数据库服务器之间的中间层应用服务器，主要用于管理用户的兴趣信息，响应客户端的请求。兴趣管理器支持多客户端并发操作。

设置兴趣管理器主要目的是为了使系统架构更加合理：１）中间层的加人，屏蔽了客户端对数据库服务器的直接操作．无需用户在客户端安装数据库客户端程序，提高了系统的安全性与易用性；２）当应用程序业务逻辑或数据处理逻辑发生变化时，只需在中问层应用服务器上更新，而不需对所有的客户端都进行更新，方便ｒ系统的升级与维护；３）增强了系统的伸缩性和扩展性。

１．３

自搜索引擎

圈１Ｉ－Ｄｒａ９０ｎ系统体系结构

自搜索引擎的主要功能是对指定站点的站内网页利用网

络机器人进行采集，解析时去除广告条、导航条、版权信息等

同页内容干扰项”１再对网页文本内容进行索引。自搜索引Ｉ，Ｄｍ９０ｎ系统基于多层体系结构，主要由客户端、兴趣管擎可为网贞过滤器增添新的待过滤ｗｅｂ信息源，以弥补基于关键词的搜索引擎采集周期过长、部分网页不予采集的缺以及与环境的关系如图１所示。

陷”】，使得用户能更加及时、全面地获取感兴趣的ｗｃｂ信息。

１客户端

指定站点分为人工指定和系统分析指定两种。专业性情客户端的主要功能是供用户定制兴趣和浏览兴趣ｗｅｂ

报搜索用户通常专注于一些行业性、专业性的网站，此时就可

收稿日期：２００５一ｏｌ一１７；修订日期：２００５—０４—１９

基金项目：教育部科学技术研究重点资助项目（０３１４４）

作者简介：张春元（Ｊ９７３一Ｊ．男，湖北武汉人，硕士研究生，主要研究方向：Ｉｎｋｍｅｆ信息检索；康耀红（１９６３一），男，陕西韩城人，教授，主要

万方数据

Ｏ

从ＩｎＬｅｍｅｔ信息资源中获取用户感兴趣的ｗｅｂ信息并推送给用户，提高用户使用Ｉｎｌｅｒｎｃｔ信息资源的效率。

ｗｅｂ页面的特征抽取算法和系统过滤闽值设定方法进行了论述，给出了系统的检仝率和检准率测试结果。

１系统体系结构

理器、网页过滤器和自搜索引擎等部分组成．它们之间的关系１

研究方向：Ｉｎｋ邢ｅｔ信息检索、数据融台

第1页下一页