基于VSM的文档信息检索改进

计算机文本处理

ITA!信息系统#

●焦玉英,宋晓晴(武汉大学　信息管理学院,湖北　武汉　430072)

基于VSM的文档信息检索改进

　　摘　要:虽然传统的向量空间模型被誉为检索模型中最富有想象力和创造力的模型,但是它同时也存在着一些考虑不足的地方,如未考虑文档结构、文档类型等问题。本文就这些问题给予分析并给出了相应的改进方法,最后构建了一个改进后的向量空间模型。

关键词:向量空间模型;文档结构;文档类型;语义分析

Abstract:Althoughthetraditionalvectorspacemodelispraisedasthemostimaginativeandcreativeonea2mongretrievalmodels,italsohassomedeficiencies,forexample,thestructureandthetypeofhavenotbeentakenintoconsideration.

Thispapergivesananalysisoftheseprmsandpsponding

methodforimprovement.Finally,animprovedvectorspaceisp.

Keywords:vectorspacemodel;filestructure;filese　　互联网迅速发展的今天,检索到大量的信息,的挑战,,的问题。

20世纪70年代中期,杰尔得 索顿(Salton)[1]提出

。

文献和查询均用由项构成的向量表示:d=(t1,t2,

t3,…,tn)。项的权重(TermWeight)意为:对于有n个

不同项的系统,文献D=(t1,t2,t3,…,tn),项tk(1≤k≤n)常常被赋予一个数值Wk,表示它在文献中的重要程度,称为项tk(1≤k≤n)的权重,因此,我们一般用

D=(w1,w2,w3,…,wn)的形式表示文献,特征项的

了检索系统的向量空间模型(VectorSpaceModel,VSM),定义了文献向量、提问向量、文献提问相关系数以及属性文献相关矩阵、标引相关矩阵、文献相关矩阵。向量空间模型是所有信息检索模型中最富有想象力和创造力的,最能揭示文献之间的关系,但是即便如此,向量空间模型在应用中也有它的一些不足,例如缺乏对检索词语义的分析,也没有对文档的结构给予重视。本文将全面分析目前大家所关注到的一些该模型的不足之处,并给出适当的改进建议。

权重计算比较权威的方法是运用TF2IDF公式,即W

ik

=tfik

/dfk=tfik3idfk,其中tfik为特征项在文档出现频率,称为

项频率(TermFrequency);则dfk是文档集D中出现特征项Tk的文档的数量,称为文档频率;idfk为dfk的倒数,称为反转文档频率(InvertedDocumentFrequency)。另外还应考虑到文档的长度,否则长文档易被检出,而短文档会被漏检,所以通常还要对上面公式进行标准化处理。

向量空间模型的基本思想是将所涉及的m个文献中出现的所有特征词构成一个n维向量空间T(T1,T2,…,Tn),其中n为特征词的总个数,对于每一个文献i

(i=1,2,…,m),定义向量Pi=(Wi1,Wi2,L,Win),

1　传统向量空间模型的基本原理

向量空间的基本原理[2]是:对文本进行预处理,抽取代表其特征的元数据,将这些特征用结构化的形式保存作为文档的中间表示形式。其中有几个关键的常用概念:

文献(Document):泛指各种机器可读的记录,可指一篇文章或一个网页,也称为文档,本文中将侧重对网页文档的讨论。

项(Term):也称索引项,是用来标引被检索内容的关键词等,文献或查询的内容被看作是由它所包含的基本语言单位(词、短语等)构成的集合,这些基本语言单

其中Win为特征词Tj在文档i中的重要程度即权值,又对用户提问所对应的查询表达式或用户预先定义的模板文件

(Profile)定义向量Qj=(q1,q2,…,qn),其中qj表示

查询词Tj在查询表达式中的权值,这样所有文献和用户提问都可以映射到向量空间T上,从而将文献信息与用户需求的匹配问题转化为在向量空间中的向量匹配问题,通常用向量Q与Pi之间夹角的余弦或内积距离来度量被检索文献i与用户兴趣的相关度。

　 情报理论与实践

—97—

第1页下一页