基于改进SVM_RFE的特征选择方法研究

一种改进的特征选择的方法

第32卷第2期2011年2月微计算机应用MICROCOMPUTERAPPLICATIONSVol.32No.2Feb.2011

*基于改进SVM－RFE的特征选择方法研究

王俭臣单甘霖张岐龙段修生

(军械工程学院光学与电子工程系石家庄050003)

摘要:SVM－RFE特征选择算法是一种有效的特征选择方法，具有较高的应用价值。针对传统SVM－RFE特征选择算法中SVM参数(γ和C)难以确定的问题，本文采用粒子群算法搜索SVM的参数。然后将特征向量映射到SVM参数γ确定的核空间中并进行特征选择，有效地将特征选择与SVM分类器设计关联起来。仿真结果表明，特征选择后的数据集仍能保证SVM分类器具有较高的分类正确率。

关键词:SVM－RFE特征选择PSO分类正确率

ResearchonFeatureSelectionMethodBasedonImprovedSVM－RFE

WANGJianchen，SHANGanlin，ZHANGQilong，DUANXiusheng

(DepartmentofOpticsandElectronicsEngineering，OrdnanceEngineeringCollege，Shijiazhuang，050003，China)

Abstract:SVM－RFEfeatureselectionarithmetic，whichisaneffectivemethodforfeatureselection，hasaratherhighvalueforapplica-tion．ParametersofSVMinthefeatureselectionarithmeticbasedonSVM－RFEaredifficulttobedetermined．ItisproposedtousethePSOarithmetictosearchreasonableSVMparameters．ThenfeaturevectorwasmappedtothekernelspacedeterminedbytheSVMpa-rameterandfeatureselectionwasoperated．ThisstrategyassociateddesignofSVMclassifierwithfeatureselectionefficiently．SimulationresultsindicatedthatthefeatureselecteddatacouldinsuredasatisfyingclassificationaccuracytotheSVMclassifierallthesame．Keywords:SVM－RFE，featureselection，PSO，classificationaccuracy

［1］特征选择是模式识别领域的重要内容，具有很高的研究价值。一方面，通过特征选择可以减少待处

理的数据量，从而降低计算的复杂性;另一方面，特征选择过程往往能够剔除非关键的干扰特征，降低特征间的相关性，从而改善特征向量的有效性。特征选择策略和评价准则的多样性，但至今还没有一种具有明显优越性的理论解决此问题。鉴于以上原因，特征选择问题越来越受到广大科研工作者的关注。

［2］目前特征选择的搜索策略和评价准则多种多样。常用的特征选择搜索策略有:随机搜索策略、启发

［3］式搜索策略(如序列前向选择策略、序列后向选择策略)等。常用的评价准则有:概率距离和相关测量法、

［4］［5］类内和类间距离测量法、信息熵等。不同的搜索策略和评价准则都具有一定的理论基础和应用特点。

值得注意的是，对启发式搜索策略的研究成为近年来研究的热点方向;评价准则方面，利用选择后的特征向量训练得到的分类器的性能指标作为评判准则，越来越受到人们的关注。

SVM是基于统计学习理论而提出的一种通用学习方法，很好地解决了有限样本情况下的统计学习问题［6，7］8，9］。SVM－RFE算法［2，是一种基于SVM中最大间隔原理的后向序列约减算法。该算法使用支持向量机的参数信息(如权重w2)对特征进行递归消去。但在SVM－RFE算法进行特征选择的过程中存在支持向量机参数不确定问题。采用人工经验调节或网格式搜索参数是目前解决此问题的常用方法，但这些方法本文于2010－09－19收到。

*基金项目:国防预研基金(513270203)。

第1页下一页