基于filter+wrapper模式的特征选择算法

摘要: 特征选择是数据挖掘、机器学习和模式识别中始终面临的一个重要问题。针对类和特征分布不均时，传统信息增益在特征选择中存在的选择偏好问题，提出了一种基于信息增益率与随机森林的特征选择算法。该算法结合filter和wrapper模式的优点，首先从信息相关性和分类能力两个方面对特征进行综合度量，然后采用序列前向选择（sequential forward selection，SFS）策略对特征进行选择，并以分类精度作为评价指标对特征子集进行度量，从而获取最优特征子集。实验结果表明，本文算法不仅能够达到特征空间降维的效果，而且能够有效提高分类算法的分类性能和查全率。