非数值化特征的条件概率区域划分(CZT)编码方法 后印本

摘要: 非数值化特征经常出现在数据中，对其有效编码是采用机器学习模型解决问题的关键。针对目前被广泛使用的one-hot编码方法的编码结果具有较大的稀疏性，并且编码出的数值仍然没有明确的物理意义等问题，提出一种基于条件概率的区域划分编码算法CZT(conditional-probability-based zone transformation coding)。该方法首先对特征进行条件概率计算，并依据条件概率划分特征区域，按照区域内的联合条件概率进行编码；然后将CZT编码算法与one-hot算法进行对比分析，从理论上推导并证明CZT编码对特征的压缩率至少为每个特征取值空间的平均大小，同时证明经过CZT编码后的问题具有更简单的优化目标形式，利于设计后续机器学习算法；最后通过采用相同结构的神经网络进行分类，在titanic数据集下对比CZT算法和one-hot算法编码数据后对分类器性能的影响，结果表明CZT编码的数据在分类准确率和稳定性均有提升。