Text-CRNN+Attention架构下的多类别文本信息分类 后印本

摘要: 文本分类作为数据挖掘和信息检索领域的研究热点。迄今为止，传统机器学习方法依赖人工提取特征，复杂度高；深度学习网络本身特征表达能力强，但模型可解释性弱导致关键特征信息丢失。为此，以网络层次结合的方式设计了CRNN网络，并引入Attention机制，提出一种Text-CRNN+Attention模型。首先利用CNN处理局部特征的位置不变性，提取高效局部特征信息；然后RNN进行序列特征建模时，引入Attention机制对每一时刻输出序列信息进行自动加权，减少关键特征的丢失；最后完成时间和空间上的特征提取。实验结果表明，提出的模型较其他模型准确率提升了2~3个百分点；在提取文本特征时，该模型既保证了数据的局部相关性，又起到强化序列特征的有效组合能力。