Word2Vec-ACV：OOV语境含义的词向量生成模型

分类： 计算机科学 >> 计算机科学的集成理论 提交时间： 2018-04-12 合作期刊: 《计算机应用研究》

王永贵 郑泽 李玥

摘要： 针对Word2Vec模型生成的词向量缺乏语境的多义性以及无法创建集外词（OOV）词向量的问题，引入相似信息与Word2Vec模型相结合，提出Word2Vec-ACV模型。该模型首先基于连续词袋（CBOW）和Hierarchical Softmax的Word2Vec模型训练出词向量矩阵即权重矩阵；然后将共现矩阵进行归一化处理得到平均上下文词向量，再将词向量组成平均上下文词向量矩阵；最后将平均上下文词向量矩阵与权重矩阵相乘得到词向量矩阵。为了能同时解决集外词及多义性问题，将平均上下文词向量分为全局平均上下文词向量（Global ACV）和局部平均上下文词向量（Local ACV）两种，并对两者取权值组成新的平均上下文词向量矩阵。将Word2Vec-ACV模型和Word2Vec模型分别进行类比任务实验和命名实体识别任务实验，实验结果表明，Word2Vec-ACV模型同时解决了语境多义性以及创建集外词词向量的问题，降低了时间消耗，提升了词向量表达的准确性和对海量词汇的处理能力。

 点击量 1852  下载量 1105  评论