分类: 计算机科学 >> 自然语言理解与机器翻译 提交时间: 2022-05-04
摘要: 本文对基于神经网络的自然语言处理方法中的子词切分(Subword Tokenization)方法进行了综述。本文首先解释了基于神经网络的自然语言处理方法中面临的由于封闭词表(Closed Vocabulary)所导致的集外词(Out-of-Vocabulary,简称OOV)问题,并介绍了解决这一方法常见的Byte-Pair Encoding(简称BPE)、WordPiece和Unigram三种方法。子词切分之前通常需要做词语切分,而词语切分是跟具体语言高度相关的。SentencePiece提供了一种与语言无关的子词切分方法,可以在输入的句子上直接做子词切分,无需先做词语切分。子词切分有时会存在一些切分不合理和子词表示学习不够充分的问题,本文随后介绍了解决这一问题的子词正则化技术和BPE-Dropout技术。基于字符的子词切分在面对多语言(特别是中日韩等语言)的大字符集时依然存在OOV问题,本文将介绍解决这一问题的一种有效手段:基于UTF-8字节的BPE技术(Byte Level BPE,简称BBPE),及其衍生的基于BBPE的SentencePiece方案。最后本文介绍了ACL2021最佳论文所提出的一种通用的词表最优化技术VOLT。
分类: 计算机科学 >> 计算机科学的集成理论 提交时间: 2018-05-18 合作期刊: 《计算机应用研究》
摘要: 多任务多核学习已逐渐成为在线学习算法研究的热点。对于数据流的处理,现有的在线学习算法在准确性上有一定的欠缺,因此提出一种新的多任务多核在线学习模型用于提高数据流预测的准确性。在保持多任务多核学习的基础上,将其扩展到在线学习中,从而得到一个新的在线学习算法;同时为输入数据保持一定大小的数据窗口,用较小空间换取数据的完整性。实验部分对核函数的选取以及训练样本集的大小进行了较为详细的分析,通过对UCI数据和实际的机场客流量数据进行分析,很好地保障了流数据处理的准确性及实时性,有一定的实际应用价值。
分类: 计算机科学 >> 计算机科学的集成理论 提交时间: 2018-04-19 合作期刊: 《计算机应用研究》
摘要: 以往传统的链路预测方法大多数针对无向网络,而实际上大多数社交网络是有向的,并且没有考虑网络中同一节点对之间的重复边以及微观演化信息,因此不能较好地解决有向动态网络中的链路预测问题。针对有向网络,将节点对之间的重复边信息转换为该节点对之间连边的权值;接着采用了基于三元组模体的演化模型,对滑动窗口中相邻时间片的模体转换概率进行统计后,采用指数加权滑动平均法对其进行时序分析得到不同模体转换概率的预测矩阵,进而使用该矩阵对网络中的链边进行预测。这不仅充分利用了网络微观演化信息,而且解决了动态网络中重复边的问题。最后对实验结果进行分析发现,在高全局聚类系数高平均度的网络中AUC相比Triad Transition Matrix方法提高了近0.01,而相比Common Neighbor方法提高更多。因此,所提方法能够较好地应用网络微观演化信息进行链路预测。
分类: 计算机科学 >> 自然语言理解与机器翻译 提交时间: 2017-03-10
摘要: 本文提出一种基于判别式模型的藏文分词方法,并研究了藏文分词在藏汉机器翻译中的应用。根据藏文构词特性,通过最小构词粒度切分、感知机解码和分词结果重排序三个模块,显著提升了藏文分词质量。在此基础上,我们还提出了基于词图的藏汉机器翻译方法,缓解了分词错误在翻译中的传播,可以使翻译质量明显提高。
分类: 计算机科学 >> 自然语言理解与机器翻译 提交时间: 2017-03-10
摘要: 目前的机器翻译模型都是针对形态变化简单的语言(如英语)设计的,不太适合于形态丰富语言(如维吾尔语)。在本文中,我们通过区别对待形态丰富语言中的词干与词缀,提出了一种新型的面向形态丰富语言的翻译规则选择方法。我们用词干作为基本翻译单元以缓解数据稀疏问题,此外,每条词干粒度的翻译规则上还附着一个词缀分布。在翻译时,通过计算待翻译片段的词缀分布与翻译规则词缀分布的相似度,来选择更合适的翻译规则。从三种形态丰富语言(维吾尔语、哈萨克语、柯尔克孜语)到汉语的翻译实验表明,该方法显著改善了翻译质量。
分类: 计算机科学 >> 自然语言理解与机器翻译 分类: 计算机科学 >> 计算机应用技术 提交时间: 2017-03-09
摘要: 本文分析了少数民族语言机器翻译研究的背景、研究现状和发展动态,介绍了中科院计算所在少数民族语言处理和机器翻译方面的研究进展,包括维吾尔语、蒙古语、藏语的语言处理基础技术,形态丰富语言的分析和翻译建模,资源缺乏语言的知识获取和翻译技术,以及组织全国机器翻译研讨会少数民族语言机器翻译评测的情况等。