分类: 计算机科学 >> 自然语言理解与机器翻译 提交时间: 2023-07-12
摘要: 以 LLAMA 为代表的开源大语言模型广泛使用旋转位置编码,原始论文使用复函数推导。本文改用线性代数推导,期望更好地理解该编码方法;提出该方法的一个疑点并给出了改进建议。
分类: 数学 >> 数学(综合) 提交时间: 2022-10-10
摘要: 微博平台上的大量图片几乎相同,差别仅在于水印和清晰度。为了从海量图片中找出几乎相同的图片,本文提出一种称为多层指纹的新算法。多层指纹包含5个字符串和3种实数向量,其中一个字符串用于快速召回,剩余字符串、向量用于计算指纹间相似度。多层指纹的算力需求很小,准确率高。在微博百万级图片库上测试结果表明,多层指纹的检索速度达到QPS 345,准确率达到 97.69%。
分类: 计算机科学 >> 自然语言理解与机器翻译 提交时间: 2021-10-20
摘要: 最近流行的自然语言处理技术之一是BERT模型,本文给出该模型的数学形式。
分类: 数学 >> 计算数学 提交时间: 2020-10-19
摘要: 在进入推荐系统之前,商品名、人名等实体名字需要嵌入低维向量。word2vec这样的流行嵌入算法的出发点是“相同语法位置上的词具有相似的向量”,而名字序列没有语法结构,导致名字向量的质量不高。 本文从“相邻的名字具有相似的向量”出发,提出一个称为名字嵌入的新方法。名字嵌入使用了一些新技巧:公式比word2vec更简单,向量模长固定为1、用相对权重处理低频名字、优化目标使用简单的均方差。 以名字相似度作为衡量标准,在NBA球队名人造集、球队名微博集和微博点赞集上,名字嵌入均显著优于word2vec。