分类: 计算机科学 >> 计算机科学技术其他学科 提交时间: 2023-08-31
摘要: LLAMA 是最近几个月最流行的开源大语言模型,本文给出该模型的数学形式。
分类: 计算机科学 >> 自然语言理解与机器翻译 提交时间: 2023-07-12
摘要: 以 LLAMA 为代表的开源大语言模型广泛使用旋转位置编码,原始论文使用复函数推导。本文改用线性代数推导,期望更好地理解该编码方法;提出该方法的一个疑点并给出了改进建议。
分类: 数学 >> 数学(综合) 提交时间: 2022-12-04
摘要: 本文通过严格数学分析找出了交叉熵过拟合的成因:边界样本的损失贡献比重大且随法向量增长而加速增大、边界样本分布散乱,顺便理清了正则项的作用机理。
分类: 数学 >> 数学(综合) 提交时间: 2022-10-10
摘要: 微博平台上的大量图片几乎相同,差别仅在于水印和清晰度。为了从海量图片中找出几乎相同的图片,本文提出一种称为多层指纹的新算法。多层指纹包含5个字符串和3种实数向量,其中一个字符串用于快速召回,剩余字符串、向量用于计算指纹间相似度。多层指纹的算力需求很小,准确率高。在微博百万级图片库上测试结果表明,多层指纹的检索速度达到QPS 345,准确率达到 97.69%。
分类: 计算机科学 >> 自然语言理解与机器翻译 提交时间: 2021-10-20
摘要: 最近流行的自然语言处理技术之一是BERT模型,本文给出该模型的数学形式。
分类: 数学 >> 计算数学 提交时间: 2020-10-19
摘要: 在进入推荐系统之前,商品名、人名等实体名字需要嵌入低维向量。word2vec这样的流行嵌入算法的出发点是“相同语法位置上的词具有相似的向量”,而名字序列没有语法结构,导致名字向量的质量不高。 本文从“相邻的名字具有相似的向量”出发,提出一个称为名字嵌入的新方法。名字嵌入使用了一些新技巧:公式比word2vec更简单,向量模长固定为1、用相对权重处理低频名字、优化目标使用简单的均方差。 以名字相似度作为衡量标准,在NBA球队名人造集、球队名微博集和微博点赞集上,名字嵌入均显著优于word2vec。
分类: 数学 >> 计算数学 提交时间: 2019-11-26
摘要: 本文提出一个名为滑动均值的聚类算法,尝试替代常用的k均值算法。滑动均值能处理大量的样本,自行决定类别数量,用混洗样本来避免出现很差的中心点,能够中途裁减类别数量,聚类效果显著好于k均值。在鸢尾花数据和手写数字数据上,滑动均值的聚类效果比k均值分别高9.93%和5.17%。
分类: 数学 >> 计算数学 提交时间: 2019-04-10
摘要: 本文提出一个名为接圆回归的点击率预测新方法,尝试替代常用的因子分解机(FM)。接圆回归用超平面拼接出一个封闭凸多面体,圈出正样本,有直观的几何解释, 能从任意初始值一次收敛到全局最优解。 拟合出来的曲面Lipschitz连续,变化平缓。在人工设计的星环集、双堆集、双月集上,接圆回归的分类准确性、解释性、平滑性全面超过FM。在同量级参数量、计算量 的条件下,接圆回归在Avazu集和Criteo集上的AUC超过FM。