大语言模型旋转位置编码的简易推导

分类： 计算机科学 >> 自然语言理解与机器翻译 提交时间： 2023-07-12

何沧平 许涛

摘要： 以 LLAMA 为代表的开源大语言模型广泛使用旋转位置编码，原始论文使用复函数推导。本文改用线性代数推导，期望更好地理解该编码方法；提出该方法的一个疑点并给出了改进建议。

同行评议状态:待评议

 点击量 16855  下载量 1863  评论 0