Current Location:home > Browse

1. chinaXiv:202010.00007 [pdf]

名字嵌入向量方法

何沧平; 许涛
Subjects: Mathematics >> Computational Mathematics.

在进入推荐系统之前,商品名、人名等实体名字需要嵌入低维向量。word2vec这样的流行嵌入算法的出发点是“相同语法位置上的词具有相似的向量”,而名字序列没有语法结构,导致名字向量的质量不高。 本文从“相邻的名字具有相似的向量”出发,提出一个称为名字嵌入的新方法。名字嵌入使用了一些新技巧:公式比word2vec更简单,向量模长固定为1、用相对权重处理低频名字、优化目标使用简单的均方差。 以名字相似度作为衡量标准,在NBA球队名人造集、球队名微博集和微博点赞集上,名字嵌入均显著优于word2vec。

submitted time 2020-10-19 Hits226Downloads26 Comment 0

2. chinaXiv:201911.00099 [pdf]

滑动均值聚类

何沧平; 孟令霞
Subjects: Mathematics >> Computational Mathematics.

本文提出一个名为滑动均值的聚类算法,尝试替代常用的k均值算法。滑动均值能处理大量的样本,自行决定类别数量,用混洗样本来避免出现很差的中心点,能够中途裁减类别数量,聚类效果显著好于k均值。在鸢尾花数据和手写数字数据上,滑动均值的聚类效果比k均值分别高9.93%和5.17%。

submitted time 2019-11-26 Hits14857Downloads897 Comment 0

3. chinaXiv:201904.00081 [pdf]

接圆回归

何沧平
Subjects: Mathematics >> Computational Mathematics.

本文提出一个名为接圆回归的点击率预测新方法,尝试替代常用的因子分解机(FM)。接圆回归用超平面拼接出一个封闭凸多面体,圈出正样本,有直观的几何解释, 能从任意初始值一次收敛到全局最优解。 拟合出来的曲面Lipschitz连续,变化平缓。在人工设计的星环集、双堆集、双月集上,接圆回归的分类准确性、解释性、平滑性全面超过FM。在同量级参数量、计算量 的条件下,接圆回归在Avazu集和Criteo集上的AUC超过FM。

submitted time 2019-04-10 Hits17586Downloads856 Comment 0

4. chinaXiv:201803.00428 [pdf]

逻辑回归上的反拉加速方法

何沧平
Subjects: Mathematics >> Computational Mathematics.

本文通过严格数学分析找出了逻辑回归过拟合的成因:边界样本的损失贡献比重大且随法向量增长而加速增大、边界样本分布散乱,顺便理清了正则项的作用机理。 利用过拟合机制,本文提出一种反拉方法,既能缓解过拟合,又能减少训练步数,在MNIST数据集上实现加速38.25倍,在CIFAR10数据集上实现加速5.61倍。

submitted time 2018-04-03 Hits15207Downloads135 Comment 0

5. chinaXiv:201803.00428 [pdf]

逻辑回归上的反拉加速方法

何沧平
Subjects: Mathematics >> Computational Mathematics.

本文通过严格数学分析找出了逻辑回归过拟合的成因:边界样本的损失贡献比重大且随法向量增长而加速增大、边界样本分布散乱,顺便理清了正则项的作用机理。 利用过拟合机制,本文提出一种反拉方法,既能缓解过拟合,又能减少训练步数,在MNIST数据集上实现加速38.25倍,在CIFAR10数据集上实现加速5.61倍。

submitted time 2018-03-22 Hits16174Downloads1114 Comment 0

6. chinaXiv:201711.02399 [pdf]

对焦分类方法

何沧平
Subjects: Mathematics >> Theoretical Computer Science

本文提出一个名为对焦分类的线性分类方法,尝试替代经典的逻辑回归。对焦分类能够从数学论证上保证法向量有界,有直观的几何解释,方便选取更接近最优值的参数初值,在手写数字图像数据集上的分类正确率、收敛速度均显著优于逻辑回归,参数初值即使分类正确率达到了97.31%。

submitted time 2017-11-17 Hits12389Downloads1819 Comment 0

  [1 Pages/ 6 Totals]