您当前的位置: > 详细浏览

一种改进的基于幂线性单元的激活函数 后印本

请选择邀稿期刊:
摘要: 非线性激活函数在卷积神经网络中扮演关键角色。针对修正线性单元(ReLU)完全丢弃网络中包含有用信息的负激活值问题,基于参数化修正线性单元(PReLU)和指数线性单元(ELU)的研究,提出一种新颖的参数化激活函数幂线性单元(PoLU)。PoLU对输入的负激活部分实施有符号的幂非线性变化,幂函数的参数是可以在CNNs训练过程中自适应学习的;同时像ReLU那样保持正激活部分不变。PoLU可以高效地实现并且灵活地运用到不同的卷积神经网络架构中。在广泛使用的CIFAR-10/100数据库上的实验结果表明,PoLU要优于ReLU和它相对应的激活函数。

版本历史

[V1] 2018-08-13 09:26:14 ChinaXiv:201808.00056V1 下载全文
点击下载全文
预览
许可声明
metrics指标
  •  点击量886
  •  下载量481
评论
分享