批量正则化DBN分类方法研究

分类： 计算机科学 >> 计算机科学的集成理论 提交时间： 2018-05-02 合作期刊: 《计算机应用研究》

李蓓蓓 宋威 戴鑫

摘要： 针对深度置信网络（DBN）在微调过程中易受训练参数影响的问题，提出一种批量正则化DBN分类方法（BNDBN）。该方法首先利用DBN进行无监督学习以获得原始数据的高层次表达；然后通过引入尺度变换和平移变换参数对网络中间层的输出特征每一维进行批量正则化处理；并将处理后的特征输入到非线性变换激活层中；最后使用随机梯度下降法对仿射变换参数以及原始网络的参数进行训练学习。BNDBN方法减少了梯度对参数规模的依赖性，有效解决了因网络参数变化而造成的激活函数值分布变化的问题，提高了训练效率。为了检验所提出方法的有效性，选取MNIST手写体数据库和USPS手写数字识别库进行测试，通过与Dropout-DBN、DBN、ANN、SVM、KNN对比，结果表明，提出的方法分类准确率明显提高，具有更强的特征提取能力。

 点击量 1996  下载量 1064  评论