PipeCNN：一种基于软件流水线的并行化卷积神经网络方法

分类： 计算机科学 >> 计算机科学的集成理论 提交时间： 2020-09-28 合作期刊: 《计算机应用研究》

吴鹏 周宁宁

摘要： 针对使用传统的模型并行方法加速卷积神经网络训练容易出现设备利用率不高的问题，提出了通过软件流水线方式加速卷积神经网络的方法PipeCNN。首先研究了卷积神经网络中的前向传播与反向传播算法，分析了训练过程中的数据相关性，然后基于软件流水线改进了卷积神经网络的训练过程，提出了两种可行的参数更新方式，最后使用循环队列来实现网络中层与层之间的消息通信，并提出任务分配算法来划分软件流水线中的工作段。实验结果显示，这种方法在保证模型准确性的前提下，可以取得良好的加速比以及设备利用率，表明了使用软件流水线可以有效解决模型并行中设备利用率不高的问题，提高了卷积神经网络的训练速度。

 点击量 1325  下载量 902  评论