T-STAM:基于双流时空注意力机制的端到端的动作识别模型

分类： 计算机科学 >> 计算机科学的集成理论 提交时间： 2020-09-28 合作期刊: 《计算机应用研究》

石祥滨 李怡颖 刘芳 代钦

摘要： 针对双流法进行视频动作识别时忽略特征通道间的相互联系、特征存在大量冗余的时空信息等问题，提出一种基于双流时空注意力机制的端到端的动作识别模型T-STAM，实现了对视频关键时空信息的充分利用。首先，将通道注意力机制引入到双流基础网络中，通过对特征通道间的依赖关系进行建模来校准通道信息，提高特征的表达能力。其次，提出一种基于CNN的时间注意力模型，使用较少的参数学习每帧的注意力得分，重点关注运动幅度明显的帧。同时，提出一种多空间注意力模型，从不同角度计算每帧中各个位置的注意力得分，提取多个运动显著区域。接着，对时空特征进行融合进一步增强视频的特征表示。最后，将融合后的特征输入到分类网络，按不同权重融合两流输出得到动作识别结果。在数据集HMDB51和UCF101上的实验结果表明T-STAM能有效的识别视频中的动作。

 点击量 6326  下载量 1605  评论