Current Location:home > Browse

1. chinaXiv:202009.00067 [pdf]

T-STAM:基于双流时空注意力机制的端到端的动作识别模型

石祥滨; 李怡颖; 刘芳; 代钦
Subjects: Computer Science >> Integration Theory of Computer Science

针对双流法进行视频动作识别时忽略特征通道间的相互联系、特征存在大量冗余的时空信息等问题,提出一种基于双流时空注意力机制的端到端的动作识别模型T-STAM,实现了对视频关键时空信息的充分利用。首先,将通道注意力机制引入到双流基础网络中,通过对特征通道间的依赖关系进行建模来校准通道信息,提高特征的表达能力。其次,提出一种基于CNN的时间注意力模型,使用较少的参数学习每帧的注意力得分,重点关注运动幅度明显的帧。同时,提出一种多空间注意力模型,从不同角度计算每帧中各个位置的注意力得分,提取多个运动显著区域。接着,对时空特征进行融合进一步增强视频的特征表示。最后,将融合后的特征输入到分类网络,按不同权重融合两流输出得到动作识别结果。在数据集HMDB51和UCF101上的实验结果表明T-STAM能有效的识别视频中的动作。

submitted time 2020-09-28 From cooperative journals:《计算机应用研究》 Hits1378Downloads129 Comment 0

  [1 Pages/ 1 Totals]