Current Location:home > Detailed Browse

Article Detail

T-STAM:基于双流时空注意力机制的端到端的动作识别模型

Abstracts

针对双流法进行视频动作识别时忽略特征通道间的相互联系、特征存在大量冗余的时空信息等问题,提出一种基于双流时空注意力机制的端到端的动作识别模型T-STAM,实现了对视频关键时空信息的充分利用。首先,将通道注意力机制引入到双流基础网络中,通过对特征通道间的依赖关系进行建模来校准通道信息,提高特征的表达能力。其次,提出一种基于CNN的时间注意力模型,使用较少的参数学习每帧的注意力得分,重点关注运动幅度明显的帧。同时,提出一种多空间注意力模型,从不同角度计算每帧中各个位置的注意力得分,提取多个运动显著区域。接着,对时空特征进行融合进一步增强视频的特征表示。最后,将融合后的特征输入到分类网络,按不同权重融合两流输出得到动作识别结果。在数据集HMDB51和UCF101上的实验结果表明T-STAM能有效的识别视频中的动作。
Download Comment From cooperative journals:《计算机应用研究》 Hits:1385 Downloads:132
Journal:计算机应用研究
Recommended references: 石祥滨,李怡颖,刘芳,代钦.(2020).T-STAM:基于双流时空注意力机制的端到端的动作识别模型.计算机应用研究.[ChinaXiv:202009.00067] (Click&Copy)
Version History
[V1] 2020-09-28 14:16:16 chinaXiv:202009.00067V1 Download
Related Paper

Download

Current Browse

Cross Subject Browse

  • - NO