上海科技大学知识管理系统

本发明公开了一种基于视听多模态融合的音视频事件检测方法，包括：从待检测音视频文件中提取出2D视觉特征、3D视觉特征和音频特征；将所述2D视觉特征和3D视觉特征输入至第一模态共有-私有子空间，所述第一模态共有-私有子空间将所述2D视觉特征和3D视觉特征聚合成一路的视觉特征；将所述视觉特征和音频特征输入至第二模态共有-私有子空间，得到视觉表征和听觉表征；将所述视觉表征和听觉表征输入至注意力池化层，得到片段级别和视频级别的事件预测结果。本发明可以解决音视频事件检测任务中模态时序非对齐情况下的跨模态融合问题。本发明公开了一种基于视听多模态融合的音视频事件检测方法，包括：从待检测音视频文件中提取出2D视觉特征、3D视觉特征和音频特征；将所述2D视觉特征和3D视觉特征输入至第一模态共有-私有子空间，所述第一模态共有-私有子空间将所述2D视觉特征和3D视觉特征聚合成一路的视觉特征；将所述视觉特征和音频特征输入至第二模态共有-私有子空间，得到视觉表征和听觉表征；将所述视觉表征和听觉表征输入至注意力池化层，得到片段级别和视频级别的事件预测结果。本发明可以解决音视频事件检测任务中模态时序非对齐情况下的跨模态融合问题。