上海科技大学知识管理系统

本发明公开一种序列视频中无对齐文本的弱监督视频表示学习方法，其特征在于，包括以下步骤：获得帧特征、视频整体特征、句子特征和段落特征；使用多粒度对比学习损失函数来限制帧特征、视频整体特征、句子特征和段落特征，多粒度对比学习损失函数包括粗粒度的损失函数以及细粒度的损失函数。本发明提出了针对连续视频提出了一种新的具有未对齐文本的弱监督视频表征学习框架，并引入了多粒度对比损失来约束该网络模型，使得模型充分考虑了帧和句子之间的伪时间对齐，可以学习强大的具有语义的视频文本对表征。本发明提供的模型还展现出对下游任务的强大泛化能力，例如步骤级视频序列验证和文本到视频的匹配。