本文介绍了微信大数据挑战赛中的多模态短视频分类问题，该问题涉及文本、音频、视频三模态信息的融合处理。参赛者需对短视频进行分类预测，面对模态缺失、相关性弱、分类不平衡等技术难点。比赛分为初赛和复赛，分别提供不同类型的训练数据。评估指标包括F1 micro和F1 macro的平均值，鼓励简洁高效的模型。文中提供了一个0.65分数的baseline模型方案，包括文本和视频特征的预处理、融合以及模型结构，并提及了其他可能的优化策略。
多模态短视频分类是视频理解领域的基础技术之一，在安全审核、推荐运营、内容搜索等领域有着十分非常广泛的应用。一条短视频中通常包含有三种模态信息，即文本、音频、视频， 它们在不同语义层面的分类体系中发挥着相互促进和补充的重要作用。
微信产品的内容生态繁荣，创作者覆盖范围大， 导致短视频数据中普遍存在着模态缺失、相关性弱、分类标签分布不均衡等问题，是实际应用中需要着重解决的技术难点。本赛题要求参赛队伍基于微信视频号短视频数据以及对应的分类标签标注，采用合理的机器学习技术对指定的测试短视频进行分类预测。
比赛分为初赛和复赛两个阶段：
- 初赛阶段提供百万量级的无标注数据和十万量级的有标注数据用于训练；-
- 复赛阶段训练数据和初赛相同，主要区别是初赛阶段只提供视频抽帧特征，而复赛阶段提供视频抽帧原始图像。
初赛阶段所有训练数据对参赛队伍开放下载；复赛阶段的训练数据为闭源数据，参赛队伍在腾讯云TI-ONE平台完成训练。
比赛分为初赛和复赛两个阶段：初赛阶段提供百万量级的无标注数据和十万量级的有标注数据用于训练；复赛阶段训练数据和初赛相同，主要区别是初赛阶段只提供视频抽帧特征，而复赛阶段提供视频抽帧原始图像。初赛阶段所有训练数据对参赛队伍开放下载；复赛阶段的训练数据为闭源数据，参赛队伍在腾讯云TI-ONE平台完成训练。</
最低0.47元/天 解锁文章
扫一扫
1771
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
