多模态或者预训练向量对模型的影响

问题 ：像多模态或者是通过其它预训练方法得到的向量，直接加到推荐排序模型作为特征的话，为什么效果不明显？

• 多模态指的是在推荐系统中引入视频、图片、语音等多种不同形式的数据和特征，希望来提升推荐效果。
• 在实际的业务应用里，确实存在多模态特征效果不强的问题。问题根源还是因为目前多模态的技术本质上还处于比较初期的阶段。比如用一些 CV 的技术去处理视频图像，识别出一些物品，比如视频里有汽车、有树木、有人物之类。但你要说这些物品对于最终的推荐效果到底有没有影响，比如说视频中出现汽车到底对用户的点击率影响有多大，我觉得还是比较微弱。在视频推荐中，这可能远不及知名演员一个要素的影响大。
• 当然，所有的效果都要跟业务场景紧密结合起来，所以多模态到底有没有作用，根本无法一概而论，还是跟你的使用方法和对业务的理解强关联。比如在短视频推荐中，如果你能精确识别出视频中的明星是哪位，再用它作为推荐特征，我想肯定对最终的推荐效果有正向影响。