《MEMF: Multi-entity multimodal fusion framework for sales prediction in live streaming commerce》

文章汉化系列目录

---

---

摘要

直播电商在多模态信息的丰富织网中蓬勃发展，这些信息与多个实体（包括主播、商品和直播环境）交织在一起。尽管有大量的数据可供使用，但如何将这些信息进行综合分析，以预测销售仍然是一个重大挑战。本研究提出了一种多实体多模态融合框架，该框架通过有效地合成多模态数据，并优先考虑实体级别的融合，从而提供全面的特征表示，提升预测性能。在处理与各种产品相关的多模态数据时，我们对Transformer架构进行了改进，首先捕捉产品内模态特征，然后整合跨产品的特征。我们在来自淘宝直播的真实世界数据集上进行了实验。结果表明，该框架优于传统机器学习方法和最新的多模态融合方法，证明其作为销售预测的强大决策支持工具的价值，能够提供更准确的预事件预测和战略规划。我们还考察了不同类型信息对准确销售预测的影响。研究发现，利用全面的数据组合能够在所有评估指标上获得最佳性能。其中，商品相关数据是决定预测准确性的主要因素，其次是视频数据和直播间相关数据。这为如何在直播平台收集和分析多模态数据提供了资源分配的洞察。

引言

近年来，直播电商彻底改变了消费者与商家之间的沟通方式，并显著推动了其发展 [1]。在直播环境中，主播通过平台创建实时内容，除了文本、图片和数字外，还向消费者提供更丰富、更直观的信息 [2,3]，增强了互动性并改善了消费者的购物体验 [4,5]。

随着商家和主播不断涌入直播电商领域，竞争愈加激烈 [6]。因此，最大化每场直播事件的经济收益成为了一个至关重要的问题。此时，准确的销售预测显得尤为重要。准确的销售预测不仅能帮助商家和主播为直播做好充分准备