论文分享：当AI遇上世界模型，超长上下文中的多模态探险 World Model on Million-Length Video And Language With RingAttention

引言

最近，一篇论文在PaperWithCode网站引起了广泛关注，它探讨了当前热门的“世界模型”概念。随着Sora的流行，大众对世界模型的兴趣空前高涨。我们能否利用LLM（大型语言模型）来构建这样的模型呢？业内意见不一，例如，人工智能大牛 Yan Lecun 认为由于Transformer架构本身存在的缺陷和幻觉问题，它不太可能催生出真正的AGI（人工通用智能）。然而，这篇论文提出了另一种观点，它认为通过扩大上下文长度至100万个令牌，LLM也能够成为一个有效的世界模型。

我个人认为，所谓的“幻觉问题”并非不可克服的障碍。毕竟，人类最初认识世界的方式也是基于简单的模式识别，并非全然理性。通过不断的进化，我们才逐渐采用科学方法来客观认识世界。这一进化过程正是人类发展的轨迹，因此，如果大型模型沿着这条路径发展，那也是合情合理的。不过，Transformer架构可能确实需要深层次的变革，才能像人类一样进化。

如果你对这个话题充满好奇，那就跟我一起深入了解一下吧！

基础信息

• Title: World Model on Million-Length Video and Language with RingAttention (使用环形注意力的百万长度视频和语言世界模型)
• Authors: Hao Liu, Wilson Yan, Matei Zaharia, Pieter Abbeel
• Affiliation: UC Berkeley (加州大学伯克利分校)
• Keywords: language model, video understanding, multimodal, RingAttention

核心贡献

(a) 最大的上下文神经网络：论文在长视频和语言序列上训练了最大的上下文规模的Transformer，在困难检索任务和长视频理解中设定了新的基准。

(b) 克服视觉语言训练挑战的解决方案，包括使用掩码序列打包(masked sequence packing)混合不同序列长度、损失加权(loss weighting)以平衡语言和视觉，以及模型生成的长序列聊天QA数据集。

(c) 高度优化的实现，包括RingAttention、掩码序列打包和其他关键特征，用于在数百万长度的多模态序列上进行训练。

(d)