Open-Sora Plan技术报告发布，开源的大规模视频生成模型

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。

为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息，如果感兴趣可点击查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达AMiner AI页面：
https://www.aminer.cn/chat/g/explain

DeMo: Decoupled Momentum Optimization

【要点】：论文提出了一种新的优化算法Decoupled Momentum（DeMo），通过解耦动量更新并允许优化器状态在加速器间可控发散，显著降低了训练大规模神经网络时加速器间的通信需求，提高了收敛速度，无需高速互联即可预训练大规模基础模型。
【方法】：作者采用信号处理中的频率分解和能量压缩原理，设计了一种新的融合优化器和数据并行算法DeMo，该算法允许在加速器间进行动量更新的解耦，减少了优化器状态的同步需求。
【实验】：通过实验验证，使用DeMo算法训练的模型在性能上可以匹配或超过使用AdamW算法训练的模型，且在预训练大规模基础模型时无需高速互联。实验使用的数据集和具体结果未在摘要中提及，但论文提供了开源的PyTorch实现，可在GitHub上查看。
【链接】：https://www.aminer.cn/pub/674d27d4ae8580e7ffb7f37c/

Open-Sora Plan: Open-Source Large Video Generation Model

【要点】：本文介绍了Open-Sora Plan项目，一个开源的大规模视频生成模型，能够根据用户输入生成高分辨率、长时间的视频，具有创新的多组件结构和高效训练推理策略。
【方法】：Open-Sora Plan包含Wavelet-Flow变分自动编码器、联合图像视频跳解析去噪器和多种条件控制器，以及为提高训练和推理效率而设计的辅助策略和多维度数据整理流程。
【实验】：通过实验，Open-Sora Plan在定性和定量评估中均实现了令人印象深刻的效果，所有代码和模型权重已在公开平台发布，具体数据集名称未在摘要中提及。
【链接】：https://www.aminer.cn/pub/674e79deae8580e7ffa71e02/

O1-Coder: an O1 Replication for Coding

【要点】：论文介绍了O1-CODER，一种基于OpenAI的o1模型复制品，专注于编码任务，通过结合强化学习和蒙特卡洛树搜索来增强模型的系统性思维。
【方法】：该方法包括训练一个测试用例生成器（TCG）进行标准化代码测试，使用蒙特卡洛树搜索生成带有推理过程的代码数据，并迭代微调策略模型以生成伪代码，进而生成完整代码。
【实验】：实验部分描述了模型的进展和结果，使用了自定义的数据集，并将所有源代码、精选数据集以及衍生的模型公布在https://github.com/ADaM-BJTU/O1-CODER。
【链接】：https://www.aminer.cn/pub/674e79deae8580e7ffa71e1d/

VISTA: Enhancing Long-Duration and High-Resolution Video Understanding by Video Spatiotemporal Augmentation

【要点】：论文提出VISTA框架，通过视频时空增强方法解决了长时和高分辨率视频处理难题，并构建了VISTA-400K数据集，提高了长视频理解能力。
【方法】：通过合成现有视频字幕数据集中的长时和高分辨率视频指令跟随对，VISTA在空间和时间上结合视频创建新的合成视频，并生成相关的问题答案对。
【实验】：研究者在VISTA-400K数据集上微调了多种视频大型多模态模型，并在四个长视频理解基准测试中平均提高了3.3的性能，同时在高分辨率视频理解基准HRVideoBench上，微调后的模型实现了6.5的性能提升。
【链接】：https://www.aminer.cn/pub/674e79f6ae8580e7ffa744db/

X-Prompt: Towards Universal In-Context Image Generation in Auto-Regressive Vision Language Foundation Models

【要点】：论文提出了X-Prompt，一种基于自回归机制的通用视觉语言模型，能够在统一的上下文学习框架下完成广泛的已知和未见图像生成任务，展示了在图像生成领域的创新应用。
【方法】：X-Prompt通过特殊设计的结构，有效压缩上下文示例中的有价值特征，支持更长的上下文令牌序列，并增强对未见任务的泛化能力，同时通过统一训练文本和图像预测任务，提高模型的任务意识。
【实验】：研究者在多个已知图像生成任务上验证了X-Prompt的性能，并证明了模型能够泛化到之前未见过的任务。具体实验细节和数据集名称在论文中未提及。
【链接】：https://www.aminer.cn/pub/674e7a10ae8580e7ffa76224/