Sora之后，苹果发布视频生成大模型STIV，87亿参数，支持文本、图像丨大模型周报

AMiner：AI科研助手

于 2024-12-16 21:40:22 发布

阅读量1k

点赞数 14

文章标签：语言模型人工智能自然语言处理大模型机器学习

本文链接：https://blog.youkuaiyun.com/AI_Conf/article/details/144518881

版权

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。
在这里插入图片描述
为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息，如果感兴趣可点击查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达AMiner AI页面：
https://www.aminer.cn/chat/g/explain

ReconDreamer: Crafting World Models for Driving SceneReconstruction via Online Restoration

【要点】：论文提出了ReconDreamer，一种通过在线恢复增强驾驶场景重建质量的方法，有效应对复杂驾驶操作，如多车道变换。
【方法】：ReconDreamer通过逐步集成世界模型知识，使用DriveRestorer减少重建过程中的伪影，并采用渐进式数据更新策略提高复杂操作的渲染质量。
【实验】：作者在NTA-IoU、NTL-IoU和FID指标上比较了ReconDreamer与Street Gaussians，结果显示ReconDreamer相对改进了24.87%。在大型操作渲染方面，ReconDreamer在NTA-IoU指标上超过DriveDreamer4D 195.87%，并通过用户研究进行了验证。实验使用的数据集未在文本中明确提及。
【链接】：https://www.aminer.cn/pub/674d27b0ae8580e7ffb7ac3a

STIV: Scalable Text and Image Conditioned Video Generation

【要点】：本文提出了一种名为STIV的文本和图像条件视频生成方法，该方法通过融合图像条件和文本条件，实现了简单且可扩展的视频生成架构，并在多个任务中表现出优异性能。
【方法】：STIV方法将图像条件通过帧替换集成到扩散变压器（DiT）中，并将文本条件通过联合图像-文本条件无指导分类器实现，同时支持文本到视频（T2V）和文本-图像到视频（TI2V）任务。
【实验】：通过对T2I、T2V和TI2V的全面消融研究，STIV在VBench T2V任务中达到83.1分，超越了CogVideoX-5B、Pika、Kling和Gen-3等领先的开源和闭源模型；在VBench I2V任务中达到90.1分，使用的模型和数据集未具体说明。
【链接】：https://www.aminer.cn/pub/67590103ae8580e7ff7f3e65

Training Large Language Models to Reason in a Continuous Latent Space

要点】：本文提出了一种新型推理范式Coconut，通过在连续潜在空间而非自然语言空间中训练大型语言模型（LLM），实现更高效的推理过程。
【方法】：作者将LLM的最后隐藏状态作为推理状态的表示，直接在连续空间中将该状态作为后续输入嵌入，而不是将其解码为单词标记。
【实验】：通过在多个推理任务上使用Coconut方法，实验结果显示该范式能够有效增强LLM的推理能力，并在某些需要大量回溯计划的逻辑推理任务中优于传统的链式思维（CoT）。使用的数据集名称未在摘要中明确提及，但结果证明了潜在空间推理的潜力。
【链接】：https://www.aminer.cn/pub/6757c48cae8580e7ffe1eba7

Can Large Language Model Agents SimulateHuman Trust Behavior?

【要点】：本文研究了大型语言模型（LLM）代理是否能模拟人类的信任行为，并发现GPT-4代理在信任行为上与人类高度一致，揭示了LLM代理模拟人类信任行为的可行性及其内在特性。
【方法】：作者使用信任游戏框架，这是一种在行为经济学中广泛认可的方法，来观察LLM代理的信任行为。
【实验】：通过实验，作者比较了LLM代理间的信任偏差以及对人类与其他LLM代理的信任差异，并在外部操纵和高级推理策略条件下探讨了代理信任的内在属性。实验使用了GPT-4模型，并在信任行为方面取得了与人类高度一致的结果。
【链接】：https://www.aminer.cn/pub/65c437aa939a5f4082d8ba87

Unraveling the Complexity of Memory in RL Agents: an Approach for Classification and Evaluation

【要点】：本文提出了基于认知科学的精确记忆类型定义，并建立了评估强化学习（RL）智能体记忆能力的统一实验方法，以促进客观比较和正确判断。
【方法】：作者通过借鉴认知科学，定义了不同类型的记忆（如长期与短期记忆、陈述性与程序性记忆），并基于这些定义对RL智能体的记忆进行分类和评估。
【实验】：作者通过使用不同的RL智能体进行实验，验证了所提出评估方法的必要性，实验使用了多个数据集，并得出了遵循该方法的重要性及不遵循可能导致的后果。
【链接】：https://www.aminer.cn/pub/6757afb1ae8580e7ffb2e6e2