Kimi k1.5技术报告，深度长思考

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。

为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息，如果感兴趣可点击查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达AMiner AI页面：
https://www.aminer.cn/chat/g/explain

Apollo: An Exploration of Video Understanding in Large Multimodal Models

【要点】：本文深入研究了大型多模态模型（LMMs）对视频理解的有效驱动因素，并提出了Apollo模型系列，实现了不同规模模型在视频理解上的卓越表现。
【方法】：通过分析小模型和小于临界规模数据集上的设计决策对大模型的迁移性，探索了视频采样、架构、数据组成、训练计划等多个视频特有方面。
【实验】：在实验中，我们采用了fps采样方法，并比较了不同视觉编码器对视频表征的效果，使用的数据集包括LongVideoBench和MLVU，结果显示Apollo-3B在LongVideoBench上以55.1的成绩超过大多数7B模型，Apollo-7B在MLVU和Video-MME上分别达到70.9和63.3的领先成绩。
【链接】：https://www.aminer.cn/pub/675f974bae8580e7ff27911f

GenEx: Generating an Explorable World

【要点】：本文介绍了GenEx系统，一种能够通过生成性想象力进行复杂具身世界探索的人工智能，能够在仅凭单张RGB图像的基础上生成3D一致性的想象环境，并表现出强大的3D映射和长期轨迹的一致性。
【方法】：GenEx利用生成模型从单个RGB图像生成整个3D一致性环境，并使用来自Unreal Engine的可扩展3D世界数据进行训练，实现360度环境的捕捉。
【实验】：通过实验验证了GenEx在高质量世界生成、长期轨迹的稳健一致性以及具身智能体执行复杂任务的能力，使用的数据集为Unreal Engine生成的3D世界，实验结果显示了系统在探索和导航任务上的有效性。
【链接】：https://www.aminer.cn/pub/675ba353ae8580e7ff22164c

Kimi k1.5: Scaling Reinforcement Learning with LLMs

【要点】：论文介绍了Kimi K1.5，一种通过强化学习（RL）与大型语言模型（LLM）相结合的方法，实现了对人工智能训练数据的扩展，并在多个推理任务上取得了最先进的结果。
【方法】：研究采用了长上下文扩展和改进的策略优化方法，构建了一个简单有效的RL框架，不依赖于更复杂的技术如蒙特卡洛树搜索、值函数和过程奖励模型。
【实验】：Kimi K1.5在多个基准测试和模态中实现了最先进的推理性能，例如在AIME上达到77.5，在MATH 500上达到96.2，在Codeforces上达到第94百分位，在MathVista上达到74.9。此外，通过使用长到短的转换方法，结合长上下文技术（long-CoT）改进短上下文技术（short-CoT）模型，也在short-CoT推理任务上取得了最先进的结果，如AIME上的60.8，MATH500上的94.6，以及LiveCodeBench上的47.3，大幅超过了现有的short-CoT模型如GPT-4o和Claude Sonnet 3.5。实验使用的数据集名称未在摘要中明确提及。
【链接】：https://www.aminer.cn/pub/6791ac6eae8580e7ffdcf92d

SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding

【要点】：本文提出了SynerGen-VL，一种简易且强大的无编码器多模态大型语言模型，通过引入token折叠机制和基于视觉专家的渐进对齐预训练策略，实现了图像理解和生成，性能超越或媲美现有无编码器统一MLLMs，并缩小了与特定任务最先进模型的差距。
【方法】：SynerGen-VL采用token折叠机制和视觉专家的渐进对齐预训练策略，有效支持高分辨率图像理解的同时降低训练复杂度。
【实验】：SynerGen-VL在大规模混合图像-文本数据上进行了统一下一个token预测目标的训练，实验结果显示该模型性能达到或超过现有无编码器统一MLLMs，所用数据集未具体提及。
【链接】：https://www.aminer.cn/pub/675ba353ae8580e7ff22162b

Large Action Models: From Inception to Implementation

【要点】：本文提出了大型动作模型（LAMs）的全面框架，旨在将AI从被动的语言理解转向主动的任务完成，为实现人工通用智能迈进重要一步。
【方法】：文章通过比较大型语言模型（LLMs）与LAMs的不同，详细介绍了LAMs的创建、训练、环境整合、定位和评估的系统性方法。
【实验】：研究以基于Windows OS的代理系统为例，展示了LAMs开发的详细步骤，并提供了数据收集过程代码（https://github.com/microsoft/UFO/tree/main/dataflow），实验结果指向了LAMs在不同应用领域中的功能和局限性。
【链接】：https://www.aminer.cn/pub/675f967cae8580e7ff24b722