Meta提出大型概念模型，在句子表示空间中的语言建模

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。

为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息，如果感兴趣可点击查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达AMiner AI页面：
https://www.aminer.cn/chat/g/explain

Apollo: An Exploration of Video Understanding in Large Multimodal Models

【要点】：本文深入研究了大型多模态模型（LMMs）对视频理解的有效驱动因素，并提出了Apollo模型系列，实现了不同规模模型在视频理解上的卓越表现。
【方法】：通过分析小模型和小于临界规模数据集上的设计决策对大模型的迁移性，探索了视频采样、架构、数据组成、训练计划等多个视频特有方面。
【实验】：在实验中，我们采用了fps采样方法，并比较了不同视觉编码器对视频表征的效果，使用的数据集包括LongVideoBench和MLVU，结果显示Apollo-3B在LongVideoBench上以55.1的成绩超过大多数7B模型，Apollo-7B在MLVU和Video-MME上分别达到70.9和63.3的领先成绩。
【链接】：https://www.aminer.cn/pub/675f974bae8580e7ff27911f

GenEx: Generating an Explorable World

【要点】：本文介绍了GenEx系统，一种能够通过生成性想象力进行复杂具身世界探索的人工智能，能够在仅凭单张RGB图像的基础上生成3D一致性的想象环境，并表现出强大的3D映射和长期轨迹的一致性。
【方法】：GenEx利用生成模型从单个RGB图像生成整个3D一致性环境，并使用来自Unreal Engine的可扩展3D世界数据进行训练，实现360度环境的捕捉。
【实验】：通过实验验证了GenEx在高质量世界生成、长期轨迹的稳健一致性以及具身智能体执行复杂任务的能力，使用的数据集为Unreal Engine生成的3D世界，实验结果显示了系统在探索和导航任务上的有效性。
【链接】：https://www.aminer.cn/pub/675ba353ae8580e7ff22164c

SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding

【要点】：本文提出了SynerGen-VL，一种简易且强大的无编码器多模态大型语言模型，通过引入token折叠机制和基于视觉专家的渐进对齐预训练策略，实现了图像理解和生成，性能超越或媲美现有无编码器统一MLLMs，并缩小了与特定任务最先进模型的差距。
【方法】：SynerGen-VL采用token折叠机制和视觉专家的渐进对齐预训练策略，有效支持高分辨率图像理解的同时降低训练复杂度。
【实验】：SynerGen-VL在大规模混合图像-文本数据上进行了统一下一个token预测目标的训练，实验结果显示该模型性能达到或超过现有无编码器统一MLLMs，所用数据集未具体提及。
【链接】：https://www.aminer.cn/pub/675ba353ae8580e7ff22162b

BiMediX2: Bio-Medical EXpert LMM for Diverse Medical Modalities

【要点】：本文提出了BiMediX2，一种统一架构的双语（阿拉伯语-英语）生物医学大型多模态模型（LMM），通过整合文本和视觉模态，实现了高级图像理解和医疗应用，并在多种医疗基准测试中取得最新性能。
【方法】：BiMediX2采用Llama3.1架构，并整合了文本与视觉能力，支持文本输入和涉及医疗图像的多轮对话，同时使用了一种包含160万份样本的广泛双语医疗数据集进行训练。
【实验】：研究者在文本和图像任务上对BiMediX2进行了基准测试，使用的数据集为BiMed-MBench，这是首个基于GPT-4o的双语医疗LMM基准。结果显示，BiMediX2在多个医疗基准测试中达到最新性能，并在多模态医疗评估中设立了新的基准，以英语为例，在视觉问答、报告生成和报告摘要任务中分别超过9%和GPT-4约9%。
【链接】：https://www.aminer.cn/pub/67590103ae8580e7ff7f3e88

Large Action Models: From Inception to Implementation
【要点】：本文提出了大型动作模型（LAMs）的全面框架，旨在将AI从被动的语言理解转向主动的任务完成，为实现人工通用智能迈进重要一步。
【方法】：文章通过比较大型语言模型（LLMs）与LAMs的不同，详细介绍了LAMs的创建、训练、环境整合、定位和评估的系统性方法。
【实验】：研究以基于Windows OS的代理系统为例，展示了LAMs开发的详细步骤，并提供了数据收集过程代码（https://github.com/microsoft/UFO/tree/main/dataflow），实验结果指向了LAMs在不同应用领域中的功能和局限性。
【链接】：https://www.aminer.cn/pub/675f967cae8580e7ff24b722

Large Concept Models: Language Modeling in a Sentence Representation Space

【要点】：本文提出了一种名为“Large Concept Model”的新架构，该架构在句子级别的语义表示空间中操作，实现了优于传统LLMs的零样本泛化能力。
【方法】：通过在句子嵌入空间SONAR中训练模型进行自回归句子预测，探索了多种方法，包括MSE回归、基于扩散的生成模型以及量化SONAR空间中的模型。
【实验】：使用1.6B参数和1.3T tokens的训练数据对模型进行训练，并将一种架构扩展到7B参数和2.7T tokens的训练数据。在总结和新的总结扩展任务上进行了实验评估，并证明了模型在多种语言上的零样本泛化性能超过了同等大小的现有LLMs。实验使用的数据集为SONAR。
【链接】：https://www.aminer.cn/pub/675ba34bae8580e7ff21dcd4