实时追踪科研动态｜具备记忆增强多模态语言模型的开放世界多任务智能体-JARVIS-1，11.13精选新论文

作为科研人员，每天需要检索和浏览大量的学术文献，以获取最新的科技进展和研究成果。

然而，传统的检索和阅读方式已经无法满足科研人的需求。

AMiner AI，一款集检索、阅读、知识问答于一体的文献知识工具。帮助你快提高检索、阅读论文效率，获取最新领域研究动态，让科研工作更加游刃有余。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达AMiner AI页面：https://www.aminer.cn/chat/g/explain

2023年11月13日精选新论文列表：

1.Instant3D: Fast Text-to-3D with Sparse-View Generation and Large Reconstruction Model

这篇论文介绍了一种名为Instant3D的新方法，可以快速、高质量地生成3D资产。与现有的方法不同，Instant3D采用了一种两阶段的方法，首先使用一个经过微调的2D文本到图像扩散模型，一次性生成一个稀疏的四结构化一致视图，然后使用一个基于变换器的稀疏视图重建器，直接从生成的图像中回归NeRF。通过大量实验，作者证明了他们的方法可以在20秒内生成高质量、多样且无Janus问题的3D资产，比之前基于优化的方法快两个数量级，之前的方法需要1到10小时。

https://www.aminer.cn/pub/65518a95939a5f4082a65ebe/?f=cs

2.Parameter-Efficient Orthogonal Finetuning via Butterfly Factorization

这篇论文研究了一种用于下游任务自适应的原理性微调范式——正交微调（OFT）。尽管OFT表现出良好的泛化能力，但由于正交矩阵的高维数，它仍然使用相当多的可训练参数。为了解决这个问题，作者从信息传输的角度审视OFT，并确定了一些关键需求，以实现更好的参数效率。受到Cooley-Tukey快速傅里叶变换算法实现高效信息传输的启发，作者提出了一种使用蝴蝶结构的 efficient orthogonal parameterization。将此参数化应用于OFT，创建了一种新颖的参数高效微调方法，称为正交蝴蝶（BOFT）。通过将OFT作为特殊情况进行概括，BOFT引入了一种通用的正交微调框架。最后，作者对将大型视觉转换器、大型语言模型和文本到图像扩散模型适应各种视觉和语言下游任务进行了广泛的实证研究。

https://www.aminer.cn/pub/65518ab0939a5f4082a66b9e/?f=cs

3.Lumos: Learning Agents with Unified Data, Modular Design, and Open-Source LLMs

这篇论文介绍了一种名为 Lumos 的新框架，用于训练语言代理。该框架采用统一的数据格式和基于开源大型语言模型（LLM）的模块化架构。Lumos 包括三个不同的模块：规划、接地和执行。规划模块将任务分解为一系列高阶、工具无关的子目标，然后通过接地模块的低阶动作使其具体化。这些动作由执行模块执行，使用一系列现成的工具和 API。为了有效地训练这些模块，收集了高质量的子目标和动作注释，并用于微调开源 LLM 以进行各种任务，如复杂问题回答、网络任务和数学问题。

利用这种统一的数据和模块化设计，Lumos 不仅实现了与当前最先进的代理可比或优越的性能，而且还表现出几个关键优势：(1) Lumos 在复杂问题回答和网络任务方面超越了 GPT-4/3.5 基础代理，同时在数学任务方面与明显更大的 LLM 代理表现相当；(2) Lumos 优于使用传统训练方法和链式思维训练的公开源代理；(3) Lumos 能够有效地推广到未见的交互任务，超越了更大的 LLM 基础代