实时追踪科研动态丨微软、谷歌、MIT等机构10.16精选新论文

作为科研人员，每天需要检索和浏览大量的学术文献，以获取最新的科技进展和研究成果。然而，传统的检索和阅读方式已经无法满足科研人的需求。

AMiner AI，一款集检索、阅读、知识问答于一体的文献知识工具。帮助你快提高检索、阅读论文效率，获取最新领域研究动态，让科研工作更加游刃有余。

结合前沿动态订阅功能，精选arXiv当日热门新论文，形成论文综述，让大家更加快速了解前沿动态。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达AMiner AI页面：https://www.aminer.cn/chat/g/explain

2023年10月16日精选新论文列表：

1.Table-GPT: Table-tuned GPT for Diverse Table Tasks

这篇文章说明了现有的语言模型在处理与表格相关的任务时存在一些问题。现有的语言模型主要是在一维自然语言文本上进行预训练，而表格是二维对象，这可能导致语言模型在表格理解任务上仍然不够优化。为了解决这个问题，作者提出了一种新的“表格调整”范式，通过使用从真实表格合成的各种表格任务作为训练数据，继续训练/微调像GPT-3.5和ChatGPT这样的语言模型，以增强它们理解表格和执行表格任务的能力。作者展示了他们的Table-GPT模型在广泛的表格任务上表现出更好的表格理解能力，并且在处理多样的人类指令进行新的表格任务时表现出了较强的泛化能力，类似于GPT-3.5和ChatGPT。

https://www.aminer.cn/pub/652c9d07939a5f40825c0e29/?f=cs

2.A Zero-Shot Language Agent for Computer Control with Structured Reflection

文章讨论了在计算机控制中使用结构化反思的零射语言代理的问题。目前，大型语言模型在实时计算机环境（例如MiniWoB++）中规划和执行高层目标的能力越来越强。然而，为了执行任务，最近的研究常常要求模型通过监督学习或少量/大量示例来学习任务的轨迹。如果没有这些轨迹示例，一个代理如何自主学习和改进对计算机的控制仍然是一个挑战，这限制了代理执行新任务的能力。本文提出了一种不需要给定专家轨迹的零射代理。我们的代理在部分可观察环境上计划可执行的动作，并通过自反思和结构化思维管理来识别并从错误中学习，从而逐步完成任务。在MiniWoB++的简单任务中，我们展示了我们的零射代理通常优于最新的状态最佳方法，并具有更高效的推理能力。对于更复杂的任务，我们的反思代理与先前的最佳模型表现相当，尽管之前的方法可以访问专家轨迹或额外的屏幕信息。

https://www.aminer.cn/pub/652c9d07939a5f40825c0c1d/?f=cs

3.Toward Joint Language Modeling for Speech Units and Text

在语言建模领域中，人们很少对语音和文本进行联合建模的努力。然而，语音和文本是人类语言的两种主要形式。鉴于此，研究人员探索了语音单位和文本的联合语言建模。具体而言，他们比较了不同的语音分词器将连续的语音信号转换为离散单位，并使用不同的方法构建混合的语音-文本数据。他们引入了自动评估指标来评估联合语言模型混合语音和文本的效果。他们还使用不同的方式对联合语言模型进行微调，应用于不同模态（语音或文本）的下游口语理解任务，并测试其性能以评估模型对共享表示的学习能力。研究结果表明，通过使用提出的混合技术混合语音单位和文本，联合语言模型在口语理解任务上改进了仅语音的基线表现，并展示了零-shot跨模态转移能力。因此，该研究说明了语音单位和文本的联合建模可以提升口语理解任务的性能，并展示了模型学习共享表示的能力。

https://www.aminer.cn/pub/652c9d07939a5f40825c0c02/?f=cs

4.LoftQ: LoRA-Fine-Tuning-Aware Quantization for Large Language Models

解释了在对预训练模型应用量化和LoRA微调时，常常会观察到完整微调和量化加LoRA微调方法之间在下游任务性能上存在一致的差距。为了应对这个问题，作者提出了LoftQ（LoRA-Fine-Tuning-aware Quantization），这是一个新颖的量化框架，可以同时量化LLM并找到适当的低秩初始化来进行LoRA微调。这样的初始化可以减轻量化和全精度模型之间的差异，并显著提高下游任务的泛化能力。作者在自然语言理解、问答、摘要和自然语言生成任务上评估了他们的方法。实验证明，他们的方法非常有效，在具有挑战性的2位和2/4位混合精度区间特别表现优异。他们将发布他们的代码。

https://www.aminer.cn/pub/652c9d07939a5f40825c0bca/?f=cs

5.The Consensus Game: Language Model Generation via Equilibrium Search

论文说明了在使用语言模型进行问题回答和其他文本生成任务时，语言模型的生成性查询和鉴别性查询可能会得出非常不同的预测结果。论文提出了一个新的、无需训练的、基于博弈论的语言模型解码方法，将语言模型解码视为一种规则化的不完全信息序列信号博弈，其中生成器试图使用自然语言句子向鉴别器传达一个抽象的正确性参数。论文发展了计算程序，用于寻找该博弈的近似均衡点，从而得到了一种名为EQUILIBRIUM-RANKING的解码算法。在大量任务（包括阅读理解、常识推理、数学问题求解和对话）中应用EQUILIBRIUM-RANKING在现有的LM解码方法上持续且有时显著地提高性能。在多个基准测试中，我们观察到将EQUILIBRIUM-RANKING应用于LLaMA-7B比更大的LLaMA-65B和PaLM-540B模型更优秀。这些结果突显了博弈论工具在解决语言模型中的真实性和一致性等基本问题中的潜力。

https://www.aminer.cn/pub/652c9d07939a5f40825c0dad/?f=cs

6.CodeChain: Towards Modular Code Generation Through Chain of Self-revisions with Representative Sub-modules

这篇文章说明了当前大型语言模型在解决复杂和竞争性编程任务时存在的问题。这些模型倾向于生成作为整体代码块的解决方案，而不是将其分解为逻辑子任务和子模块。相比之下，有经验的程序员往往本能地编写具有抽象的模块化代码来解决复杂任务，经常重用先前开发的模块。为了弥补这一差距，研究人员提出了CodeChain框架，通过一系列自我修订的链条来诱导模块化代码生成。具体而言，CodeChain首先通过一系列思维链提示指导语言模型生成模块化代码。然后，它通过迭代两个步骤来应用一系列自我修订：1）提取和聚类生成的子模块，并选择聚类代表作为更通用和可重用的实现；2）利用这些选定的模块实现扩充原始的思维链提示，并指导语言模型重新生成新的模块化解决方案。研究人员发现，通过自然地鼓励语言模型重用先前开发和验证的子模块，CodeChain能够显著提升生成解决方案的模块化程度和正确性，在APPS和CodeContests两个基准测试中，相对pass@1的提升分别达到35%和76%。CodeChain在OpenAI的语言模型和开源的语言模型（如WizardCoder）上都表现出有效性。研究人员还进行了全面的消融研究，包括不同的提示方法、聚类数目、模型大小、程序质量等，以提供支持CodeChain成功的有用见解。

https://www.aminer.cn/pub/652c9d07939a5f40825c0d1a/?f=cs

7.Toward Joint Language Modeling for Speech Units and Text

在语言模型领域中，很少有人尝试共同建模语音和文本的工作。过去几年来，研究界一直致力于将语音转换为文本或反之亦然的工作。然而，在语言建模领域，很少有人尝试联合建模这两者。本研究通过比较不同的语音分词器将连续的语音信号转换为离散单元，并使用不同的方法构建混合语音-文本数据，探索了语音单元和文本的联合语言建模。同时，引入了自动评估指标来评估联合语言模型混合语音和文本的效果。通过在不同形式（语音或文本）的下游口语理解任务上对LM进行微调，并测试其性能，以评估模型对共享表示的学习能力。结果表明，通过使用所提出的混合技术将语音单元和文本混合，联合语言模型在口语理解任务上改进了基于语音的基线，并展示了零次迁移的跨模态能力。

https://www.aminer.cn/pub/652c9d07939a5f40825c0c02/?f=cs

---

END

我们在AMiner网站首页添加了“每日精选新论文”专题，可以点击「订阅」和「加入知识库」，获取全部论文信息！