实时追踪科研动态丨小模型自我改进，数学和推理效果高达 7.13%，10.23精选新论文

作为科研人员，每天需要检索和浏览大量的学术文献，以获取最新的科技进展和研究成果。

然而，传统的检索和阅读方式已经无法满足科研人的需求。

AMiner AI，一款集检索、阅读、知识问答于一体的文献知识工具。帮助你快提高检索、阅读论文效率，获取最新领域研究动态，让科研工作更加游刃有余。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达AMiner AI页面：

https://www.aminer.cn/chat/g/explain

2023年10月23日精选新论文列表：

1.AutoMix: Automatically Mixing Language Models

这篇论文介绍了 AutoMix：一种自动混合语言模型的方法。现有的大型语言模型（LLM）有各种规模和配置，这为优化计算成本和性能提供了广泛的选择。然而，如何有效地利用这些选项仍然具有挑战性。在本文中，作者提出了一种名为 AutoMix 的方法，该方法根据小型语言模型的输出正确性，策略性地将查询路由到更大的语言模型。AutoMix 的核心是一个无需训练的几何自验证机制，用于估计自身输出的可靠性。为了解决验证过程中的噪声问题，AutoMix 中采用了一个元验证器来提高这些评估的准确性。作者使用 LLAMA2-13/70B 在五个基于上下文推理的数据集上进行实验，结果表明 AutoMix 超过了现有的基线，将增量收益提高了 89%。相关代码和数据可以在 https://github.com/automix-llm/automix 上找到。

https://www.aminer.cn/pub/6531e2ca939a5f4082f5d68c/?f=cs

2.Teaching Language Models to Self-Improve through Interactive Demonstrations

这篇论文探讨了如何通过交互式演示来教导语言模型自我改进。近期研究对大型语言模型（LLM）的自我改进能力产生了浓厚兴趣，这要归功于通过提示它们分析并修改自己的输出。然而，对于较小的模型来说，这种能力是缺失的，并且难以学习，从而加大了最先进的 LLM 与更实惠、更快速模型之间的性能差距。为了缩小这一差距，我们引入了 Tri