文献阅读：MathPrompter: Mathematical Reasoning using Large Language Models

MathPrompter:改进大型语言模型的数学推理能力
最新推荐文章于 2025-02-07 17:59:07 发布
原创 最新推荐文章于 2025-02-07 17:59:07 发布 · 1.7k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#LLM #Prompt Tuning #Prompt工程 #Math Prompter #数学推理

MathPrompter是微软提出的一种方法，通过优化GPT模型处理数学问题的准确性。文章介绍了将问题转化为代数形式并用交叉验证提高答案可靠性的策略，虽然这种方法可能受益于ensemble效应，但实验表明在MultiArith数据集上效果显著。然而，对于更复杂问题的扩展性和方法的原创性有所质疑，但拆分任务的思路提供了一定的启发。

1. 内容简介

这篇文章是今年3月份的时候微软提出的一篇工作，其核心的问题是优化了GPT模型在数学问题上的回答准确性。

众所周知，生成模型在生成内容真实性方面一直存在较大的问题，虽然随着GPT模型的持续迭代，模型生成质量一直在不断地提升，不过生成内容可靠性的问题事实上还是一直存在的，无法被彻底根除。

而这个问题在数学问题上更加会被极具放大，而这篇文章的核心工作就是在这方面进行了优化。

但是具体到方法上面，事实上这里也并没有什么根本上的方法改进，事实上也就是一个专门进行数学问题的prompt工程的工作，因此多少还是有些失望。

而且更进一步地，他们的方法的有效性可能也不是纯粹的

最低0.47元/天 解锁文章
A Survey of Mathematical Reasoning in the Era of Multimodal Large Language Model
c_cpp_csharp的专栏
01-12 650
数学推理是人类认知的一个核心方面，在从教育问题解决到科学进步的许多领域都至关重要。随着通用人工智能（AGI）的发展，将大型语言模型（LLM）与数学推理任务相结合变得越来越重要。这项调查首次对多模态大语言模型（MLLM）时代的数学推理进行了全面分析。我们回顾了自2021年以来发表的200多项研究，并研究了数学LLM的最新发展，重点关注多模态设置。我们将该领域分为三个维度：基准、方法和挑战。特别是，我们探索了多模态数学推理管道，以及（M）LLM和相关方法的作用。
Beyond Accuracy: Evaluating the Reasoning Behavior of Large Language Models - A Survey
c_cpp_csharp的专栏
07-19 506
大型语言模型（LLM）最近在涉及推理的任务中表现出了令人印象深刻的性能，这引发了关于这些模型是否具有与人类相似的推理能力的激烈争论。然而，尽管取得了这些成功，LLM的推理能力的深度仍然不确定。这种不确定性部分源于主要关注任务表现，通过肤浅的准确性指标来衡量，而不是对模型推理行为的彻底调查。本文试图通过对超越任务准确性的研究进行全面回顾来解决这一差距，为模型的推理过程提供更深入的见解。此外，我们调查了评估LLM推理行为的流行方法，强调了当前趋势和对更细致的推理分析的努力。
MATHPROMPTER: MATHEMATICAL REASONING USING LARGE LANGUAGE MODELS翻译
nopSled
05-02 375
自然语言处理（NLP）的最新进展可以归因于大语言模型（LLM）规模的增加。最近一个有趣发现的是，LLM是一个好的zero-shot或者few-shot学习器，并被证明非常有用。这导致了“提示”技术的发展，在该技术中，用户提供了一个小上下文，以求助LLM解决任务。模型以少量样例为条件被称为few-shot提示，另外通过提供指令来解决任务被称为zero-shot提示。更多的研究致力于进行提示的设计（手动或自动）。
SCALING RELATIONSHIP ON LEARNING MATHEMATICAL REASONING WITH LARGE LANGUAGE MODELS论文阅读
AI前沿技术的分享！
02-07 1199
数学推理是大型语言模型（LLMs）面临的一项具有挑战性的任务，而其与模型能力之间的缩放关系尚未得到充分探索。在本文中，我们研究了预训练损失、监督数据量和增强数据量如何影响监督型LLM的推理性能。我们发现，预训练损失是比模型参数量更好的性能指标。我们采用不同数量的监督数据进行监督微调（SFT），并从经验上发现数据量与模型性能之间存在对数线性关系，并且我们发现更好的模型在使用更大的监督数据集时提升较少。为了在不增加人工成本的情况下生成更多数据样本来提升模型性能，我们提出采用拒绝采样微调（RFT）。
微软提出MathPrompter，GPT3的数学推理水平直接干到人类水平
夕小瑶科技说
03-20 610
编｜LRS源｜新智元ChatGPT的文科脑有救了！大型语言模型最为人诟病的缺点，除了一本正经地胡言乱语以外，估计就是「不会算数」了。比如一个需要多步推理的复杂数学问题，语言模型通常都无法给出正确答案，即便有「思维链」技术的加持，往往中间步骤也会出错。与文科类的自然语言理解任务不同，数学问题通常只有一个正确答案，在不那么开放的答案范围下，使得生成准确解的任务对大型语言模型来说更具挑战性。并且，在数...
从指令微调到数学推理能力，探索大模型潜力|9月14日 大模型系列活动第11期
AITIME_HY的博客
09-09 382
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！哔哩哔哩直播通道扫码关注AI TIME哔哩哔哩官方账号预约直播13:30—13:50闫俊Virtual Prompt Injection for Instruction-Tuned Large Language Models13:50—14:10宁雪妃SoT:利用并行解码加速LLM的尝试14:10—14:30张锐麒Trained Tran...
LLM对齐经验之如何降低通用能力损失
pythonhy的博客
05-27 654
这一章我们重点讨论下如何注入某一类任务或能力的同时，尽可能不损失模型原有的通用指令理解能力。
Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models思想缓冲:大型语言模型的思维增强推理
weixin_44182383的博客
06-13 1172
进一步的分析表明，我们的BoT具有卓越的泛化能力和模型鲁棒性，而平均只需要多查询提示方法(例如，树/思想图)的12%的成本。我们的方法有三个关键优势:(i)准确性提高:通过共享的思想模板，我们可以自适应地实例化处理不同任务的高级思想，从而消除了从头开始构建推理结构的需要，从而提高了推理准确性。具体来说，我们设计了元缓冲区，这是一个轻量级的库，包含一系列通用的高级思想(思想模板)，这些思想是从不同的问题解决过程中提炼出来的，可以跨任务共享。4. 我们对10个具有挑战性的推理密集型任务进行了广泛的实验。
Large Language Models for Mathematical Reasoning: Progresses and Challenges
c_cpp_csharp的专栏
03-09 249
数学推理是评估人类智力基本认知能力的基石。近年来，面向数学问题自动解决的大型语言模型（LLM）的发展出现了显著的激增。然而，数学问题类型的范围是广泛而多样的，面向LLM的技术正在不同的数据集和环境中进行评估。这种多样性使得辨别这一新兴领域的真正进步和障碍具有挑战性。这项调查致力于解决四个关键维度：一）对已调查的各种数学问题及其相应数据集的全面探索；ii）对已经提出用于数学问题解决的面向LLM的技术的范围的检查；iii）影响数学解题LLM的因素和关注点概述；以及iv）阐明该领域内持续存在的挑战。
大规模SFT微调指令数据的生成
爱吃火锅的博客
08-17 2389
怎么自动化生成SFT数据？
专攻数学的Prompt：使GPT-3解数学题准确率升至92.5%
定期分享我的发现和想法，感谢你的陪伴和支持
11-18 5753
最近，微软研究院的MathPrompter技术为这一领域带来了革命性的进展，无需微调即可打造「理科」语言模型，显著提高了GPT-3在数学问题解答中的准确率。基于上述多重验证和交叉检查的思维过程所提供的直觉上，使用两种不同的方法生成Qt的分析解决方案，即代数方式和Pythonic方式，给LLM提供以下提示，为Qt生成额外的上下文。在大部分情况下，MathPrompter都能生成正确的中间和最终答案，不过也有少数情况，如表中的最后一个问题，代数和Pythonic的输出都是一致的，但却有错误。
多语言SFT可以显著提高LLM数学推理能力
zenRRan的博客
11-07 496
来自：NLP工作站写在前面今天给大家带来一篇《多语言SFT可以显著提高LLM数学推理能力》，来自知乎@promise（已授权）Paper:https://arxiv.org/abs/2310.20246 Github:https://github.com/microsoft/MathOctopus/tree/main 知乎：https://zhuanlan.zhihu.com/p/664504...
解锁LLM应用潜能：提示工程的39种方法与应用全解析！
Meimei9411的博客
07-30 997
大型语言模型（LLMs）在许多不同的自然语言处理（NLP）任务上表现出了显著的性能。提示工程在提升LLMs已有能力方面发挥着关键作用，使其在各种NLP任务上取得了显著的性能提升。提示工程需要编写自然语言指令，即提示，以结构化的方式从LLMs中提取知识。与以往的最先进（SoTA）模型不同，提示工程不需要根据给定的NLP任务进行广泛的参数重新训练或微调，而是仅依赖于LLMs的内嵌知识。此外，LLMs的爱好者可以通过基本的自然语言对话交换或提示工程，智能地提取LLMs的知识，使得越来越多的人即使没有深厚的数学机器
提示工程的39种方法与应用全解析！
2401_85373898的博客
09-16 1936
这是Vatsal等人（2024）讨论的一种提示方法。在这种方法中，基础提示指令通过添加基于假设的医学术语定义得到增强，即添加这些定义将帮助LLM在回答问题时获得更多上下文。但结果显示，这些术语定义并没有真正帮助，可能是因为它们的知识范围狭窄，可能与LLM的更大知识库发生冲突。此外，医学术语的定义可能会随着上下文的变化而变化，因此为医学术语固定定义并不能真正帮助LLM，反而可能会让它们感到困惑。
Unit Runtime：一键运行 AI 生成的代码，或许将成为你的复制 + 粘贴神器
Phodal's zenthink
03-29 1104
在我们构建了 Unit Mesh 架构之后，以及对应的 demo 之后，便着手于实现 Unit Mesh 架构。于是，我们就继续开始 Unit Runtime，以用于直接运行 AI 生成的代码。PS：再重新介绍一下 Unit，这里的 Unit 指的是由AI 生成的 + 可独立运行的代码单元，比如一个前端组件、一个 完整的 API （Controller-Service-Repository）等等...
优化调度基于改进遗传算法的公交车调度排班优化的研究与实现（Matlab代码实现）
12-01
【优化调度】基于改进遗传算法的公交车调度排班优化的研究与实现（Matlab代码实现）内容概要：本文围绕“基于改进遗传算法的公交车调度排班优化”展开研究，利用Matlab实现算法仿真与优化过程。文章重点介绍如何通过改进遗传算法（如引入精英策略、变异优化等）提升传统算法在公交调度这一复杂多目标优化问题中的性能，解决发车频率、线路分配、司机排班及运营成本之间的平衡问题。研究涵盖了实际调度中的多重约束条件，包括时段客流波动、车辆数量限制、工作时长合规性等，并通过仿真实验验证改进算法在收敛速度、解的质量和稳定性方面的优越性。; 适合人群：具备一定Matlab编程基础和优化算法知识的研究生、科研人员及从事公共交通系统规划与智能调度的工程技术人员。; 使用场景及目标：①应用于城市公交系统排班优化，提升运营效率并降低人力与能源成本；②作为智能交通系统（ITS）中调度模块的技术参考；③为遗传算法在实际工程问题中的改进与应用提供案例支撑。; 阅读建议：建议读者结合文中Matlab代码进行实践操作，重点关注算法改进策略的设计逻辑与调度模型的构建方式，同时可尝试将算法扩展至其他交通调度场景以深化理解。
中国臭氧站点数据集(2024).zip
12-01
1. station_2024.csv —— 全国地面站点位置信息 2. O3_data_2024.csv —— 全国 O₃ 小时浓度数据
（64页PPT）某著名企业集团年会活动策划方案.ppt
最新发布
12-01
（64页PPT）某著名企业集团年会活动策划方案.ppt
【嵌入式系统】基于GCC优化与组件裁剪的固件瘦身方法：面向STM32/ESP32/nRF52平台的低资源部署方案设计
12-01
内容概要：本文系统介绍了嵌入式固件裁剪与优化的实战方法，重点围绕编译器级优化（如GCC的-Os、-flto、--gc-sections等选项）、主流芯片平台（STM32、ESP32、nRF52）的具体瘦身流程以及工具链实践展开。通过对比不同优化配置下的固件大小、执行效率和编译时间，验证了-Os结合LTO与段裁剪可显著减小体积，同时提供了HAL库裁剪、启动文件优化、分区表调整、调试信息移除等关键操作步骤，最终实现固件体积大幅缩减。; 适合人群：具备嵌入式开发经验的工程师，尤其是从事MCU固件开发、资源受限设备优化及相关技术研究的1-3年工作经验人员；熟悉C/C++语言及基本编译链接原理者更佳； 使用场景及目标：①在存储空间紧张的嵌入式设备中最大化压缩固件体积；②提升代码执行效率并合理平衡调试能力；③掌握跨平台（STM32/ESP32/nRF52）固件优化通用方法论； 阅读建议：建议结合具体项目实践文中优化策略，逐步应用编译器选项、组件裁剪与链接脚本修改，并借助size、objdump、strip等工具分析优化效果，注意避免过度优化带来的稳定性风险。
isabe：经济分支机构信息系统开发实践指南
- mathematical-modelling（数学建模）：项目中可能运用了数学模型来模拟和预测经济现象。 - statistical-models（统计模型）：涉及构建和应用统计模型来解释数据中的模式和趋势。 - JavaScript：作为项目的主要编程...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值