传神论文中心|第22期人工智能领域论文推荐

OpenAI o1模型背后的技术解析 | 后训练阶段的缩放法则与推理优化 随着人工智能技术的迅速发展,大模型的能力提升成为各大研究机构的重点。2024年9月13日,OpenAI发布了o1系列模型,在数学、代码生成、长程规划等领域取得了显著提升。这些进展并非简单依靠大模型的参数扩展,而是基于强化学习以及推理阶段的算力优化,尤其是“后训练阶段的缩放法则(Post-Training Scaling Law)”的应用。在本文中,我们将深入探讨o1模型背后的技术,包括后训练阶段缩放法则、隐式思维链(CoT)、STaR和Critic模型等关键概念,帮助读者更好理解大语言模型(LLM)能力提升 阅读详情

在人工智能领域的快速发展中,我们不断看到令人振奋的技术进步和创新。近期,开放传神(OpenCSG)传神社区发现了一些值得关注的成就。传神社区本周也为对AI和大模型感兴趣的读者们提供了一些值得一读的研究工作的简要概述以及它们各自的论文推荐链接。

01 The AI Scientist

传神社区注意到这篇文章中有以下亮点:AI Scientist 是一种新型 AI 代理,可以以不到 15 美元的成本开发并撰写一篇完整的会议级别科学论文。该代理通过使前沿大语言模型(LLMs)能够进行独立研究和总结发现,自动化科学发现过程。此外,它还使用一个自动化审稿人来评估生成的论文,声称在评估论文评分方面接近人类的表现,并声称生成的论文可以超过其自动化审稿人所判断的顶级机器学习会议的接受门槛。这一创新将为科学研究和学术写作带来革命性变化,显著提升效率和成果质量。

论文推荐链接:

https://opencsg.com/daily_papers/PBbAAnyGN3HD

图片

02 Grok-2

传神社区注意到这篇文章中有以下亮点:Grok-2 是一款新型前沿模型,兼具强大的代码、数学和推理能力,并且包含大模型和小模型。在 LMSYS Chatbot Arena 上,Grok-2 超越了 Claude 3.5 Sonnet 和 GPT-4-Turbo,并且在指令跟随、信息检索、工具使用和事实性增强等方面表现出色。该模型还在 MMLU 和 HumanEval 评测中与 Claude 3.5 Sonnet 和 GPT-4o 进行竞争,展示了其在前沿模型领域的强劲实力。

论文推荐链接:

https://opencsg.com/daily_papers/ufmemKgs7JLh

图片

03 LongWriter

传神社区注意到这篇文章中有以下亮点:LongWriter 提出的 AgentWrite 方法,使现成的大语言模型能够生成超过 20,000 字的连贯长篇内容。通过将长文本生成任务分解为子任务,并将各部分连接起来,AgentWrite 实现了高效的长文生成,并用于构建 SFT 数据集,进一步调优模型。经过 DPO 改进的 90 亿参数模型,在其基准测试中表现出色,达到了最先进的水平,并超越了许多专有模型。这一创新为自动化长篇内容生成开辟了新的可能性。

论文推荐链接:

https://opencsg.com/daily_papers/tmBuBKBBMsrr

图片

04 EfficientRAG 

传神社区注意到这篇文章中有以下亮点:EfficientRAG 通过训练自编码语言模型,精确标记和标签化文本块,从而实现高效的信息检索和处理。该模型能够智能地标记文本块为 <Terminate> 或 <Continue>,并通过迭代处理逐步构建答案。最终,经过这一过程的充分信息收集,EfficientRAG 使用大语言模型生成准确的最终答案。这种高效的检索-生成方法为复杂问题的自动化解答提供了强大的技术支持。

论文推荐链接:

https://opencsg.com/daily_papers/ZeLeFF9qpyCQ

图片

05 RAGChecker 

传神社区注意到这篇文章中有以下亮点:RAGChecker 是一个创新的细粒度评估框架,专注于诊断 RAG 模块的性能。研究表明,RAGChecker 在与人类判断的相关性上表现更优,并揭示了 RAG 架构设计中的关键模式和权衡。这一评估框架为优化 RAG 系统的设计提供了宝贵的洞见,有助于提升检索与生成模块的整体效果。

论文推荐链接:

https://opencsg.com/daily_papers/ejf24inxC7Ee

图片

06 HybirdRAG

传神社区注意到这篇文章中有以下亮点:HybridRAG 通过结合 GraphRAG 和 VectorRAG 的优势,形成了一个性能更强的混合系统。该系统在财报电话会议记录上的测试显示,HybridRAG 在准确回答查询方面优于单独使用的两种方法。这种创新的组合方法为处理复杂数据集和提供精准答案开辟了新的路径。

论文推荐链接:

https://opencsg.com/daily_papers/8p7v9ootTvnk

图片

07 rStar 

传神社区注意到这篇文章中有以下亮点:rStar 创新地通过自我博弈互推机制,大幅提升了小型语言模型的推理能力,而无需进行微调或依赖更高级模型。该方法结合了蒙特卡罗树搜索与人类般的推理行为,构建了更丰富的推理路径,并通过无监督反馈机制显著提高了模型的准确率。rStar 在 GSM8K 基准上的表现尤为出色,将 LLaMA2-7B 的准确率提升至 63.91%,展示了其在推理能力增强方面的卓越效果。

论文推荐链接:

https://opencsg.com/daily_papers/NW8U18fY3nNZ

图片

08 Scaling LLM Test-Time Compute Optimally

传神社区注意到这篇文章中有以下亮点:《Scaling LLM Test-Time Compute Optimally》深入探讨了大语言模型在推理阶段的计算扩展行为,并提出了一种自适应的计算最优策略。这一策略在处理固定计算量的情况下,显著提升了模型的效率,相较于传统方法效率提高了 4 倍以上。研究还表明,通过优化推理时的计算配置,可以在计算量相等的条件下超越规模大 14 倍的模型。这一发现为大语言模型的高效推理提供了全新的优化路径。

论文推荐链接:

https://opencsg.com/daily_papers/YLTsm9x2YfTj

图片

09 MedGraphRAG  

传神社区注意到这篇文章中有以下亮点:MedGraphRAG 是一个创新的图形化框架,专门为医疗领域设计,通过静态-语义混合方法改进了文档上下文的捕捉能力。该框架通过图形化表示医学实体和知识,创建了一个全球互联的知识图谱,显著提升了结果的精确性,并在多个医疗问答基准上超越了现有的最先进模型。这一突破为医疗领域的自动化问答系统提供了更高效、更精准的解决方案。

论文推荐链接:

https://opencsg.com/daily_papers/w3erSpb2qCZK

图片

10 Survey of NL2QL

传神社区注意到这篇文章中有以下亮点:《Survey of NL2QL》提供了一个全面的综述,深入探讨了由大语言模型驱动的 NL2SQL 技术。文章系统地介绍了相关模型、数据收集方法、评估手段以及常见错误分析,成为该领域的重要参考资料。这一综述为理解和推动 NL2SQL 技术的发展提供了宝贵的指导和洞见。

论文推荐链接:

https://opencsg.com/daily_papers/kM9pAoZZoiZd

图片

图片

欢迎加入传神社区

•贡献代码,与我们一同共建更好的OpenCSG

•Github主页

欢迎🌟:https:// github.com/OpenCSGs

•Huggingface主页

欢迎下载:https://huggingface.co/opencsg

•加入我们的用户交流群,分享经验

图片

扫描上方二维码添加传神小助手


“      关于OpenCSG

开放传神(OpenCSG)成立于2023年,是一家致力于大模型生态社区建设,汇集人工智能行业上下游企业链共同为大模型在垂直行业的应用提供解决方案和工具平台的公司。

关注OpenCSG

图片

加入传神社区

图片

NVIDIA AI Workbench 让 Windows 上的 GPU 使用更加简便 是一款免费的、用户友好型开发环境管理器,可在您选择的系统(PC、工作站、数据中心或云)上简化数据科学、ML 和 AI 项目。在 Windows、macOS 和 Ubuntu 上,您可以本地开发、测试项目和构建项目原型,并在系统(本地和远程)之间轻松传输开发环境和计算工作,以优化成本、可用性和规模。AI Workbench 专注于简化开发者体验,而不会阻碍高级用户所需的自定义类型。那是 AI Workbench 处理容器的主要原因。它们是提供和修改 GPU 加速工作所需环境的最简单方法。 阅读详情

相关推荐

Test-Time Compute:让大模型学会‘停下来想一想’的推理增强范式

Test-Time Compute(测试时计算)是一种将算力从训练阶段迁移至推理阶段的技术范式,其核心是通过动态调度生成与验证双模型,在单次请求中完成多步搜索、自我校验与路径修正,从而突破传统大语言模型在数学推理、代码生成等结构化任务中的逻辑执行瓶颈。它不依赖参数规模扩张,而是以可插拔方式提升答案正确性、过程可解释性与错误可归因性,已在MATH、GSM8K等强推理基准上验证出小模型(3B)反超大模型(70B)的实效。该技术正成为教育AI、编程助手、金融合规等高可靠性场景的关键基础设施。

weixin_30308101的博客 629

8种值得关注的大模型测试时计算策略【test-time compute】

本月发表的两篇重要研究论文揭示了如何通过优化测试时计算来显著提高大型语言模型 (LLM) 的性能而无需额外的训练。加州大学伯克利分校和谷歌 DeepMind 的 Snell 等人撰写的和 Appier AI Research 和台湾大学的 Tam 等人撰写的挑战了传统方法,即更高质量的响应必然需要扩展 LLM 参数并等待更大、更强大的基础模型。测试时计算(test-time compute),也称为推理计算,是指 LLM 生成提示响应时使用的计算资源。

新缸中之脑 5402

Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters

使LLM能够通过使用更多的测试时间计算来提高其输出,是构建可以在开放式自然语言上运行的一般自我改进代理的关键一步。在本文中,我们研究了LLM中推理时间计算的缩放,重点回答了一个问题:如果允许LLM使用固定但非微不足道的推理时间计算量,它在具有挑战性的提示下能提高多少性能?回答这个问题不仅对LLM的可实现性能有影响,而且对LLM预训练的未来以及如何权衡推理时间和预训练计算也有影响。尽管它很重要,但很少有研究试图了解各种测试时间推理方法的缩放行为。此外,目前的工作在很大程度上为其中一些策略提供了负面结果。

c_cpp_csharp的专栏 947

图解推理型 LLMs(二)测试时计算:Test-time Compute

与不断增加预训练成本不同,测试时计算允许模型在推理过程中“多思考一会儿”。非推理型模型,通常只输出答案,省略“推理”步骤:而推理型模型则会使用更多的 tokens,通过若所有增加的计算资源都用在生成最终答案上,实际效率不高;但若将新增的计算资源用在提前生成包含额外信息、关系以及新思路的 token 上,则模型最终答案的质量会高得多。换句话说,。

m0_56255097的博客 1388

实战指南:如何优雅解决SpringBoot3与Mybatis-Plus的版本兼容性问题

本文深入解析SpringBoot3与Mybatis-Plus的版本兼容性问题,提供实战解决方案。通过Maven依赖排除策略、Gradle配置方案及自动配置覆盖策略,有效解决包冲突和初始化顺序问题,确保项目平稳升级。适用于开发者快速解决SpringBoot3与Mybatis-Plus的集成难题。

weixin_28432777的博客 597

企业级AI Agent平台建设方案

本报告将深入剖析构成一个顶级AI Agent平台的各个功能层面,为构建者提供一份全面的战略蓝图。

分享AI和大数据领域的知识和研究 1582

GPT5的Test-time compute(测试时计算)是什么?

Test-time compute(测试时计算)是指在模型推理阶段动态调整计算资源的技术,根据任务复杂度分配不同算力。简单问题调用轻量计算,复杂任务则启用更深层推理或更大子模型。常见实现方式包括专家混合模型、动态深度网络和多步推理机制。其优势在于提升计算效率和准确性,但面临实现复杂度高、响应时间不稳定等挑战。该技术让AI能像人类一样"因题制宜",在保证简单任务快速响应的同时,为复杂问题投入更多"思考"资源。

严文文 Chris 792

无人机避障——感知篇(采用Mid360复现Fast-lio)

本文介绍了在Ubuntu 18.04和ROS Melodic环境下,使用Xavier-nx电脑和Livox Mid-360激光雷达编译和运行FAST-LIO工程的步骤,包括创建工作空间、编译驱动和FAST-LIO源码,以及运行launch文件进行建图的过程。

weixin_45390670的博客 3544

北大对齐团队独家解读:OpenAI o1开启「后训练」时代强化学习新范式

这些都将是不局限于利用人类偏好数据,利用强化学习进行 “微” 调,随着业界在 pre-train 阶段技术的成熟,以及现有数据也即将匮乏,大模型的训练将从 “模仿” 到 “探索” 的转变,在 Llama 3.1 的技术报告中谈到,在 Post-training 阶段能够观察到性能的有效提升,而 OpenAI O1 则是进一步将大模型训练的战场推向 Post-training 阶段。这表明,模型在面对不明确或存在漏洞的任务时,能够通过意想不到的方式实现 “奖励攻陷”,从而避开真正的挑战核心。

AIBigModel的博客 2385

Windows 11 部署 Docker Desktop:从 WSL 报错到服务配置的完整排障实录

本文详细记录了在Windows 11上部署Docker Desktop时遇到的WSL报错问题及完整解决方案。从Hyper-V配置、BIOS设置到系统服务检查,提供了一系列实用命令和排查步骤,帮助开发者快速解决'Unexpecter WSL error'等常见问题,实现Docker与WSL2的稳定运行。

weixin_30687051的博客 120

人工智能渗透测试:自动化安全评估

渗透测试认证的价值包括提高可信度和技能水平,并帮助客户确保由经过认证的个人对其系统进行全面的手动调查。B2B 交互变得越来越复杂,特别是功能丰富的超级应用程序,需要采取强有力的安全预防措施,而自动化渗透测试应用程序则是一种未被发现的武器。渗透测试中的人工智能通过提高效率、自动收集信息、发现隐藏的漏洞、开发个性化攻击和减少误报来提高 B2B 集成的安全性。这包括风险简报、补救建议和战略建议。渗透测试由五个阶段组成,是网络安全中的关键防御措施,它模拟现实世界的攻击,以识别系统缺陷并在漏洞被利用之前解决它们。

weixin_48967543的博客 2360

传神论文中心|第29期人工智能领域论文推荐

该方法有效解决了传统依赖单一视觉编码器的模型在视觉任务处理中的权衡问题,不仅超越了之前的统一模型,还在某些任务上与特定任务模型表现相匹敌甚至超越。该方法不仅简化了模型架构和训练过程,还在使用极少数据的情况下取得了优异表现,数据量相比传统方法减少了1000倍,为点跟踪任务的高效训练提供了全新的解决方案。传神社区注意到这篇文章中有以下亮点:该研究提出的“模型亲缘性”概念为衡量大型语言模型的相似性提供了创新方法,并以此构建了基于亲缘性的 Top-k 贪婪合并策略,显著提升了模型合并的性能。

OpenCSG的博客 993

使用ArcGIS Pro进行土地利用分类的机器学习与深度学习

传统的土地利用分类方法通常依赖于手动解译和规则定义,但随着机器学习和深度学习的发展,我们现在可以利用这些技术来自动化和提高分类的精度。ArcGIS Pro是一种功能强大的GIS软件,它提供了丰富的工具和功能,可以支持土地利用分类的机器学习和深度学习。我们将首先讨论数据准备和预处理的步骤,然后介绍常用的机器学习和深度学习方法,并提供相应的源代码示例。这可以通过人工标注或半自动的方式完成。数据裁剪:根据研究区域的范围,裁剪遥感影像数据,以减少计算和存储的负担,并确保只包含感兴趣的土地利用区域。

code_program481的博客 2039

传神论文中心|第18期人工智能领域论文推荐

传神社区注意到这篇文章中有以下亮点:通过迭代训练小型验证器来预测解决方案的正确性,训练有用的证明器以生成被验证器接受的正确解决方案,以及训练狡猾的证明器来生成误导验证器的错误解决方案,这一过程帮助训练出能够生成对人类和AI系统都易于理解的正确文本的模型,从而形成更值得信赖的系统。文章提供了一个图形分类法,将最近的进展整合到一个直观的统一框架中,提取了当前挑战的见解,并强调了未来发展的激动人心的机会。传神社区注意到这篇文章中有以下亮点:本研究发现,通过将请求改为过去时,可以有效破解许多最新的LLMs。

OpenCSG的博客 1099

【即插即用模块】注意力篇 | TGRS 2025 | ASD:自适应频域解耦,动态拆分高低频+空间注意力,频域空间特征双增强!

摘要: FDMF-Net提出了一种频域解耦多模态融合网络,核心组件为振幅谱解耦模块(ASD)。ASD通过自适应频域拆分和频域-空域协同增强,有效分离模态不变与模态特定特征。该模块利用MLP学习动态阈值调整高低频比例,并通过空间注意力分别强化频域特征,在遥感语义分割任务中实现了细节与结构的协同增强。实验表明,ASD模块能减少模态内冗余,提升特征判别性,为多模态数据融合提供了新思路。代码已开源,适用于需要强化细节与结构的视觉任务。

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 305

VMware16虚拟机:下载和安装教程

VMware16 虚拟机 下载和安装教程

MQ0522的博客 20万+

传神论文中心|本周人工智能领域论文推荐

在人工智能领域的快速发展中,不断看到令人振奋的技术进步和创新。近期,开放传神(OpenCSG)传神社区发现了一些值得关注的成就,在当今数字化时代,人工智能(AI)已经成为了许多领域的核心驱动力。随着Llama3的发布,扎克伯格表示,“我们的目标不是与开源模型竞争,而是要超过所有人,打造最领先的人工智能。”传神社区本周也为AI和大模型感兴趣的读者们提供了值得一读的研究工作的简要概述和它们各自的论文推荐链接。

OpenCSG的博客 1195

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

LLMs之Text2SQL:《A Survey of NL2SQL with Large Language Models: Where are we, and where are we going?》

​ LLMs之Text2SQL:《A Survey of NL2SQL with Large Language Models: Where are we, and where are we going?》翻译与解读 目录 《A Survey of NL2SQL with Large Language Models: Where are we, and where are we going?》翻译与解读 Abstract

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 2615

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

【AI学习】Huggingface复刻Test-time Compute Scaling技术

OpenAI ChatGPT o1 背后的关键技术Test-time Compute Scaling,Huggingface实现并开源了! Hugging Face 团队发布了一篇关于“开源模型中的推理阶段计算扩展”(Test-time Compute Scaling) 的研究文章。Hugging Face 团队通过复现 DeepMind 等研究成果,通过测试时计算扩展(test-time compute scaling)来提升小模型的性能,使其在某些情况下超越更大规模的模型。

bylander的博客 2762

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

【推理调度机制】Test-time Compute × DeepSeek 内核执行链详解

本文系统解析了 DeepSeek 智能体在 Test-time Compute 场景下如何构建具备行为决策力的 LangGraph 执行图,并由 Runtime 实现可调度、可中断、可恢复、可重规划的推理执行链。我们详细讲解了行为节点结构、状态迁移机制、推理中断与恢复路径、Context / Memory / Session 的闭环调度控制,以及完整图结构的工程化部署与调试工具链搭建方案,为构建企业级多智能体推理图调度系统提供完整的技术路径与落地指导。

努力分享一些人工智能、计算机视觉、影像等相关的知识干货! 901

读论文《 The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery》

人工智能科学家首先发明并评估一组想法的新颖性。这种方法标志着在机器学习科学发现方面的一个新时代的开始:将 AI 代理的变革性好处带给 AI 自身的整个研究过程,并使我们更接近一个世界,在这个世界上,无尽的可负担的创造力和创新可以被释放到世界上最具挑战性的问题上。这个审查代理处理 PDF 手稿的原始文本,并提供包括声音、呈现、贡献、总体和信心的数值分数,以及弱点和优势的列表,以及初步的二元决策(接受或拒绝)。每个阶段都使用了特定的提示和过程,以确保生成的想法是新颖的,实验是有效的,并且论文是准确和全面的。

buganything的博客 2817

AI Scientist:世界上第一位 AI 科学家智能体!!(AI研究员 & 本地安装 & 撰写论文)

原创 Aitrainee AI进修生 2024年08月16日 23:08 湖南Hi,这里是Aitrainee,欢迎阅读本期新文章。分享来自Sakana AI的一个新的研究工具,名为AI Scientist。你是否希望自己撰写关于机器学习或其他主题的研究论文,比如这样的内容?那么这个工具AI Scientist可以帮助你。这是世界上第一个用于自动化科学研究和开放式探索的AI系统,你只需运行它,它就会为你生成一篇完整的论文,文末会附上部署视频教程链接~该公司致力于开发受自然系统启发的AI模型,比如鱼群和蜂群。旨

具身机器人和通用AI 1790

大模型扫盲之推理大模型(Reasoning LLMs)

多图详解推理模型

算法熔炉的博客 2860

[今日Arxiv] LLM推理中的错误自迭代改进,DeepMind

使LLM能够通过使用更多测试时间计算来改进其输出是朝着构建普遍自改进代理的关键一步,这些代理可以在开放的自然语言上操作。如果一个LLM被允许使用固定但非微不足道的推理时间计算量,它能在多大程度上提高其在挑战性提示下的性能?回答这个问题不仅对实现LLM的性能有影响,而且对未来预训练和如何权衡推理时间和预训练计算也有影响。尽管它很重要,但很少有研究试图理解各种测试时间推理方法的扩展行为。此外,目前的工作主要为这些策略提供负面结果。

qq_29883477的博客 2322

Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters测试时计算更有效

Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters——最优扩展大型语言模型的测试时计算可能比扩展模型参数更有效

Together_CZ的博客 2034

告别 “科研内卷”?AI 科学家来了:从 idea 到论文全自动化,成本仅 15 美元 / 篇

AI Scientist的出现,标志着科学研究正从“个体英雄主义”走向“人机协作的工业化时代”。当15美元就能启动一项研究,当一周能验证数百个假设,人类解决全球性挑战(如气候变化、疾病治疗)的速度可能被彻底重塑。但技术终究是工具。真正决定科学走向的,仍是人类对未知的好奇、对伦理的坚守。或许在不久的将来,顶级期刊的作者列表中会出现“AI Scientist”的名字,但它背后,永远是人类对知识边界的不懈探索。

qq_42540492的博客 1928
上一篇: CodeSouler v1.0.5版本正式发布
下一篇: 揭秘GPT-5,探索未来人工智能的无限可能
OpenCSG
博客等级 码龄3年 1679粉丝 575原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值