颠覆认知！LLM训练中的“重复效应“，少即是多？ | 从“搜索“到“智能助手“，信息获取的新纪元来了！

最新推荐文章于 2025-11-26 15:49:07 发布
原创 最新推荐文章于 2025-11-26 15:49:07 发布 · 1k 阅读 · 25 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型 #人工智能 #自然语言处理 #学习 #算法

大模型领域的发展日新月异，每天都有许多有趣的论文值得深入品读。下面是本期觉得比较有意思的论文：

1、颠覆认知！LLM训练中的"重复效应"，少即是多？

2、从"搜索"到"智能助手"，信息获取的新纪元来了！

1、颠覆认知！LLM训练中的"重复效应"，少即是多？

–当人工智能遇上"温故知新"，Less is More

还记得我们读书时老师常说的"温故而知新"吗？研究人员一直认为训练LLM需要海量的、不重复的数据。可是最新研究却给这个观点来了个"当头棒喝"！

来自最新研究表明，在AI训练中，“重复"可能比"数量"更重要。研究者通过三个数学问题的实验发现：用更少的数据，多次重复训练，居然比使用大量不重复数据的效果更好！这就像是给AI安排了"刻意练习”，让它在反复思考中获得更深的理解。

更有趣的是，研究者发现了一个叫"两集训练法"的神奇现象：随机选择一小部分训练数据反复使用，同时配合其他不重复数据进行训练，能显著提升AI的学习速度和表现。这就像是给AI准备了一份"必背考点"，让它在"温故知新"中突飞猛进。

这项研究颠覆了"数据越多越好"的传统认知，为LLM训练开辟了新思路。就像人类学习一样，也许AI也需要一些"回头看"的机会，在重复中找到新的领悟。这让我们不禁思考：在追求数据规模的同时，是否也该给LLM一些"咀嚼"知识的时间？

论文标题：Emergent properties with repeated examples

论文链接：https://arxiv.org/abs/2410.07041

2、从"搜索"到"智能助手"，信息获取的新纪元来了！

–传统搜索引擎即将被颠覆？AI助手带来全新信息检索范式

还记得我们是如何获取信息的吗？输入关键词、点击搜索、翻找结果…这种方式持续了近50年。但现在，一场革命正在悄然发生，AI将彻底改变我们获取信息的方式！

研究人员提出了一个全新概念：“主动式信息检索”(Agentic IR)。不同于传统搜索引擎简单地"查找-展示"，这种新型AI系统像一位能够"察言观色"的智能助手，通过多轮对话和行动，精准理解并满足用户需求。比如，当你想找一家餐厅时，它不仅能推荐合适选择，还能帮你比较价格、查看评价，甚至直接预订座位！

这种革新带来的不仅是便利，更是效率的质的飞跃。传统搜索就像是在图书馆里翻书，而主动式信息检索则像是有了一位全能管家，他不仅知道你想要什么，还知道如何最快获取并呈现给你。从生活助手到商业咨询，从代码编写到信息整合，AI助手将成为我们获取信息的新入口。

尽管这项技术还面临着一些挑战，但研究者相信，在未来几年内，这种智能化的信息获取方式将得到快速发展，彻底改变我们与信息交互的方式。新时代的信息革命，你准备好了吗？

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

LLM-Based AI Agent 核心思想、发展历史、未来趋势【资料大全】
AI天才研究院
12-07 840
复旦大学NLP团队在其综述论文中提出,LLM-based Agent由大脑、感知和行动大脑: 由LLM组成,负责存储记忆和知识,以及信息处理、决策等功能感知模块: 负责获取环境信息,将多模态输入转换为可用提示行动模块: 执行决策,通过具身能力和工具使用与环境进行交互这一架构与人类智能具有显著的相似性,展现了AI Agent在模仿人类智能方面的进展。
自动化编程助手不是“懒人工具”！AI应用架构师必须具备的使用思维！
Python编程之道的博客
08-27 737
2021年6月，GitHub与OpenAI联合发布GitHub Copilot时，软件开发界经历了一场悄无声息却影响深远的革命。这个被称为"你的AI配对程序员"的工具，能够根据上下文和注释实时生成代码建议，震惊了整个行业。仅仅两年后，类似的AI编程助手已如雨后春笋般涌现：ChatGPT、Claude、CodeLlama、Amazon CodeWhisperer……它们不仅能生成代码片段，还能解释代码、调试错误、优化性能，甚至参与系统设计讨论。
震撼揭秘：LLM幻觉如何颠覆你的认知！
JellyAI的博客
03-02 1114
LLM幻觉把幻觉理解为训练流水线中的一种涌现认知效应Prashal RuchirangaRobina Weermeijer 在 Unsplash 上的照片介绍在一个名为《深入剖析像ChatGPT这样的LLM》的YouTube视频里，特斯拉前AI资深总监Andrej Karpathy探讨了大型语言模型（LLM）的心理现象，把它看作是训练流水线中的一种涌现认知效应。这篇文章的灵感就来源于他对LLM幻觉的解释和视频里呈现的信息。你可能已经见过模型的幻觉。这些就是LLM生成的那些不正确、误导，甚至完全捏造出来的、但
人形机器人+大模型，为什么是投资人追逐的新风口？｜甲子光年
kaka0722ww的博客
07-12 1626
一个上午，接待了40多个投资人来现场，都是来看人形机器人的。”一位追觅员工说道。有投资人指着正在表演咖啡拉花的机器人问：“这个动作的难度在哪儿？”另一边，一位自称开煤矿的老板指的旁边站立的另一台人形机器人问：“多少钱，怎么订？2023世界机器人大会上，以前只能在科幻电影中出现的人形机器人在现场表演起了各种技能。小米、追觅科技、优必选、达闼科技、宇树科技、大连蒂艾斯科技、星动纪元、理工华汇等很多公司都把自己的人形机器人搬到了现场。大连蒂艾斯科技展示的人形机器人，甲子光年现场拍摄。
人工智能认知课：认识人工智能与大模型
秃了也弱了
02-13 1665
其中有一个错别字大模型也能识别出来。但是不同的大模型，推理能力不同。
震撼！苏黎世联邦理工和DeepMind发现LLM存在“盲从效应“，这可能颠覆我们对AI的认知 |COLM 2024
Python_cocola的博客
12-06 1189
在当今人工智能迅猛发展的时代，大语言模型（LLMs）已成为众多AI应用的核心引擎。。令人感到忧心的是，当模型接收到外部信息时，会不加分辨地改变自己的判断，即使这些信息可能是错误的。这一现象可能导致，。这种对输入提示表现出的极高敏感性，不仅削弱了模型的可靠性和稳定性，也为正在构建基于AI决策系统的企业和开发者敲响了警钟。
搜索的终局还是新起点？从SEO到GEO，你必须知道的革命性变化
wwlsm_zql的博客
09-20 841
搜索引擎正经历由AI驱动的革命性变革，传统SEO面临系统性挑战。Google的AI Overviews等生成式搜索功能直接提供答案，导致58.5%的搜索实现"零点击"，信息类网站流量下降18-64%。传统SEO三大支柱崩塌：关键词匹配失效（仅5.4%AI概览引用精确关键词）、排名价值缩水（48%引用来源非前十结果）、链接建设弱化（GEO内容点击率高73%）。用户行为转向自然语言查询和AI工具依赖，技术生态从"链接集合"进化为"答案引擎"。生成式引擎
第一章：多模态AI导论 —— 感知、理解与交互的智能新纪元
YPeng_Gao的博客
06-05 1027
摘要 多模态AI正迎来发展的黄金时代，它赋予机器同时理解文本、图像、音频等多种信息的能力，使AI认知更接近人类水平。多模态AI面临表示、对齐、推理、生成和迁移五大核心挑战，需解决模态间的异质性与协同问题。其发展历程经历了从早期尝试、深度学习独立突破到Transformer革命，如今以GPT-4V等大型多模态模型为代表进入爆发期。多模态AI将深刻影响医疗、自动驾驶、教育等行业，推动人机交互变革，并可能成为实现通用人工智能的关键路径。尽管面临数据稀缺、模型融合、算力需求等挑战，多模态AI仍展现出广阔的应用前景和
DeepSeek+Coze实战：如何从0到1搭建一个爆款视频拆解智能体（AI Agent）
Trb701012的博客
07-02 1408
短视频小白经常会遇到这样的问题。 花了大量时间刷短视频，但就是学不会爆款创作的秘诀？ 眼睁睁看着别人的视频播放量破万、破十万，自己却始终无法突破？ 想知道爆款背后的创作逻辑，却不知从何分析入手？ 别担心，今天我要介绍的爆款视频拆解智能体，将彻底解决你的这些烦恼。 它不仅能帮你深入剖析爆款视频的创作技巧，更能让你轻松掌握其中的核心秘诀。
从纸面到现实：浙大团队用OmniEAR深剖AI物理智能困境
欢迎来到运通链达的官方博客！我们深度探讨人工智能技术与应用，贯彻科技向善理念，推动科技进步与社会福祉和谐共生。
08-14 714
【摘要】浙江大学团队通过OmniEAR基准测试揭示，顶尖AI在物理世界中表现不佳的根源在于“体感推理”能力的缺失。研究发现，模型难以理解物理约束、合理使用工具和自主协作，单纯扩大模型规模无法解决根本问题。
生成式人工智能重塑商业价值：从任务分解到战略跃迁的全景解析
heijunwei的博客
05-29 1197
生成式人工智能（GenAI）正通过任务分解框架重塑商业价值，其核心在于精准定位“增强”与“自动化”的结合点，而非全盘替代人类工作。基于布林乔尔森的经济学模型，企业可拆解岗位任务，评估GenAI在效率提升与流程重构中的潜力。从客户服务的智能响应到法律合同审查、医疗诊断辅助，再到营销文案的多版本A/B测试，GenAI的应用已渗透至知识密集型行业的关键环节。麦肯锡与OpenAI的研究表明，高薪职业（如法律、金融、STEM领域）因依赖文本分析、逻辑推理等LLM擅长的任务，其自动化潜力显著高于低薪岗位。然而，技术落地
GEO（Generative Engine Optimization）完全指南：从原理到实践
wwlsm_zql的博客
09-20 2020
摘要 GEO（生成式引擎优化）是AI搜索时代的核心内容优化策略，它通过提升内容在AI生成答案中的引用率来获取流量。随着2025年AI搜索占比突破67%，传统SEO正被取代。GEO的核心价值在于让品牌成为AI优先推荐的知识源，其优化重点从关键词转向结构化知识输出。数据显示，GEO优化内容被AI引用的概率提升2.8倍，转化率高2.3倍。与传统SEO不同，GEO实现了"无点击曝光"，通过内容结构化、意图匹配和跨平台适配，使品牌信息直接嵌入AI答案。GEO已成为企业在AI时代数字化生存的必备能力
AI原生应用中的A_B测试：从入门到精通的完整指南
小程序开发
07-25 593
A/B测试，也称为拆分测试（Split Testing）或对照实验（Controlled Experiment），是一种将用户群体（或其他实验单元）随机且均匀地分配到两个或多个不同版本的产品、功能、算法或营销策略中，通过比较关键绩效指标（KPIs）的差异，来科学地评估不同版本效果优劣的方法。通常是当前正在使用的版本（基线版本），作为比较的基准。实验组 (Treatment Group / Variant B, C, …包含新功能、新算法或新策略的版本，是我们想要评估效果的版本。A/B测试的核心思想是。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 254
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 499
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
2501_92808811的博客
11-25 317
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
信息检索13
最新发布
2301_80828873的博客
11-26 588
最近邻检索的方法，PQ，IVF,HNSW
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 449
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
LLM如何作为组件集成到智能体的认知架构中？
09-05
<think> 我们正在讨论如何将大语言模型（LLM）作为组件集成到智能体的认知架构中。基于之前对智能体模型和LLM的定义及区别的讨论，我们知道智能体是一个能够感知环境、决策和行动的实体，而LLM是一个强大的语言处理工具。因此，将LLM集成到智能体架构中，主要是利用其语言理解和生成能力来增强智能体的交互和决策能力。 根据引用[1]和引用[2]的提示，我们可以从以下几个方面来阐述集成方法： 1. **架构设计**：智能体的认知架构通常包括感知、决策、行动等模块。LLM可以作为决策模块的一部分，用于处理自然语言相关的任务。 2. **训练和优化**：引用[2]提到，通过合理选择数据集、设计训练流程和利用计算资源，可以提高LLM的效率和性能。这同样适用于在智能体架构中优化LLM组件。 3. **能力与局限性**：引用[1]指出LLM具有强大的语言处理能力，但也存在伦理和风险问题。在集成时需要考虑这些局限性，并设计相应的弥补机制（比如结合符号推理或规则引擎）。 具体集成方法： 方法1：作为感知模块的增强 将LLM用于处理来自环境的自然语言输入（如用户指令、文本信息），将其转化为结构化表示，供决策模块使用。 方法2：作为决策引擎的核心组件 在决策模块中，LLM可以用于生成计划、推理决策原因或评估行动方案。例如，在基于提示的决策中，我们可以设计提示模板，让LLM根据当前状态生成下一步动作。 方法3：作为行动模块的执行器 当智能体需要生成自然语言响应时，LLM可以作为执行器生成符合语境的回复。同时，LLM也可以生成结构化指令（如代码、命令）来触发外部工具。 方法4：混合架构（LLM与其他模块结合） 为了克服LLM的局限性（如幻觉、缺乏实时性），可以将LLM与传统的符号推理系统、知识图谱或强化学习模块结合。例如，使用LLM生成候选动作，然后用规则引擎进行过滤。 下面我们详细描述这些方法，并尽可能结合引用内容。 注意：我们需要在回答中自然地添加引用标识，如[^1]和[^2]。但请注意，用户提供的引用[1]和引用[2]内容比较泛，我们主要参考其关于LLM能力和训练优化的观点，同时结合之前讨论的智能体架构知识。 此外，生成相关问题。 结构： 1. 引言：简要说明LLM作为组件集成的意义。 2. 具体集成方法（分点说明，包括方法描述和可能的例子）。 3. 总结：这种集成的优势和挑战。 4. 相关问题。 </think> ### 大语言模型（LLM）作为组件集成到智能体认知架构的方法 从认知架构视角看，智能体（Agent）是由**感知-规划-行动**（Perception-Planning-Action）三大核心模块构成的闭环系统[^2]。LLM作为语言处理组件，主要通过以下方式集成到智能体架构中： --- #### 1. **感知模块的语义理解增强** - **集成方式**：LLM处理原始感官输入（文本/语音/图像描述），转化为结构化语义表示。 - **技术实现**： - 文本输入：直接通过LLM提取意图和实体 $$ I_{\text{intent}} = \text{LLM}( \text{"用户指令"} ) $$ - 多模态输入：将视觉/听觉特征编码为文本描述，再由LLM解析 - **案例**：家庭服务机器人将摄像头画面描述为“桌上有一杯水”，LLM解析出“可抓取对象”的语义标签[^2] #### 2. **规划模块的推理引擎** - **集成方式**：LLM担任符号推理组件，将目标分解为可执行子任务序列： $$ \begin{align*} \text{目标} & \xrightarrow{\text{LLM}} \{ \text{子任务}_1, \text{子任务}_2, ... \} \\ \text{约束条件} & \rightarrow \text{优先级排序} \end{align*} $$ - **关键技术**： - **提示工程**：通过思维链（Chain-of-Thought）提示引导推理 - **知识检索**：结合外部知识库修正LLM输出（如通过`检索增强生成`技术） - **优势**：解决传统符号系统难以处理的模糊约束问题[^1] #### 3. **行动模块的交互接口** - **集成方式**：LLM生成自然语言响应与控制指令的映射 - **实现路径**： ```mermaid graph LR A[环境状态] --> B(LLM生成选项) B --> C{效用评估} C --> D[执行最优动作] ``` - **典型场景**：客服智能体通过LLM生成对话策略，再转换为API调用执行订单修改[^2] #### 4. **学习模块的持续优化** - **集成机制**：LLM分析行动结果生成改进方案 $$ \text{损失函数} \mathcal{L} = \text{LLM}(\text{"失败原因分析"}) $$ - **数据闭环**： 1. 收集交互数据 2. LLM生成合成训练样本 3. 微调本地决策模型 --- #### 关键挑战与解决方案 | 挑战 | 集成方案 | 技术支撑 | |---------------------|-----------------------------|--------------------------| | **LLM幻觉** | 符号系统验证输出逻辑 | 可满足性模理论(SAT)检查 | | **实时性不足** | 本地小型化模型部署 | 模型蒸馏(Llama.cpp等) | | **缺乏行动能力** | 工具调用框架(如ReAct) | OpenAI Function Calling | | **状态跟踪缺失** | 显式记忆模块设计 | 向量数据库+时间戳索引 | --- ### 总结 LLM在智能体架构中最核心的价值在于**弥合符号推理与感知交互的鸿沟**。通过模块化集成，LLM可增强语义理解（感知）、任务分解（规划）、人机交互（行动）三大环节，同时需结合传统符号系统规避其局限性[^1][^2]。当前主流框架如MetaGPT、AutoGen均采用此类混合架构。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值