步子哥的博客

双通道CNN通过并行处理两个独立的数据流或特征路径，实现更复杂的特征提取与融合。其核心在于利用多路径结构增强模型对异构数据或多样化特征的表达能力。

提示工程是设计高质量输入提示的过程，旨在引导LLMs生成准确、相关且符合预期的输出。它不仅涉及文字的选择，还包括模型配置、结构设计和上下文管理，是一个需要不断迭代的实验过程。

SELF-RAG 是一种能够通过自我反思提升生成质量的新型框架。它结合了检索、多次生成和批判性反思，能够在不同的任务场景下提供高质量的回答。通过本教程，你应该能够理解 SELF-RAG 的核心思想，安装并运行它，设置检索器，训练批判和生成模型，并进行推理和基准测试。

在追求通用人工智能的征途中，一个核心问题始终萦绕：智能体是否必须依赖世界模型——对环境的预测性表征——来实现灵活的目标导向行为？本文以通俗易懂的方式，深入探讨了一项突破性研究，揭示了任何能够处理多步骤目标任务的智能体，其策略中必然蕴含了一个世界模型。我们将以类小说的叙述风格，结合幽默的比喻和贴切的例子，带你走进这一科学发现的奇妙世界，揭示世界模型在智能行为中的核心角色，以及它对人工智能安全、能力边界和算法创新的深远影响。

TTRL：语言模型在测试时的自进化革命 大型语言模型正迎来从依赖监督学习到自主进化的范式转变。测试时强化学习（TTRL）通过创新性地利用无标签测试数据进行自我优化，实现了AI能力的突破性提升。其核心在于采用多数投票机制从模型自身输出中生成奖励信号，驱动参数动态调整。实验证明，TTRL在数学推理等复杂任务中表现惊人：Qwen2.5-Math-7B模型在AIME 2024上的准确率提升211%，平均性能增幅达76%。该方法不仅突破了传统强化学习对标注数据的依赖，更展现出超越初始模型性能上限的潜力，为AI在未知领

AutoRefine宛如一位智慧的炼金术士，将杂乱无章的外部信息提炼为精准的答案。其“搜索-提炼-思考”范式和双重奖励机制，让大型语言模型在复杂问题面前不再“迷茫”。通过在七个问答基准上的卓越表现，AutoRefine证明了其在检索增强推理领域的潜力。未来，随着模型规模的扩展和动态检索的引入，这一框架有望在更广泛的场景中大放异彩，为我们揭示更多知识的奥秘。

连续空间推理是指模型在高维潜在空间中生成推理步骤，而非直接生成具体文本令牌。离散推理像是用乐高积木搭建房子，每块积木形状固定；连续推理像是用黏土塑形，可自由调整细节，表达更丰富的想法。

连续空间推理是指模型在高维的潜在空间中生成推理步骤，而不是直接生成具体的文本令牌。想象一下，离散推理像是用乐高积木搭建房子，每块积木都是固定的形状；而连续推理像是用黏土塑形，可以自由调整细节，表达更丰富的想法。

在人工智能的浩瀚星海中，语言模型（LM）的编程框架如同一艘艘探索未知的飞船，而 DSPy（Declarative Self-improving Python）无疑是其中一颗耀眼的明星。它以“编程而非提示”的理念，试图为开发者提供一种更系统化、更模块化的方式来构建 AI 系统。然而，就像任何伟大的探险一样，DSPy 的旅程并非一帆风顺。GitHub 上的一则 issue（#8010）揭示了其 ProgramOfThought 模块在 Windows 环境下面临的技术难题，引发了关于其依赖设计的深刻讨论。

从单一模型到双模型流水线，OpenHands的这一提议如同为智能编程注入了一剂强心针。它不仅解决了成本与性能的矛盾，还为开发者提供了一个更加灵活、高效的工作伙伴。正如一位程序员在GitHub上感慨：“让o3规划全局，GPT-4.1执行细节，这就像请了一位战略大师和一位熟练工匠同时为你工作。在AI驱动的编程时代，双模型流水线或许只是一个起点。随着技术的进步和社区的协作，OpenHands有望成为每一位开发者的“超级助手”，让代码的创作过程如同一场智慧与效率的交响乐章。未来已来，你准备好加入这场变革了吗？

幻觉，是AI世界里最难缠的“幽灵”。DeCo算法为MLLMs带来了曙光，但在LLMs的幻觉治理上，仍需更多探索与创新。未来，只有多策略协同、持续评估与人机共治，才能让AI真正成为值得信赖的“智慧伙伴”。让我们一起，走出幻觉的迷宫，迎接AI的光明未来！

URSA 的成功不仅在于其算法的创新，更在于其对多模态数学推理问题的深刻理解。从视觉-语言对齐到链式推理增强，再到过程监督模型，URSA 展现了一条从基础到高阶的完整路径。未来，URSA 的方法可以进一步扩展到其他领域，例如科学计算、工程设计等。通过结合强化学习和批判模型（Critic Model），URSA 或许能够在更复杂的推理任务中再创辉煌。

AMAGO代表了AI向着更加灵活、适应性强的方向迈出的重要一步。它展示了如何将先进的机器学习技术与人类式的学习和适应能力相结合。虽然距离真正的"通用人工智能"还有很长的路要走,但AMAGO无疑为我们指明了一个充满希望的方向。随着这项技术的进一步发展,我们可能会看到越来越多像人类一样灵活、智能的AI系统。它们将不再局限于特定的任务,而是能够在各种环境中学习、适应和成长。这将为解决复杂的实际问题带来无限可能,推动人工智能领域向着更加智能、更加通用的方向发展。

人工智能（AI）的进步正在重塑我们对“思考”的理解，尤其是通过测试时计算（test-time compute）和链式推理（Chain-of-Thought, CoT）模拟人类的“慢思考”过程。测试时计算允许AI在推理时动态分配更多计算资源，显著提升了其在数学、编码和逻辑推理等复杂任务中的表现。链式推理则通过生成中间推理步骤，使AI的思考过程更加透明和可解释。研究表明，优化“思考时间”能够显著提高AI的决策质量，尤其是在大规模语言模型中。未来，AI的理性进化将依赖于如何激励忠实的推理路径、避免奖励欺骗，以及自

神经符号概念为通用智能体的构建提供了一条充满希望的道路。通过将神经网络的感知能力与符号逻辑的推理能力结合，它实现了数据高效、组合泛化、持续学习和零样本迁移。从2D图像到机器人操作，这一框架展示了其在多领域的潜力。未来，通过构建跨域概念库和解决复杂关系推理的挑战，神经符号概念有望推动AI迈向真正的通用智能。

每隔一段时间（比如每写完几句话），AI就要把目前的思路用一句话总结出来，不能太长，最多256个字。这就像老师让你写“解题小结”。

大型语言模型(LLMs)在自然语言处理领域取得了巨大的成功,但其庞大的参数规模也带来了巨大的存储和计算开销。为了解决这一问题,研究人员提出了一种名为QuIP(Quantization with Incoherence Processing)的新方法,实现了LLMs的2比特量化,大幅降低了模型的存储需求。本文将详细介绍QuIP方法的原理、创新点以及实验结果。

为了让小模型能够从大模型身上学到推理技巧，研究人员提出了各种**知识蒸馏（Knowledge Distillation）**方法，让大模型“教导”小模型生成解决问题的中间步骤。如图所示，经过多次迭代后，小模型的策略分布逐渐从最初的“偏科”状态，逐步接近大模型的多策略分布。此外，随着迭代次数的增加，训练数据与小模型输出之间的KL散度逐渐减少，表明小模型的推理能力正在不断提高。通过逐步混合大模型生成的数据和小模型自生成的数据，SIKeD能够逐渐减少小模型的策略偏差，并提高其在不同任务上的表现。

在数字时代，文字到语音（Text-to-Speech, TTS）技术如同一位现代魔法师，将冰冷的文字转化为富有情感的语音。MiniMax-Speech 作为这一领域的先锋，以其基于自回归 Transformer 的架构，结合创新的可学习说话人编码器和 Flow-VAE 技术，重新定义了语音合成的边界。这款模型不仅能从一段无文本的参考音频中提取音色特征，实现零样本语音克隆，还能在 32 种语言中生成近乎人类的高保真语音。

在这个信息爆炸的时代，农业领域面临着前所未有的挑战与机遇。我们常常想，能否有一个聪明的助手，能够在我们种田、施肥、甚至是基因编辑时，给出准确而详尽的建议？这不是科幻小说的情节，而是 ShizishanGPT——一款专为农业量身定制的智能问答系统，正在逐步实现的愿景。

DeepSeek-V3就像一个聪明的“省钱大师”和“速度狂人”，用MLA、MoE、FP8和多平面网络，解决了内存、成本和速度的难题。它的故事告诉我们：AI不只是算法的游戏，更是硬件和软件的完美配合。未来，随着这些技术的普及，AI会变得更便宜、更快，走进每个开发者的电脑，甚至每个人的生活。就像一位开发者说的：“我们不是在写代码，而是在为未来铺路！

人工智能（AI）正在以前所未有的方式重塑科学研究的版图。从实验室的灵光一现到学术期刊的严谨论文，AI正逐渐成为科学家们的得力助手，甚至开始独立探索未知的科学领域。在日本的Sakana AI实验室，一种名为“AI科学家”（The AI Scientist）的系统正在崭露头角，它不仅能自主构思研究课题，还能编写代码、执行实验、撰写论文，甚至进行同行评审。这一切，仅仅需要大约15美元的计算成本。让我们跟随这只“AI鱼儿”，潜入科学的深海，探索它如何以自然界为灵感，掀起一场开放式科学发现的革命。

Continuous Thought Machine（CTM）就像给AI装上了一个“时间引擎”，让它从冷冰冰的计算机器，变成了能像人一样思考的伙伴。它的神经元级时间处理和同步机制，带来了惊艳的推理能力和透明的决策过程。从迷宫探险到图片分类，再到游戏决策，CTM都在告诉我们：时间是智能的秘密武器。对于AI开发者来说，CTM不仅是一个新模型，更是一种新思路。它提醒我们，生物大脑还有很多宝藏值得挖掘。

Continuous Thought Machine（CTM）是一场时间与智能的革命。它通过神经元级时间处理和同步机制，让AI从静态计算迈向动态思考。从迷路中的智者到图像中的思考者，再到动态环境中的决策者，CTM以其解释性和灵活性重塑了AI的边界。Sakana AI的这一探索，不仅为AI注入了生物学的智慧，也为智能的未来指明了方向。如同神经元在时间的旋律中同步共鸣，CTM点亮了通往通用智能的道路。让我们期待，这台持续思考的机器将如何继续演绎，引领我们探索智能的无限可能。

Continuous Thought Machine（CTM）是一场关于时间与思考的革命。它通过引入神经元活动的时间信息和同步机制，让AI不再是冷冰冰的计算机器，而是像生物大脑一样，逐步推理、灵活适应的“思考者”。从迷宫中的探路者到图像中的凝视者，CTM展现了令人叹服的解解释性和类人行为。Sakana AI的这一尝试，不仅为AI注入了生物学的灵感，也为神经科学与计算科学的融合打开了大门。正如萤火虫的同步闪烁点亮了夜空，CTM的神经元同步或许将照亮智能的未来。

在。

在硅谷，AI大模型（LLM）的崛起为芯片设计带来了便利，但也引发了版权风险。AI生成的Verilog代码可能包含未经授权的版权内容，导致法律纠纷。为解决这一问题，研究团队创建了FreeSet，一个经过严格筛选的开源Verilog数据集，确保代码的合法性和原创性。通过自动化爬取、版权过滤和语法检查，FreeSet成为目前最大、最干净的Verilog数据集。基于此，团队训练了FreeV模型，显著提升了Verilog生成的功能性，同时大幅降低了侵权风险。未来，团队计划进一步扩展数据集并优化训练策略，推动AI芯片设

康涅狄格大学的研究揭示了在资源受限环境下高效微调大型语言模型（LLM）的新方法。传统训练中，数据通常以总令牌数衡量，忽略了样本数量与长度的构成对模型性能的影响。研究提出了一种新的微调缩放定律，将数据集体积定义为样本数量与平均长度的乘积，并通过实验验证了优化数据构成能显著提升模型性能。实验表明，在相同令牌总量下，更多短样本或平衡样本组合优于少量长样本。这一发现为资源有限的实践者提供了优化模型性能的新策略，未来有望扩展到量化与参数高效微调等领域，推动人工智能技术的进一步发展。

在人工智能领域，智能体（AI Agents）通过对话流（Chatflow）和工作流（Workflow）的协同工作，实现了人机交互与任务执行的无缝衔接。对话流负责与用户进行多轮对话，理解意图并生成回复，而工作流则处理后台的复杂任务，如库存查询、支付扣款等。两者的结合不仅提升了AI的实用性，还满足了“人在回路”的需求，确保人类能够随时干预和反馈。通过智能体开发平台如n8n和Dify的支持，开发者可以高效构建兼具智能交互与复杂业务处理能力的代理，真正实现AI的“全能”。

在人工智能领域，强化学习（Reinforcement Learning, RL）是一种让智能体通过与环境的交互来学习如何做出决策的方法。它的核心在于智能体通过尝试不同的行动并观察其带来的后果（收益或损失），从而学习到最优的行为策略。这种方法在游戏、机器人控制、自动驾驶等领域有着广泛的应用。与之形成鲜明对比的是CFL（Consequential Fear of Loss），这是一种行为决策的心理机制，强调个体对于不采取行动可能带来的后果的担忧。

多智能体协作系统（Multi-Agent Systems）在人工智能领域展现出解决复杂问题的巨大潜力。LeapLabTHU 的 Cooragent 项目通过基于模板的智能体设计，提供了一种高效、灵活的管理方案。Cooragent 的核心在于使用 Markdown 文件作为智能体模板，定义了智能体的角色、任务、执行步骤和注意事项。这些模板通过 template.py 文件动态生成系统提示，结合智能体状态，驱动智能体执行任务。Agent 类封装了智能体的关键信息，而 AgentManager 则负责智能体的生命

从最初对通用人工智能（AGI）的朦胧憧憬，到如今Cooragent框架的惊艳亮相，我们正亲眼见证着智能体技术从遥不可及的实验室走向大众的关键一步。清华大学LeapLab团队以其深厚的技术积淀和前瞻的开源精神，为我们献上了一份厚礼。它用**“一句话生成智能体”**的魔法，让我们摆脱了对繁琐Prompt和复杂代码的依赖，使得AI的创造权真正掌握在了每一个用户手中。它以和两大模式为双翼，赋予了智能体独立思考和团队协作的强大能力，能够从容应对从简单查询到复杂项目策划的各种挑战。它坚持本地化部署。

《Vibe Coding: Higher Quality Code》一文提出了“氛围编程”（Vibe Coding）的概念，强调团队氛围对代码质量的深远影响。文章指出，高质量的代码往往诞生于积极、开放、互信的团队环境中，而非仅仅依赖严格的流程和工具。Vibe Coding的三大支柱包括心理安全感、开放的沟通和共同的目标感。通过营造心理安全区、建立高效沟通机制和制定灵活的规范，团队可以显著提升代码质量、减少bug、提高成员满意度。文章还通过数据和案例展示了Vibe Coding的实际成效，并展望了其在未来远程

大型语言模型（LLMs）在人工智能领域展现出卓越的才华，但其知识体系存在时效性和真实性的瓶颈，制约了实际应用的可靠性。为弥补这一短板，研究者探索了检索增强生成（RAG）等技术，但面临高昂成本和噪声干扰的挑战。阿里巴巴通义实验室提出创新解决方案ZeroSearch，通过训练一个“模拟搜索引擎LLM”为学员LLM提供模拟搜索环境，摆脱对商业搜索引擎API的依赖，并精准调控训练数据质量。ZeroSearch框架包括监督微调和强化学习两个阶段，通过精心设计的提示和优化目标，训练学员LLM在模拟环境中高效检索信息并找

Fish Speech 项目作为一个开源的语音合成解决方案，不仅为开发者提供了强大的工具，也为语音合成技术的发展注入了新的活力。通过融合多项先进技术，Fish Speech 展现了开源社区的创新力量。随着项目的不断完善和社区的持续支持，我们有理由相信，Fish Speech 将在语音合成领域发挥越来越重要的作用，为人机交互的未来开辟新的可能性。

例如，许多模型在处理复杂的多事件描述时，生成的音频可能遗漏某些事件，甚至出现“幻觉”——生成未提及的、不相关的声音。TANGOFLUX通过创新的流匹配框架和CRPO优化策略，成功实现了高效、精确的文本到音频生成。在这个充满声音和旋律的世界里，音频不仅是沟通的桥梁，更是讲述故事、传递情感的重要媒介。VAE的作用是将高维的音频数据压缩为低维的潜在空间表示，便于后续的生成任务。技术的兴起，为这一领域带来了革命性的变化：通过简单的文本描述，便可自动生成多样化且富有表现力的音频内容。对音频数据进行编码。

🎥 在过去的几年中，扩散模型在图像合成领域取得了显著的成果。然而，随着研究的深入，科学家们开始将注意力转向更具挑战性的任务——视频生成。毕竟，视频可以视为一系列图像的集合，而生成视频的要求比单帧图像更复杂，因为它需要在时间上保持一致性，并且需要对世界知识有更深的理解。

Mamba 是一种基于结构化状态空间模型（Structured State Space Models，S4）的创新架构。它在保持线性时间复杂度的同时，展现出了与 Transformer 相媲美的性能，特别是在语言建模等信息密集型任务上。Mamba 的核心优势在于其高效的硬件感知设计和实现，这在很大程度上借鉴了 FlashAttention 的精神。

在当今信息爆炸的时代，如何为用户提供精准的新闻推荐已成为一个亟待解决的难题。NPA（Neural News Recommendation with Personalized Attention）模型应运而生，旨在通过个性化的注意力机制，提升用户的阅读体验。NPA的核心在于两个模型：新闻表示模型和用户表示模型。

大型语言模型拥有强大的自然语言处理能力，展现出自主性、反应性、主动性和社会能力等关键特征，使其成为构建 AI 智能体大脑的理想选择。未来，随着 LLM 技术的不断发展，基于 LLM 的智能体将更加强大，为我们带来更加智能、便捷和充满希望的未来。