<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[周博洋的博客]]></title><description><![CDATA[MSAI]]></description><link>https://blog.youkuaiyun.com/kingsoftcloud</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; kingsoftcloud]]></copyright><item><title><![CDATA[Deepseek的新论文Engram]]></title><link>https://blog.youkuaiyun.com/kingsoftcloud/article/details/156915350</link><guid>https://blog.youkuaiyun.com/kingsoftcloud/article/details/156915350</guid><author>kingsoftcloud</author><pubDate>Tue, 13 Jan 2026 23:30:43 +0800</pubDate><description><![CDATA[一句话定义 Engram = 一个“现代版 N-gram 查表模块”，用 O(1) 的代价，把局部、静态语言模式直接查出来，它不是外挂检索（不是 RAG），也不是 KV-Memory，而是一个和 MoE 平级的、结构性模块。（这话我觉得其实没必要强调）2017年的时候meta（但是叫facebook）搞出来fasttext（为啥又谈这个呢，因为虽然叫Engram，但是和N-gram离得远和Fasttext-style的字片段 embeding方法离得近）传统 N-gram 根本不知道它们是同义。]]></description><category></category></item><item><title><![CDATA[2026年第一篇给了Deepseek的新论文mHC]]></title><link>https://blog.youkuaiyun.com/kingsoftcloud/article/details/156491813</link><guid>https://blog.youkuaiyun.com/kingsoftcloud/article/details/156491813</guid><author>kingsoftcloud</author><pubDate>Thu, 01 Jan 2026 21:44:03 +0800</pubDate><description><![CDATA[把残差从 1 路扩到 n 路后，你等于是获得了一个n维的“跨层状态空间”：每一层不仅可以修改当前的状态，还可以通过H_res重新组合这 n 条流；信息在不同层之间可以走很多不同路径，而不是一刀切地走同一条主干。举个类比（粗糙但好理解）：标准 residual = 一个“笔直的大走廊”，每层是沿着走廊布置一个小工作间，每层都往同一条走廊上贴东西；n-stream residual = 有 n 条并联的走廊，每层可以决定：这种结构允许：一些信息在某几条流里多绕几圈再汇合；]]></description><category></category></item><item><title><![CDATA[从MAE到C-Eval（2）]]></title><link>https://blog.youkuaiyun.com/kingsoftcloud/article/details/156365947</link><guid>https://blog.youkuaiyun.com/kingsoftcloud/article/details/156365947</guid><author>kingsoftcloud</author><pubDate>Sun, 28 Dec 2025 20:39:12 +0800</pubDate><description><![CDATA[真实标签分布 =p（one‑hot 或经验频率，可以当“真分布”），比如LLM其实就是one-hot，不是在embedding的时候而是在词表V推理（sotamax概率）的时候其实就是一个one-hot，几万十几万的词表，只有那个词被推理出来，它是1，别人是0。这个系列好久没更了，当时停更是因为没有阅读量，但是我现在其实也不为了阅读量了，愿意写啥，写啥，所以就把这个系列又捡起来了（我之前留的所有坑，每个系列也都会填上的）它的熵H(p) = 用分布p自己的概率，去算“平均每次观察一个样本，带来的信息量”。]]></description><category></category></item><item><title><![CDATA[Multi-Agents design中的分发意图强化]]></title><link>https://blog.youkuaiyun.com/kingsoftcloud/article/details/156116054</link><guid>https://blog.youkuaiyun.com/kingsoftcloud/article/details/156116054</guid><author>kingsoftcloud</author><pubDate>Sat, 20 Dec 2025 20:44:00 +0800</pubDate><description><![CDATA[这周去字节的火山大会溜达，和字节的哥们儿（曾经我的客户）brain-storming了很久，他们的一个意图强化design我觉得可以用在multi-agents desgin上，所以写下这篇文章。先说问题这其实是rag系统的问题传统rag就基本流程，文章切chunk，chunk被向量化，查询基于问题的向量化，与vector db里的向量做余弦距离的对比，找出top-K的进到候选名单，再过精排rerank得到最终的几个top-J的 chunks，一起放进LLM来生成答案回复给客户但是这里有个问题，你切完的东西]]></description><category></category></item><item><title><![CDATA[草履虫也能学会的强化学习系列（7）]]></title><link>https://blog.youkuaiyun.com/kingsoftcloud/article/details/156063947</link><guid>https://blog.youkuaiyun.com/kingsoftcloud/article/details/156063947</guid><author>kingsoftcloud</author><pubDate>Thu, 18 Dec 2025 22:47:20 +0800</pubDate><description><![CDATA[相反，轮到你走棋时（即你在当前状态下），你会向前思考几步（向前搜索），评估各种可能的走法（动作）会导致什么样的局面（未来状态），以及这些局面最终可能带来的结果（价值/奖励），然后选择当前看起来最好的一步棋。但是，我们也可以在基于模型（Model-Based）的框架下使用蒙特卡洛的思想。它指的是一种在线规划（Online Planning）的策略：当需要做决策时，从当前状态出发，利用一个环境模型来模拟（“向前看”）未来的可能性，构建一个局部的搜索树，评估不同初始动作的价值，然后选择最好的那个动作。]]></description><category></category></item><item><title><![CDATA[你真的看懂了nested learning？（1）]]></title><link>https://blog.youkuaiyun.com/kingsoftcloud/article/details/155677694</link><guid>https://blog.youkuaiyun.com/kingsoftcloud/article/details/155677694</guid><author>kingsoftcloud</author><pubDate>Sun, 07 Dec 2025 20:47:44 +0800</pubDate><description><![CDATA[2-模型context都是有上限的，你可能一直输入信息吗，这个是永远不可能的（别谈周期性信息压缩，因为不只你能想到，信息压缩的同时，信息精确度也会打折扣），而且信息输入的越多，越会碰到大海捞针的逻辑，同时因为标准transformer的推理消耗算力是O^2（也别跟我谈linerattion，因为linerattention也不代表没上限），最后你的钱包也受不了（大多数推理模型虽然标识1个M2个M的上下文窗口，但是你超过200K 以后收费直接加倍甚至更高）]]></description><category></category></item><item><title><![CDATA[Deepseek math V2的价值]]></title><link>https://blog.youkuaiyun.com/kingsoftcloud/article/details/155395490</link><guid>https://blog.youkuaiyun.com/kingsoftcloud/article/details/155395490</guid><author>kingsoftcloud</author><pubDate>Sat, 29 Nov 2025 21:10:55 +0800</pubDate><description><![CDATA[在最后两次训练迭代中完全取代了人工标注，实现了在验证计算规模扩大下，持续为验证器创建新的训练数据，从而进一步改进验证器，因为生成器是验证器的儿子，所以生成器也越来越厉害，生成器生成的数据被自动标签流成给送到验证器去了，验证器又强了，强了以后又是下一个迭代的更厉害的生成器了，循环往复。但是，对于老师给题打的分数对应的评语，教委的逻辑是很简单的，就像让你做题你做不出来，但是让你给别人的论调里挑错，你又积极，又能找出问题所在，一旦元验证（教委的能力）发现老师这评语都开始乱写了，那么就到了升级老师的时候。]]></description><category></category></item><item><title><![CDATA[草履虫也能学会的强化学习系列（6）]]></title><link>https://blog.youkuaiyun.com/kingsoftcloud/article/details/154280800</link><guid>https://blog.youkuaiyun.com/kingsoftcloud/article/details/154280800</guid><author>kingsoftcloud</author><pubDate>Sun, 02 Nov 2025 10:38:25 +0800</pubDate><description><![CDATA[上节课我们讲了Q-learning，为啥讲Q-learning，是因为讲了好久RL，但是看的同学不多，所以我就想通过demo能给大家更具象的认识一个基本的RL到底干了啥。上次我们介绍了无模型的一个方法，就是Q-learning，这次我们介绍些有模型的方法（后面有模型，无模型穿插着讲吧，因为难度确实不一样）好的，这章先到这里，我们下次见（我发现重写一遍也是对我原来书稿的另一个维度的打磨，从这个角度上来看，我做这个工作还是有意义的）通过与环境的交互，学习并构建上述的环境模型 (包括转移模型和奖励模型)。]]></description><category></category></item><item><title><![CDATA[又有人来问MOE和Dense模型到底差哪了？]]></title><link>https://blog.youkuaiyun.com/kingsoftcloud/article/details/152209792</link><guid>https://blog.youkuaiyun.com/kingsoftcloud/article/details/152209792</guid><author>kingsoftcloud</author><pubDate>Sun, 28 Sep 2025 10:45:28 +0800</pubDate><description><![CDATA[那必然是没省，因为你整个参数扩大了，对于transformer模型来讲最大头的参数肯定是MLP，也就是你放大了几倍的参数，weight显存，你占定了，同样的激活，原来我激活一个mlp，哪怕你是最简单的8 experts only激活2个，那也是2倍一样的激活显存，这个不管训练还是推理，你都要投入对应的显存容量来fulfill。MoE 版显著减少了层数。如果随便答，其实什么推理省显存，简单的道理，因为activation 少了么，原来要激活整个MLP，现在激活的几个expert之类的云答案，这种很好找的。]]></description><category></category></item><item><title><![CDATA[Murati的thinking machines的论文到底讲了什么]]></title><link>https://blog.youkuaiyun.com/kingsoftcloud/article/details/151689645</link><guid>https://blog.youkuaiyun.com/kingsoftcloud/article/details/151689645</guid><author>kingsoftcloud</author><pubDate>Sun, 14 Sep 2025 21:54:44 +0800</pubDate><description><![CDATA[这几周比较忙，也没看啥也没写啥（主要在打街霸6的天梯），但是这个论文我扫了一眼还是有价值的，所以给大家解读一下这个论文：https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/其实对于这个解决了什么问题，没那么抽象比如让gpu算一个浮点数，基本算几次可能结果都不一样。浮点数最后影响了概率，概率分布和采样影响了你从tokenzier取哪些字吐给客户端。]]></description><category></category></item><item><title><![CDATA[草履虫也能学会的强化学习系列（4）]]></title><link>https://blog.youkuaiyun.com/kingsoftcloud/article/details/150453197</link><guid>https://blog.youkuaiyun.com/kingsoftcloud/article/details/150453197</guid><author>kingsoftcloud</author><pubDate>Sat, 16 Aug 2025 22:45:58 +0800</pubDate><description><![CDATA[它的意义为，一个状态-行动对 (s, a) 的最优价值，等于所有可能的下一个状态 s' 的最优价值的期望值，而下一个状态的最优价值，是通过在下一个状态选择 最优行动 来达成的。一个状态-行动对 (s, a) 的价值，等于所有可能的下一个状态 s' 的价值的期望值，而下一个状态的价值又取决于策略 π 在该状态下选择不同行动的概率以及这些行动对应的动作价值。贝尔曼方程通过期望处理这种不确定性。这个方程表明，某个状态的价值等于所有可能动作的加权平均，每个动作的价值又依赖于转移到下一状态的奖励和未来状态的价值。]]></description><category></category></item><item><title><![CDATA[草履虫也能学会的强化学习系列（3）]]></title><link>https://blog.youkuaiyun.com/kingsoftcloud/article/details/149887229</link><guid>https://blog.youkuaiyun.com/kingsoftcloud/article/details/149887229</guid><author>kingsoftcloud</author><pubDate>Sun, 03 Aug 2025 22:42:51 +0800</pubDate><description><![CDATA[动作价值函数 Qπ(s,a) 是指从状态 s 开始，先采取动作 a  ，然后继续遵循策略 π，能获得的期望总回报。它告诉我们，在某个状态下，某个具体动作值不值得做，比如在迷宫中，是向前走好还是转向好。状态价值函数 Vπ(s) 是指从某个状态 s 开始，代理按照策略 π 行动，未来能获得的期望总回报。强化学习的最终目标是让代理学会一个策略π(s,a)（policy），即从观察到行动的映射，使得代理能够在长期内最大化累积奖励。在 MDP 中，总回报通常是折扣的，以确保未来奖励的重要性逐渐减少。]]></description><category></category></item><item><title><![CDATA[Anthropic最新研究Persona vector人格向量]]></title><link>https://blog.youkuaiyun.com/kingsoftcloud/article/details/149865067</link><guid>https://blog.youkuaiyun.com/kingsoftcloud/article/details/149865067</guid><author>kingsoftcloud</author><pubDate>Sat, 02 Aug 2025 22:07:59 +0800</pubDate><description><![CDATA[这篇论文的核心是提出并验证了一种名为“人格向量”（Persona Vectors）的新技术。该技术旨在识别、监控和控制大型语言模型（LLM）内部代表特定“人格特质”（如“邪恶”、“谄媚”或“产生幻觉”）的特定神经网络活动模式。简单来说，Anthropic 找到了一种方法，可以像在大脑中定位特定功能区域一样，在 AI 的“大脑”(其实就是众多神经元的激活向量)中找到控制其性格的“开关”，从而实现对 AI 行为更精确、更可预测的控制，推动 AI 安全从文科和宗教走向理科和科学。]]></description><category></category></item><item><title><![CDATA[草履虫也能学会的强化学习系列（2）]]></title><link>https://blog.youkuaiyun.com/kingsoftcloud/article/details/149856180</link><guid>https://blog.youkuaiyun.com/kingsoftcloud/article/details/149856180</guid><author>kingsoftcloud</author><pubDate>Sat, 02 Aug 2025 10:57:31 +0800</pubDate><description><![CDATA[例如，如果代理选择“上 (UP)”，则向上移动的概率为 0.8，而向左移动的概率为 0.1，向右移动的概率为 0.1（因为左和右与上是直角方向）。然而，在某些上下文中，奖励函数也可以定义为R(s, a, s’)，表示从状态s通过动作a转移到s’后的奖励，这取决于具体问题设置。A是动作空间，可能在每个状态s下有不同的可用动作集合A_s。状态S（States）：系统可能处于的所有情况或配置，例如在一个网格世界中，状态可以是代理所在的网格位置, S是状态空间，可能离散（如整数集）或连续（如实数集）。]]></description><category></category></item><item><title><![CDATA[Agentic-R1 与 Dual-Strategy Reasoning]]></title><link>https://blog.youkuaiyun.com/kingsoftcloud/article/details/149490737</link><guid>https://blog.youkuaiyun.com/kingsoftcloud/article/details/149490737</guid><author>kingsoftcloud</author><pubDate>Sun, 20 Jul 2025 22:48:51 +0800</pubDate><description><![CDATA[这样一整条轨迹，前半部分是文本逐步思考，后半通过代码调用计算器给出答案，中间通过"Wait, ..."人工转场语句衔接。论文的“轨迹拼接”过程，就是通过类似的例子，组合出多样推理路径，让学生模型通过蒸馏学会什么时候切换、怎么切换。这让模型既知道遇到算术/复杂题可以用工具，也明白纯文本推理论证也不可少，更能融合两者优点。第二个问题如何定义数据。]]></description><category></category></item><item><title><![CDATA[用Dynamic chunk去干掉tokenizer？]]></title><link>https://blog.youkuaiyun.com/kingsoftcloud/article/details/149469263</link><guid>https://blog.youkuaiyun.com/kingsoftcloud/article/details/149469263</guid><author>kingsoftcloud</author><pubDate>Sat, 19 Jul 2025 19:45:50 +0800</pubDate><description><![CDATA[总结一下就是其实就是encoder+dc做了tokenizer的事了，然后上采样+decoder做了softmax到词表的logit这么一上图就没那么抽象了，至于主干那块其实愿意用trasformer还是ssm，或者mamba甚至混着来（现在不都流行这样吗，隔一层一遍，确实能省掉一部分因为指数注意力造成的算力压力），就看你想怎么折腾了A. 语言建模主任务（英文+多语言）]]></description><category></category></item><item><title><![CDATA[蒸馏出个MCP工具箱]]></title><link>https://blog.youkuaiyun.com/kingsoftcloud/article/details/149132309</link><guid>https://blog.youkuaiyun.com/kingsoftcloud/article/details/149132309</guid><author>kingsoftcloud</author><pubDate>Sat, 05 Jul 2025 09:23:46 +0800</pubDate><description><![CDATA[这一步将同一功能组内的所有工具实现合并为一个统一的版本，包括参数统一、验证和文档化，最终生成一个可用于生产的 FastMCP 兼容的 Python 文件。模型-上下文-协议 (MCP) 的直接复用：AgentDistill 的核心思想是直接复用由教师代理自主生成的模块化、可复用的模型-上下文-协议（MCP）。*   这些 MCP 会经过一个 MCP-Box 构建过程，包括抽象（移除特定示例的短语，使其参数化和可复用）、聚类（按功能分组）和整合（将功能相似的工具实现合并为通用版本）。]]></description><category></category></item><item><title><![CDATA[RLVR来做Agent任务能力增强训练]]></title><link>https://blog.youkuaiyun.com/kingsoftcloud/article/details/148997299</link><guid>https://blog.youkuaiyun.com/kingsoftcloud/article/details/148997299</guid><author>kingsoftcloud</author><pubDate>Sun, 29 Jun 2025 13:55:49 +0800</pubDate><description><![CDATA[提供给智能体的一系列可用函数，如网页搜索、文件查看器等。]]></description><category></category></item><item><title><![CDATA[当我们说Self-learning，其实是在说什么？]]></title><link>https://blog.youkuaiyun.com/kingsoftcloud/article/details/148984862</link><guid>https://blog.youkuaiyun.com/kingsoftcloud/article/details/148984862</guid><author>kingsoftcloud</author><pubDate>Sun, 29 Jun 2025 00:39:07 +0800</pubDate><description><![CDATA[如果说自监督学习的核心是“从数据中学习表示”，那么元学习（Meta-Learning）则将学习的层次提升了一级，其核心是“学习如何去学习”（learning to learn）。它并非致力于精通某一项特定任务，而是旨在掌握一种通用的学习策略，使得模型在面对一个全新的、未曾见过的任务时，能够仅凭极少量的样本就快速适应并达到良好性能。]]></description><category></category></item><item><title><![CDATA[为什么用Qwen3 embedding和rerank]]></title><link>https://blog.youkuaiyun.com/kingsoftcloud/article/details/148833066</link><guid>https://blog.youkuaiyun.com/kingsoftcloud/article/details/148833066</guid><author>kingsoftcloud</author><pubDate>Sun, 22 Jun 2025 21:32:05 +0800</pubDate><description><![CDATA[它这个也和传统的rerank不一样，传统的单塔rerank一般是最后一层liner输出个logit，但是它是用system prompt来让rerank模型生成yes|no，然后输出yes的概率得分，（score = P("yes") / (P("yes") + P("no"))包括为了兼容这块你最好还要做padding的左移，总之现有的代码你想用，是要进行变更的。用户提出了一个口语化的问题，你不希望直接从那些冗长的答案中查找，而是希望先找到与用户问题最相似的“标准问题”，再把相应的标准答案返回给用户。]]></description><category></category></item></channel></rss>