<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Han_L的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Han_L</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Han_L]]></copyright><item><title><![CDATA[【文献阅读 ICLR 2026】LLMs get lost in multi-turn conversation]]></title><link>https://blog.youkuaiyun.com/Han_L/article/details/166737892</link><guid>https://blog.youkuaiyun.com/Han_L/article/details/166737892</guid><author>Han_L</author><pubDate>Sun, 27 Sep 2026 16:51:04 +0800</pubDate><description><![CDATA[本文通过大规模模拟实验揭示，大语言模型在多轮不充分对话中性能平均下降39%，远低于单轮表现。研究发现，性能衰退源于能力小幅下降与不可靠性显著上升，核心原因是模型易在对话初期过早生成答案并过度依赖错误假设，陷入“对话迷失”困境。作者提出分片模拟框架，验证了即使仅两轮对话也导致性能下滑，并建议开发者优先保障多轮交互稳定性。]]></description><category></category></item><item><title><![CDATA[RL算法学习：ArgMaxRL]]></title><link>https://blog.youkuaiyun.com/Han_L/article/details/165491947</link><guid>https://blog.youkuaiyun.com/Han_L/article/details/165491947</guid><author>Han_L</author><pubDate>Tue, 15 Sep 2026 22:39:40 +0800</pubDate><description><![CDATA[ArgMaxRL将MaxRL扩展至连续奖励场景，提出以best@k（k次采样中最大奖励的期望）为核心目标。通过尾和公式，将连续奖励问题分解为一系列阈值τ下的二元pass@k问题，利用MaxRL梯度估计器在各阈值上求解，并积分整合，实现对连续奖励的高效优化。该方法统一了二元与连续奖励学习，支持推理时扩展，显著提升复杂任务中的生成质量与多样性。]]></description><category></category></item><item><title><![CDATA[【文献阅读 ICML 2026 Oral】RL算法：MAXRL]]></title><link>https://blog.youkuaiyun.com/Han_L/article/details/164340994</link><guid>https://blog.youkuaiyun.com/Han_L/article/details/164340994</guid><author>Han_L</author><pubDate>Fri, 04 Sep 2026 08:30:00 +0800</pubDate><description><![CDATA[MaxRL提出最大似然强化学习框架：在正确性判定任务中，标准RL仅是隐式最大似然的一阶近似。通过pass@k展开构造算力索引目标族，在期望奖励与精确ML间插值，增加采样可逼近更高阶ML目标。实验显示MaxRL相对RLOO、GRPO有帕累托优势，数学推理测试时扩展效率最多提升20倍。]]></description><category></category></item><item><title><![CDATA[【文献阅读】边缘MoE推理系统：FreeToken]]></title><link>https://blog.youkuaiyun.com/Han_L/article/details/164188026</link><guid>https://blog.youkuaiyun.com/Han_L/article/details/164188026</guid><author>Han_L</author><pubDate>Sun, 30 Aug 2026 12:56:37 +0800</pubDate><description><![CDATA[FreeToken 用"全层双缓冲 prefill + 语义锚点状态检查点 + LRU 专家缓存 + q⋆ = m·B_P/B_H 的带宽自适应 CPU/GPU 缺失划分 + 运行时弹性显存重配置 + FTW 快速启动"这一整套协同设计，让消费者级硬件能以交互速度服务此前只有数据中心才能跑的前沿 MoE 模型。]]></description><category></category></item><item><title><![CDATA[实操笔记：虚拟化平台修复]]></title><link>https://blog.youkuaiyun.com/Han_L/article/details/164096303</link><guid>https://blog.youkuaiyun.com/Han_L/article/details/164096303</guid><author>Han_L</author><pubDate>Wed, 26 Aug 2026 21:09:51 +0800</pubDate><description><![CDATA[【代码】实操笔记：虚拟化平台修复。]]></description><category></category></item><item><title><![CDATA[【文献阅读 ICLR 2026】RL算法：DECS]]></title><link>https://blog.youkuaiyun.com/Han_L/article/details/163958483</link><guid>https://blog.youkuaiyun.com/Han_L/article/details/163958483</guid><author>Han_L</author><pubDate>Sat, 22 Aug 2026 00:28:37 +0800</pubDate><description><![CDATA[摘要： DECS提出了一种新框架，通过解耦奖励和课程数据调度解决大模型推理中的"过度思考"问题。传统方法对推理长度进行惩罚时，由于轨迹级奖励与token级优化的不匹配，常导致必要探索性token被错误抑制或冗余token被无意强化。DECS的创新在于：(1) token级奖励解耦机制，精准区分并惩罚冗余token；(2) 课程批量调度策略，平衡训练效率与效果。实验表明，该方法在7个基准测试中能将推理token减少50%以上，同时保持或提升模型性能，验证了其在提升推理效率方面的有效性，且不损害模型推理能力。 ]]></description><category></category></item><item><title><![CDATA[【文献阅读 ICLR 2026】RL算法：Co-Rewarding]]></title><link>https://blog.youkuaiyun.com/Han_L/article/details/163675168</link><guid>https://blog.youkuaiyun.com/Han_L/article/details/163675168</guid><author>Han_L</author><pubDate>Tue, 11 Aug 2026 20:47:18 +0800</pubDate><description><![CDATA[本文提出的 Co-rewarding 是一种稳定自监督强化学习框架，旨在解决大语言模型自奖励训练中的崩溃问题。它通过两种并行方案打破单一视角监督：数据侧（Co-rewarding-I）对同一问题生成语义等价改写，让原问题与改写问题互相监督，迫使模型掌握问题本质；模型侧（Co-rewarding-II）引入缓慢更新的教师模型，提供与当前策略解耦的稳定监督信号。两者结合的 Co-rewarding-III 进一步增强了抗投机能力。]]></description><category></category></item><item><title><![CDATA[【文献阅读 ICLR 2026】RL+上下文激励：MeRF]]></title><link>https://blog.youkuaiyun.com/Han_L/article/details/163675118</link><guid>https://blog.youkuaiyun.com/Han_L/article/details/163675118</guid><author>Han_L</author><pubDate>Tue, 11 Aug 2026 20:38:38 +0800</pubDate><description><![CDATA[本文提出了一种名为MeRF（Motivation-enhanced Reinforcement Finetuning）的新方法，通过在强化微调过程中向Prompt中注入自然语言描述的奖励函数作为上下文激励，显著提升了大型推理模型的训练效率和性能。该方法利用LLM的上下文学习能力，使模型在生成时就能明确优化目标，避免了传统RLVR方法中因奖励空间稀疏导致的探索不足问题。实验在逻辑推理（K&K Puzzles）、数学推理（MATH Benchmarks）和数值推理（CountDown）任务上验证了MeRF的有效]]></description><category></category></item><item><title><![CDATA[【学习笔记】web3库的基础使用]]></title><link>https://blog.youkuaiyun.com/Han_L/article/details/163514669</link><guid>https://blog.youkuaiyun.com/Han_L/article/details/163514669</guid><author>Han_L</author><pubDate>Thu, 06 Aug 2026 00:08:50 +0800</pubDate><description><![CDATA[摘要 本文介绍了使用Python库web3.py与以太坊区块链交互的方法。主要内容包括： 配置：详细说明了三种Provider连接方式（测试/本地/远程节点）和中间件机制，包括连接设置和中间件管理。 API接口：涵盖基础工具函数和web3.eth核心功能，如数据查询、交易发送等操作。 智能合约：讲解合约部署和交互流程，包括编译、实例化和方法调用。 文章提供了代码示例，适合开发者快速上手web3.py开发去中心化应用。]]></description><category></category></item><item><title><![CDATA[【文献阅读 ICML 2026】形式化问题求解框架：FPS]]></title><link>https://blog.youkuaiyun.com/Han_L/article/details/163480531</link><guid>https://blog.youkuaiyun.com/Han_L/article/details/163480531</guid><author>Han_L</author><pubDate>Tue, 04 Aug 2026 19:46:29 +0800</pubDate><description><![CDATA[本文提出了形式化问题求解（FPS）框架，通过将问题求解转化为构造性证明过程，实现了可验证的自动求解。研究首次建立了问题的严格形式化定义（四元组结构），并将求解过程建模为确定性马尔可夫决策过程。基于Lean 4定理证明器实现的FPS框架包含三个关键阶段：初始化证明目标、交互式策略应用和最终解提取。针对全解查找问题，进一步提出演绎式FPS（D-FPS），通过分离前向推导与后向验证提升可读性。论文还构建了新评估基准和RPE指标，为可验证自动求解提供了理论与实践范式，弥合了传统定理证明与开放问题求解之间的鸿沟。]]></description><category></category></item><item><title><![CDATA[【文献阅读 ICML 2026】LLM层程序（program-of-layers）学习方法：POLAR]]></title><link>https://blog.youkuaiyun.com/Han_L/article/details/163282843</link><guid>https://blog.youkuaiyun.com/Han_L/article/details/163282843</guid><author>Han_L</author><pubDate>Tue, 28 Jul 2026 22:41:58 +0800</pubDate><description><![CDATA[文章摘要 本文提出POLAR方法，通过动态调整大语言模型的层执行顺序（跳过/循环）来优化推理效率。研究发现：(1)联合使用跳跃和循环操作能获得最优性能；(2)多数有效程序比标准前向传播更短；(3)增加执行复杂度可提升困难任务的表现；(4)有效程序偏好连续层结构和简单循环。基于这些发现，作者提出通过轻量级预测模型直接生成执行程序，避免了昂贵的蒙特卡洛树搜索。实验表明，POLAR在数学推理任务上既提高了准确性，又减少了计算量，且能泛化到分布外数据。该方法为冻结模型提供了灵活的测试时计算扩展能力。]]></description><category></category></item><item><title><![CDATA[【文献阅读 ICML 2026】多Agent系统：OMAC]]></title><link>https://blog.youkuaiyun.com/Han_L/article/details/163001382</link><guid>https://blog.youkuaiyun.com/Han_L/article/details/163001382</guid><author>Han_L</author><pubDate>Sat, 18 Jul 2026 21:54:49 +0800</pubDate><description><![CDATA[此文提出OMAC框架，一种面向LLM多智能体协作系统的整体优化方法。通过定义智能体功能（优化现有/新建智能体）与协作结构（候选筛选/动态参与/通信流程）五个核心维度，构建了系统性的优化体系。框架包含两个关键组件：语义初始器生成多样化候选方案，对比比较器通过分析正负样本差异指导优化。算法支持单维度优化与多维度联合优化，后者采用迭代式维度轮换策略以避免变量混淆。实验表明OMAC在多种任务上优于现有方法，验证了其通过语义探索和对比推理实现系统级优化的有效性。该框架为多智能体系统的自动化设计与性能提升提供了通用解决]]></description><category></category></item><item><title><![CDATA[【文献阅读 ICML 2026】RL算法：R2VPO]]></title><link>https://blog.youkuaiyun.com/Han_L/article/details/162882660</link><guid>https://blog.youkuaiyun.com/Han_L/article/details/162882660</guid><author>Han_L</author><pubDate>Tue, 14 Jul 2026 22:20:59 +0800</pubDate><description><![CDATA[PPO和GRPO的Clip（裁剪）机制在当策略比率超出预设阈值时，梯度会被突兀截断。虽然保住了训练稳定性，但也丢失了许多“高散度但高价值”的探索样本，且历史数据一旦轻微过时便彻底失效。R2VPO的出发点是一个优美的数学发现（命题4.1）：当策略更新足够小（即策略比率 ρ→1）时，复杂的f-散度存在二阶泰勒近似——策略散度直接等价于策略比率的方差！因此只要管住比率的方差，就能在局部完美管住策略散度。]]></description><category></category></item><item><title><![CDATA[【文献阅读 ICML 2026】RL算法：Critique-GRPO]]></title><link>https://blog.youkuaiyun.com/Han_L/article/details/162673108</link><guid>https://blog.youkuaiyun.com/Han_L/article/details/162673108</guid><author>Han_L</author><pubDate>Tue, 07 Jul 2026 20:38:31 +0800</pubDate><description><![CDATA[ICML 2026《Advancing LLM Reasoning with Natural Language and Numerical Feedback》提出了Critique-GRPO框架。其核心创新在于将自然语言反馈（NLF）无缝融入在线强化学习，实现了从“打分”到“点评”的进化，让模型同时从“语言指导”和“数值奖励”中学习。]]></description><category></category></item><item><title><![CDATA[【文献阅读】BunnyFinder：探寻以太坊共识机制中的激励机制漏洞]]></title><link>https://blog.youkuaiyun.com/Han_L/article/details/162607074</link><guid>https://blog.youkuaiyun.com/Han_L/article/details/162607074</guid><author>Han_L</author><pubDate>Sun, 05 Jul 2026 16:10:03 +0800</pubDate><description><![CDATA[BunnyFinder由4个部分组成：策略生成器SG、策略执行器SE、状态分析器SA、策略优化器SO,分2个阶段运行。攻击识别（Attack identification）:策略生成器SG生成攻击实例集合，策略执行器SE将这些攻击引入本地部署的以太坊测试网，让一部分验证节点执行这些攻击；状态分析器SA收集日志并分析攻击实例是否揭示了激励缺陷。这三个组件是自动执行的。攻击优化（Attack optimization）：发现激励漏洞后，人工核查日志，区分已知类型或全新类型。]]></description><category></category></item><item><title><![CDATA[实操笔记：vscode+opencode+deepseek]]></title><link>https://blog.youkuaiyun.com/Han_L/article/details/162494340</link><guid>https://blog.youkuaiyun.com/Han_L/article/details/162494340</guid><author>Han_L</author><pubDate>Wed, 01 Jul 2026 18:26:51 +0800</pubDate><description><![CDATA[最近配置了一下vscode+opencode，非常简单，记录分享一下。]]></description><category></category></item><item><title><![CDATA[文献阅读：Google发布的LLM求解形式化数学证明的智能体框架LEAP]]></title><link>https://blog.youkuaiyun.com/Han_L/article/details/162431703</link><guid>https://blog.youkuaiyun.com/Han_L/article/details/162431703</guid><author>Han_L</author><pubDate>Mon, 29 Jun 2026 22:21:20 +0800</pubDate><description><![CDATA[文章提出LEAP，一套依托LLM完成形式化数学推理的智能框架，借鉴人类解题思路，先生成有向无环图DAG的证明规划，再基于规划生成Lean形式证明，并借助编译器反馈迭代修正证明中的错误。]]></description><category></category></item><item><title><![CDATA[文献阅读：隐式ICL方法ICR]]></title><link>https://blog.youkuaiyun.com/Han_L/article/details/162400429</link><guid>https://blog.youkuaiyun.com/Han_L/article/details/162400429</guid><author>Han_L</author><pubDate>Mon, 29 Jun 2026 01:40:32 +0800</pubDate><description><![CDATA[LLM通过ICL（在查询前插入少量标注示例作为上下文演示ICDs），使模型无需更新参数，即能够适应新任务，但传统ICL存在两大痛点：(1) 插入示例增加序列长度，导致推理成本剧增；(2) 性能脆弱，高度依赖示例的顺序和格式。另一种隐式ICL，将示例转化为向量注入模型内部缺乏理论支撑，且泛化能力差，无法迁移到未见过的领域（OOD）任务。基于此，论文提出ICR,提取跨任务ICL模式，利用路由器将其作为一个低秩权重组合进行合并，以任务自适应的方式引导注意力计算，实现“训练一次，到处复用”。]]></description><category></category></item><item><title><![CDATA[文献阅读：RL算法Tree-GRPO]]></title><link>https://blog.youkuaiyun.com/Han_L/article/details/162150799</link><guid>https://blog.youkuaiyun.com/Han_L/article/details/162150799</guid><author>Han_L</author><pubDate>Sat, 20 Jun 2026 18:42:33 +0800</pubDate><description><![CDATA[Tree-GRPO 利用树状分叉，将叶子节点的结果奖励回传，在分叉点自然形成偏好学习信号。在多轮 Agentic RL 中，LLM 需要通过“思考-动作-观测”的循环与环境交互来完成复杂任务。表明树内GRPO可以被解释为隐式地执行步级偏好优化，从而继承step-level DPO的关键属性。），系统通过扣除已有前缀的消耗来动态裁剪新分支，公式用于证明树搜索在期望意义下的高效性。，采用“initialize-then-expand”方法。个叶子节点的intra-tree GRPO 的。]]></description><category></category></item><item><title><![CDATA[文献阅读：The Stepwise Informativeness Assumption:Why are Entropy Dynamics and Reasoning Correlated in LL]]></title><link>https://blog.youkuaiyun.com/Han_L/article/details/162109644</link><guid>https://blog.youkuaiyun.com/Han_L/article/details/162109644</guid><author>Han_L</author><pubDate>Fri, 19 Jun 2026 00:34:44 +0800</pubDate><description><![CDATA[分步信息假设SIA：熵的动态情况和LLM的推理为什么相关？给定 token 序列：X1:K=(X1,…,XK)X_{1:K} = (X_1, \dots, X_K)X1:K​=(X1​,…,XK​),对于参数为θ\thetaθ的语言模型,一个完整序列的概率可按自回归方式分解为：
pθ(X1:K)=∏k=1Kpθ(Xk∣X<k)p_\theta(X_{1:K}) = \prod_{k=1}^K p_\theta(X_k \mid X_{<k})pθ​(X1:K​)=k=1∏K​pθ​(Xk​∣X<k​)
其中]]></description><category></category></item></channel></rss>