- 博客(54)
- 收藏
- 关注
RSS订阅原创 论文阅读笔记：Learning Multimodal Embeddings with Evidence-Aligned Readout
这篇论文最重要的贡献不是提出一种全新的对比损失，也不是简单地将多模态大模型接入向量检索，而是提出一种语义组织与表示读取位置协同设计的机制。它把原本分开的两个设计问题联系起来：生成模块决定模型需要组织哪些检索相关信息。读取模块依据生成出的语义边界，决定从哪些隐藏状态构造表示。通过对比学习，模型进一步学会让这些状态的聚合结果适合候选排序。这种设计保留了单向量索引的优点，同时利用生成阶段的结构信息改善表示构造。
2026-10-14 17:24:05
289
原创 【论文阅读】Verifiable Social Reasoning for LLM Assistants
注意被评测的LLM只会接收到这句话，完全不知道真实事件，LLM 需要去推测从Jorden口中的 Riley 的 motive，LLM可能会告诉这个假Jorden，说“人家完全对你没意思，死了这个心吧”。那这个社会事件模拟完了，我们构建的 user agent 就会假装 Jorden 和被评测的 LLM 进行交流，这个模拟 Jorden 的 user agent 由两个维度控制，一个是。但是这是用户特主观的询问，可能参杂了他的偏见和与现实情况不符合的信息，这种叫。为了能让模型get到这种隐藏的。
2026-09-22 17:35:18
288
原创 多轮对话中的“用户模拟器（User Simulator）”怎么构建？
在多轮对话研究里，它不是简单地让大模型写一句“我是一个用户”。真正的是一个能够：有自己的目标/意图（Goal / Intent）有自己的角色设定/用户画像（Persona / Personality）记住之前发生的事情，拥有记忆（Memory）在多轮交互中保持目标一致（Dialogue State）根据 Agent 当前回答决定下一句话（User Policy）的一个动态决策系统。用户模拟器的闭环决策流程用户模拟器本质上不是“一个 Prompt”，而是一个闭环的决策策略（policy）。
2026-09-09 19:19:04
805
原创 【LLM】大模型语言生成中的“复读问题”详解：原因、检测与解决方案
复读并不等于所有重复都是错误的。用户：什么是 Transformer？AI：Transformer 是一种基于注意力机制的神经网络架构。这里出现两次是正常的。模型在没有语义需求的情况下，高频重复已经生成过的 Token、短语、句子或者语义内容。因此可以把复读问题分成四个层级。可以把所有方法总结成四层。
2026-09-08 09:05:41
436
原创 检索与排序算法全面详解：从 TF-IDF、BM25、向量检索到 RRF、MMR、Learning to Rank
类别代表算法核心思想典型用途Boolean是否匹配基础搜索SparseTF-IDF词的重要程度文本检索SparseBM25TF 饱和 + IDF + 长度归一化搜索/RAGSparseBM25F多字段 BM25标题/正文搜索LM$P(Q|D)$传统 IRLMDFR偏离随机性传统 IRDenseEmbedding语义表示DenseDPR双编码器QA/RAGSimilarityCosine向量方向相似Similarity向量内积ANN。
2026-09-04 13:58:40
402
原创 深度学习损失函数详解：从 MSE、Cross Entropy 到 Dice、Focal、IoU、Contrastive Loss，一文掌握所有常见 Loss
在机器学习中，我们希望模型预测结果尽可能接近真实标签。因此定义一个函数：模型预测得有多差。也就是Loss 越小 ⇒ 预测结果越接近目标。训练过程就是不断调整模型参数其中：：输入：真实标签：模型预测，即：模型参数：损失函数Loss核心思想异常值MSE平方误差敏感MAE绝对误差鲁棒Smooth L1MSE + MAE鲁棒HuberMSE + MAE鲁棒Log-Cosh平滑 MAE较鲁棒不要死记公式。建议按照下面四个问题理解任何一个 Loss。
2026-09-03 16:43:42
495
原创 深度学习激活函数详解：从 Sigmoid、Tanh、ReLU 到 GELU、SiLU、Mish，一文掌握所有常用激活函数
ReLU6 最经典的应用之一是移动端网络，例如 MobileNet。限制最大值可以让激活值处于：这样的有限范围中，有利于某些低精度量化和移动端计算。
2026-09-03 10:12:06
931
原创 【多轮对话论文导读（九）】教育领域大模型多轮对话论文调研：看 LLM Tutor 如何真正实现“会教”而不是“会答”
本文围绕教育领域的展开调研，重点分析三个核心问题：教育多轮对话数据怎么构造？模型如何根据学生当前状态决定下一轮应该怎么教？如何评价一个模型“整段教学过程”是否优秀，而不是只看某一句回答？
2026-08-31 17:28:42
596
原创 【PEFT】参数高效微调（PEFT）技术详解：从原理到 LoRA/QLoRA 实战
关键词：PEFT、LoRA、QLoRA、Adapter、Prefix Tuning、Prompt Tuning、大模型微调。
2026-08-28 16:50:25
512
原创 【vLLM】vLLM 推理框架详解：从 PagedAttention 到生产级部署实战
显存利用率高：PagedAttention 将显存利用率从传统方案的 30% 左右提升到 85% 以上，内部/外部碎片基本消除；吞吐量大幅提升：连续批处理配合 PagedAttention，同等硬件下并发能力可提升数倍到数十倍；长上下文友好：分页式 KV Cache 管理天然适配长文档、长对话等超长上下文场景；生态成熟：无缝兼容 HuggingFace 模型库和 OpenAI API 协议，社区活跃，主流大模型（Llama、Qwen、DeepSeek 等）基本第一时间获得支持；部署门槛低。
2026-08-28 16:31:23
465
原创 【Qwen3.8-Flash-Next】技术总结：Qwen4 架构的“探路者“
2026 年 8 月 26 日，阿里通义千问团队在 ModelScope、Hugging Face 同步开源了。它并非一次常规的旗舰迭代，而是团队公开表示的"Qwen4 架构的实验性预览版"——继 Qwen3-Next 为 Qwen3.5～3.8 系列探路（混合 Gated DeltaNet + Gated Attention）之后，这一次团队把下一代架构又提前搬到了台面上，供社区在正式的 Qwen4 家族发布前先行验证。
2026-08-27 12:42:23
1619
原创 【uv环境管理】uv 环境管理详解：告别 pip + venv + conda 的时代
慢得像蜗牛，装个 PyTorch 能等出一杯咖啡；venvvirtualenvcondapyenvpoetry一堆工具混着用，光是"该用哪个"就要纠结半天；依赖冲突排查起来像破案，里版本对不上导致"在我电脑上能跑"；换台电脑，环境要重新配置一遍，痛苦指数拉满。uv就是为了解决这些问题而生的。它是由 Astral（Ruff 的开发团队）用 Rust 编写的下一代 Python 包与项目管理工具，目标是成为的统一替代品，被称为"Python 版的 Cargo"。
2026-08-27 09:43:41
542
原创 【多轮对话论文导读（八）】多轮对话正在从“上下文记忆”走向“持续交互智能”
我以前是怎么做这类事情的？↓↓Compare↓BookA → B → C经常是有效的。工具之间有什么稳定的依赖关系。“当时为什么这么做？Tool A↓当前状态：用户预算 < $500目的地 = Tokyo时间 = Christmas↓Tool BA → BA → B这样模型既知道：A 后面通常可以调用 B。在什么情况下 A → B 才合理。H-EPM解决的不是“模型没有记忆”，而是“模型无法把过去经验转化成未来可以复用的行为模式”。
2026-08-27 08:48:27
436
原创 【多轮对话论文导读（七）】多轮对话论文阅读笔记：从数据生成、用户模拟到上下文重构与长期记忆
ActionActionAction...多轮对话 Agent 的研究重点正在从“让模型生成更好的下一句话”，转向“让模型在长期交互中维护正确状态、理解用户变化、管理历史、调用工具并最终完成任务”。从“生成多轮对话” → “模拟动态用户” → “维护对话状态” → “管理长期记忆” → “通过可验证交互训练 Agent”。这比单纯研究“多轮对话生成质量”更进一步，也意味着未来多轮对话研究的核心单位正在从Utterance（一句话）转向。
2026-08-26 09:21:01
383
1
原创 【多轮对话论文导读（六）】多轮对话研究最新进展：从 Intent Mismatch、Conversational Inertia 到 Multi-Turn RL
论文：CM2: Reinforcement Learning with Checklist Rewards for Multi-Turn and Multi-Step Agentic Tool UseUser StateTask StateGoal StateS_t =这一步与 MICA 的思想非常接近。
2026-08-26 09:15:01
495
原创 【多轮对话论文导读（五）】多轮对话大模型研究新进展：从能力评估、真实场景基准到记忆管理与强化学习
怎么测？怎么记？怎么压缩？怎么检索？一个多轮 Agent 到底应该为哪一步行为负责？Question↓Search A↓Reason↓Search B↓Reason↓Search C↓AnswerCorrectSearch A 好不好？Search B 好不好？Search C 是不是多余的？这六篇论文真正共同说明的，并不是简单的：“Multi-turn 很重要。Multi-turn 已经逐渐从一种交互形式，变成一种独立的模型能力。
2026-08-26 09:09:15
491
原创 【多轮对话论文导读（四）】多轮对话与 Agent 研究论文阅读笔记：从对话生成、记忆一致性到工具调用与自动评估
不要只追求生成“像人”的对话，更要保证 Persona 在长时间交互中不崩。ECP未来多轮对话研究的核心已经不是单纯提高模型的回答质量，而是研究模型在长时间交互过程中如何维护状态、理解历史、遵守约束、完成任务、使用工具、稳定探索，并最终能够被可靠地评价。而这恰好可以由本文的 6 篇论文分别提供方法论基础。SPASM↓理解“如何构建稳定用户模拟器”SEQUOR↓理解“多轮到底应该评估什么”SRT↓理解“模型如何处理长程历史”ToolWeave↓理解“任务型 Agent 数据如何生成”
2026-08-25 12:15:33
410
1
原创 【多轮对话论文导读（三）】多轮对话与Agent论文阅读笔记：用户模拟、轨迹生成与长期记忆
StateGen解决的是“如何批量生成可信的多轮Tool-Agent训练数据”，核心创新是让所有Tool Response都受到统一World State约束。DLawBench把多轮对话评估从“回答正确”推进到了“能否主动获取解决任务所需的信息”。C-DIC不是简单压缩历史，而是把长对话拆成可检索、可修改的Context Threads，让Memory随着对话不断更新。
2026-08-25 12:06:53
517
1
原创 【多轮对话论文导读（二）】多轮对话与LLM Agent论文阅读：长期记忆、多轮评估与Agent训练
最近多轮对话研究的一个明显趋势是：研究重点正在从 “单轮回答质量” 转向长期交互过程中的状态跟踪、用户意图理解、澄清决策、记忆和Agent训练。本文整理 6 篇 2026 年最新论文，第一篇做多轮多步任务的信用分配，第二篇是memory检索，第三~五篇是多轮benchmark，第六篇做RL的reward sparse的研究。
2026-08-25 11:05:16
558
1
原创 【多轮对话数据蒸馏论文导读（一）】多轮对话数据蒸馏:五篇论文教你怎么把“聊天能力“从大模型身上“抠“出来
造多轮对话数据的核心难点不是"生成回答",而是"生成像真人一样会追问、会跑题、会纠错的提问"——UltraChat 的角色分离和 PlatoLM 的专职用户模拟器,都是在正面回应这一点;多轮对话里的"聪明"往往体现在跨轮次的信息整合能力上,蒸馏时如果只对着最终答案做监督(黑盒x→yx\to yx→y),会漏掉这种能力,DOCTOR 的经验是把中间推理链也显式地蒸馏出来;蒸馏的"教师"不一定非要来自另一个更强的模型。
2026-08-24 11:25:12
433
原创 【OPD论文导读（二）】OPD(On-Policy Distillation)全景调研:十篇论文讲透“在自己生成的内容上学习“这件事
首次把"蒸馏损失函数"和"采样来源"解耦成两个独立可调的旋钮;证明 OPD 可以和 RLHF 无缝结合(蒸馏本身可以看成一种更便宜的"以教师为奖励"的强化学习)。GKD 是 OPD 的"标准公式",后面几乎所有 OPD 论文都能塞进这个框架里当成一个特例。OPD 的本质是"训练分布 = 推理分布":让学生在自己实际会遇到的状态上被纠偏,而不是死记硬背教师提前写好的范文,这是它相对传统 SFT/KD 最根本的优势;教师"更强"不等于"更好教"
2026-08-24 11:09:26
596
原创 【OPD论文导读（一）】从“离线“到“在线“:五篇教你把 DPO 变成 On-Policy(OPD)的论文详解
DPO 的效果上限,很大程度上取决于训练数据是否"跟得上"模型本身的变化——谁的偏好数据更 on-policy,谁的 DPO 就更有效。能在线采样就别用死数据集:哪怕只是简单地"现采两个回答 + 用更强模型裁判"(OAIF 的思路),往往就能带来肉眼可见的提升;真上线训练要留意遗忘:如果场景涉及多轮/持续对齐、跨领域偏好切换,记得加一层类似 OFS-DPO 的"锚点"机制,别让模型在快速适应新偏好时把老本事丢了;数据对齐比数据"完美"更重要:构造偏好对时,与其死磕标注质量,不如先看看正例ywy_w。
2026-08-24 10:40:33
497
原创 【Pandas】Pandas 库详解：从入门到高效实战
Pandas 是 Python 数据分析生态中最核心的库，基于 NumPy 构建，提供了Series（一维）和DataFrame（二维表格）两种核心数据结构，能够高效完成数据清洗、转换、分析、可视化前的预处理等工作，是数据分析师、算法工程师的必备工具。本文按照数据结构 → 读写 → 索引选择 → 数据清洗 → 分组聚合 → 合并连接 → 时间序列 → 性能优化的顺序讲解。Pandas 简介与安装Series 与 DataFrame 基础数据读写（CSV/Excel/JSON/SQL）
2026-08-23 15:11:18
446
原创 【Numpy】NumPy 库详解：从入门到高效实战
NumPy（Numerical Python）是 Python 科学计算生态的基石，Pandas、Scikit-learn、PyTorch、TensorFlow 等主流数据科学与深度学习库底层都依赖或兼容 NumPy 的数组结构ndarray。相比 Python 原生列表，NumPy 数组在存储和运算效率上有数量级的提升，是数据处理、机器学习必备的基础工具。本文按照数组基础 → 索引切片 → 运算与广播 → 常用函数 → 线性代数 → 性能优化的顺序讲解。NumPy 简介与安装。
2026-08-23 15:07:15
331
原创 【Pytorch】PyTorch 深度学习框架详解：从安装到实战
PyTorch 是当前学术界和工业界主流的深度学习框架之一，以动态计算图（Define-by-Run）接口简洁调试友好著称，是 Hugging Face 等主流深度学习生态的默认底层框架。本文按照安装 → 张量基础 → 自动求导 → 模型搭建 → 训练流程 → 进阶技巧的顺序讲解，所有代码均可直接复制运行。PyTorch 简介与安装张量（Tensor）基础操作自动求导机制（Autograd）神经网络模块（nn.Module）常用层与激活函数损失函数与优化器。
2026-08-23 15:04:49
470
1
原创 【Python】Python 高级语法详解：从进阶到精通
Python 的基础语法（变量、循环、函数、类）大多数人都很熟悉，但真正体现"Python 味道"、能写出优雅高效代码的，往往是这些进阶特性。本文按由浅入深的顺序讲解，每个知识点都配有可运行的代码示例。高级数据结构与解包技巧推导式与生成器表达式迭代器与生成器（yield）装饰器（Decorator）上下文管理器（with）描述符（Descriptor）元类（Metaclass）类型注解（Type Hints）数据类（dataclass）functools 高阶用法。
2026-08-22 23:47:16
367
原创 【Docker】Docker 安装与使用详解：从零搭建到日常实战
Docker 是目前应用最广泛的容器化技术，能够将应用及其依赖打包成一个轻量、可移植的"容器"，实现"一次构建，到处运行"。本文按照概念 → 安装 → 基础命令 → 进阶用法的顺序讲解，所有安装步骤均以 Docker 官方文档为准，确保命令可以直接复制执行。Docker 核心概念卸载旧版本（避免冲突）Ubuntu 安装 Docker Engine（官方仓库方式）CentOS 安装 Docker Engine便捷脚本安装方式安装后配置（免 sudo、开机自启）验证安装与常用管理命令。
2026-08-22 23:37:06
1026
原创 【Linux】Linux 常用命令手册
Linux 命令行看起来"门槛高"，但实际上日常开发和运维只会高频用到一两百个命令。本文按使用场景分类整理，每个命令都配有语法说明常用参数和实战示例，尽量做到"查得到、看得懂、用得上"。文件与目录操作权限管理用户与用户组管理进程与系统监控磁盘与存储管理网络相关命令压缩与解压文本处理三剑客（grep / sed / awk）软件包管理系统服务管理（systemctl）环境变量与配置文件定时任务（crontab）日志查看与排查Shell 快捷键与技巧。
2026-08-22 23:20:49
469
原创 【强化学习】Hands-on Modern RL项目实践|视觉语言模型RL
前面几篇文章聊的都是纯文本世界里的强化学习——无论是单轮偏好对齐,还是多轮 Agentic RL 里的信用分配与工具调用,动作空间始终是"文本 token"或"工具调用"。但当模型的输入里多了一张图片、一段视频,整套 RL 框架都要面对一系列新问题:模型是不是"看清楚"了图?奖励信号能不能验证模型的视觉判断是真的对,还是蒙对的?一条视觉推理链里,信用到底该分给"看图"这一步,还是"推理"这一步?这就是本文要讲的视觉语言模型强化学习(VLM RL)。
2026-08-21 11:12:46
394
原创 【强化学习】Hands-on Modern RL项目实践|Agentic RL与轨迹信用分配、工具调用与轨迹生成
形式化框架(状态/动作/转移/奖励/目标函数)→信用分配的决策粒度(Token → Turn → Trajectory)→Step-Level Advantage 的三类来源(学习型 Critic / Critic-Free 组内锚点比较 / 过程奖励模型)→轨迹的组织与存储(从线性序列到带状态的对话树)→工具调用的工程实现(Loss Mask、环境解耦、沙箱隔离)→轨迹合成与真实案例(Search-R1、Deep Research 两阶段训练)。
2026-08-21 09:12:19
441
原创 【强化学习】Hands-on Modern RL项目实践|Agentic RL与多轮强化学习
过去两年，以 RLHF、DPO、GRPO 为代表的方法把大语言模型从"会说话的模型"打磨成了"会对齐人类偏好的助手"——ChatGPT、Claude、DeepSeek 等主流对话系统，本质上都建立在单轮强化学习（Single-Turn RL）的范式之上：给模型一个 prompt，模型一次性吐出一段完整回答，奖励模型给出一个分数，策略据此更新。这个范式简单、稳定，也确实有效。
2026-08-21 09:00:27
440
原创 【强化学习】Hands-on Modern RL项目实践|过程奖励与推理时搜索
上一篇整理了推理模型为什么要展开思考、怎么控制思考预算。一条九步证明，前五步都对，第六步漏了一个平方，后面几步却又碰巧绕回了正确结论——最终答案对，但过程有错，训练时该怎么给分？这正是本章的起点。只看结果的奖励为什么不够(稀疏奖励/信用分配问题)↓用分类器判断每一步对不对(判别式 PRM)↓用自然语言"边想边判"每一步对不对(生成式 PRM ← 本文自行补充)↓用形式化证明系统给出确定性反馈(形式化 Verifier)↓。
2026-08-20 10:12:23
625
原创 【强化学习】Hands-on Modern RL项目实践|推理模型与 Test-Time Scaling
从 GPT-4o 到 o1，从 DeepSeek-R1 到 Claude 的 Adaptive Thinking，"推理模型"在过去两年里迅速从研究概念变成了产品标配。但如果只是零散地看各家的 API 参数（effort……），很容易只记住名词而抓不住背后的逻辑。为什么需要推理（串行生成的局限）↓推理能力从哪来（RL 激发 / 涌现的两层含义）↓推理时的额外计算怎么花（Test-Time Scaling 三种用法）↓额外计算怎么控制成本（Hybrid Thinking + 预算）↓。
2026-08-20 10:00:18
618
原创 【强化学习】Hands-on Modern RL项目实践|OPD 算法完整解析
前面几篇文章分别讲了 DPO(用偏好对训练)、GRPO(用组内相对优势训练)、RLVR(用规则验证器给奖励)。当我们不想完整跑传统 RLHF 那一整套(训练 RM、跑 PPO)时,训练信号还能从哪里来?DPO 的答案是偏好对,RLVR 的答案是验证器,而这篇文章要讲的OPD(On-Policy Distillation,在线策略蒸馏)用一个更强的 Teacher 模型,在 Student 自己生成的轨迹上,逐 token 给出密集反馈。
2026-08-19 00:01:07
872
原创 【强化学习】Hands-on Modern RL项目实践|GRPO 算法完整解析
GRPO（Group Relative Policy Optimization）是一种旨在替代PPO中Critic网络的方法，通过组内比较计算相对优势，解决了PPO在大模型训练中的显存占用高、训练不稳定和工程复杂度问题。其核心机制包括在线组采样、规则打分、组内优势计算和PPO裁剪更新。GRPO省去了独立的Critic网络，显存占用降低30~40%，且支持纯RL训练（如DeepSeek-R1-Zero），无需SFT预训练即可通过试错自主发展推理能力（如长思维链、自我纠错）。
2026-08-18 09:19:24
445
原创 【Deepseek Harness】 如何接入 NVIDIA 免费 GLM-5.2/Minimax-m3 全流程实录
本文详细介绍了如何在DeepSeek Harness（DSH）中接入免费的NVIDIA GLM5.2和MiniMax-M3模型，并为其添加多模态图片识别能力。主要内容包括：1）获取NVIDIA API Key的步骤；2）在DSH中添加自定义Provider的方法；3）通过修改配置文件开启多模态输入功能；4）常见问题及解决方案。文章特别指出GLM5.2通过NVIDIA API不支持图片识别，建议使用MiniMax-M3模型或搭配专门插件实现该功能，同时提醒注意免费API的40次/分钟调用限制。
2026-08-18 00:16:19
811
原创 【强化学习】Hands-on Modern RL项目实践|偏好数据与DPO算法
如果你只把 DPO（Direct Preference Optimization）当成"RLHF 的一个简化技巧"，那多半会觉得它的损失函数——LDPO−Exywyllogσβlogπθyw∣xπrefyw∣x−βlogπθyl∣xπrefyl∣xLDPO−Exywyllogσβlogπrefyw∣xπθyw∣。
2026-08-17 10:13:07
540
原创 【强化学习】Hands-on Modern RL项目实践|PPO 损失函数设计全解析
PPO（Proximal Policy Optimization，近端策略优化）自 2017 年由 OpenAI 提出以来，几乎成为了策略梯度类算法的"默认标准"——从游戏控制（OpenAI Five、机械臂控制）到今天大模型对齐的 RLHF 训练流水线，PPO 的身影无处不在。
2026-08-17 10:00:14
422
原创 【强化学习】Hands-on Modern RL项目实践|策略采样与数据来源
本文承接前四篇文章,参考开源课程"策略采样与数据来源"一节的框架,讲清强化学习里两组经常被混淆、却又贯穿几乎所有主流算法的核心概念——On-policy 与 Off-policy、Online 与 Offline。
2026-08-15 00:06:23
487
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人