kingcjh97-优快云博客

原创 VeRL框架介绍解析--小白能看懂篇

verl 的核心设计思想——HybridFlow，本质上是将RL训练任务拆解为“指挥”与“干活”两个层次，巧妙地平衡了算法实现的灵活性和大规模分布式计算的高效性。它的设计精髓在于“分而治之”：用一个中心大脑（Single-Controller）掌控全局逻辑，用一群执行团队（Multi-Controller）高效完成各自的计算任务。

2026-04-08 11:42:46 844

原创 2.1 vLLM-Omni + Wan2.1-T2V-1.3B测试数据

【代码】2.1 vLLM-Omni + Wan2.1-T2V-1.3B测试数据。

2026-04-03 17:03:46 90

原创 2 vLLM-Omni + Wan2.1-T2V-1.3B 部署文档

目标：将原有 SD1.5 + ControlNet-Canny 图像生成服务，迁移至 vLLM-Omni + Wan2.1-T2V-1.3B 模型，在华为昇腾 910B4 NPU 上完成部署和服务化。日期：2026-04-02部署环境：昇腾 910B4（单卡 / 多卡），CANN 8.5.1。

2026-04-03 10:58:35 610

原创十、RL 算法性能调优指南

覆盖 PPO / GRPO / DAPO / VERL，聚焦超参数 + 算法特性调优，零废话。

2026-04-01 15:07:16 507

Gymnasium（原OpenAI Gym）是强化学习的标准试验场│ 强化学习交互循环 ││ ││ 智能体(Agent) ──动作a──▶ 环境(Environment) ││ ▲ │ ││ │ ▼ ││ 观测o, 奖励r 下一状态s', 奖励r, 完成信号done ││ │env = gym.make("CartPole-v1") # 创建环境observation, info = env.reset() # 重置环境，获取初始观测。

2026-04-01 14:41:37 401

原创【大模型工程实践8】强化学习在大模型训练中的应用

GRPO = Group Relative Policy Optimization（群体相对策略优化）不需要单独训练 Reward Model，而是用一组采样回答的相对比较来估计奖励。2025年，大模型最重要的突破不是"更大的模型"，而是学会了推理。传统LLM（2022-2024）：输入: "3个人3天喝3桶水，9个人9天喝几桶？输出: "9桶"（直接给出答案，常错）输入: "3个人3天喝3桶水，9个人9天喝几桶？输出: "让我思考：""1. 3个人3天 = 9人·天，喝了3桶"

2026-03-31 16:54:30 419

原创【大模型工程实践7】PPO、GRPO、DAPO：三大策略优化算法深入剖析

│ PPO / GRPO / DAPO 进化树 ││ ││ │ 策略 │ ││ │ 优化 │ ││ │ ││ │ │ │ ││ ▼ ▼ ▼ ││ │ │ │ ││ │ │ │ ││ ▼ ▼ ▼ ││ │ • Critic │ │ • 无 Critic│ │ • 无 Critic│ ││ │ • GAE │ │ • 群组排序 │ │ • Token级 │ ││ │ • 双侧CLIP │ │ • 双侧CLIP │ │ • 单侧CLIP │ │。

2026-03-31 15:58:27 403

原创【大模型工程实践6】DDPG与SAC算法

1.2 为什么Policy Gradient也不够用？即使A3C的策略网络输出连续动作均值 μ，直接用这个均值也会有问题：1.3 连续控制的两种解决思路2. 🦾 DDPG：深度确定性策略梯度2.1 核心思想：确定性策略 + 演员-评论家DDPG的核心洞察：既然连续动作空间无法枚举，那就不枚举了——直接让Actor输出一个确定的action！2.2 四个网络：两套Actor-Critic这是DDPG最核心也是最容易混淆的部分——每个角色都有主网络和目标网络：2.3 确定性策略DDPG

2026-03-31 15:32:11 504

原创【大模型工程实践5】策略梯度与Actor-Critic

Q-Learning 基于价值迭代，通过学习 Q(s,a) 函数来选择动作。但它有三个根本性局限：最致命的问题：连续动作空间假设我们要控制一个机械臂，需要输出：1.2 策略梯度另辟蹊径核心思想转变：不再学习Q值，直接学习策略函数策略函数的直观理解：数学上，策略梯度直接参数化策略：二、策略梯度定理 —— 从经验到梯度的数学推导2.1 目标函数首先定义我们的优化目标——期望累积回报：2.2 策略梯度推导（手把手）第一步：写出对数似然梯度对于一条轨迹，它出现的概率为：对求导（

2026-03-31 10:59:03 418

原创【大模型工程实践4】Q-Learning与DQN

┌ 随机选择 action（均匀分布）# 第3章的 Q-Learning 伪代码里：a_t = ε-贪婪(Q, s_t)# 等价于：a_t = random_action() # 探索else:a_t = argmax_a Q(s_t, a) # 利用为什么 Q-Learning 需要显式探索，而 Policy Gradient 不需要？Q-Learning 学的是动作价值估计，然后通过 argmax 间接得到策略如果不探索，Q 函数只被当前已选过的动作更新，未知动作的 Q 值永远为 0。

2026-03-30 18:03:36 305

原创【大模型工程实践③】RAG 基础架构与完整实现

RAG（Retrieval-Augmented Generation，检索增强生成）是目前大模型工程落地最成熟、最广泛使用的架构。不夸张地说：不懂 RAG，就等于不懂大模型工程。这篇文章从零实现了一个现代化的、生产级的 RAG 系统，包含：✅架构设计：从简单RAG升级到Modular RAG✅核心组件：查询改写、多路召回、融合排序、Self-RAG✅最新模型：BGE-M3本地部署、国产LLM接入✅完整代码：从文档加载到问答的全链路实现✅生产考虑：评估指标、常见问题、成本优化关键要点。

2026-03-27 17:52:41 537

原创【大模型工程实践②】Embedding 原理详解

如果说 Token 是大模型认识世界的"字母"，那么 Embedding（嵌入）就是把"字母"组合成"语义"的关键一步。Embedding 是 RAG、语义搜索、相似度匹配的核心基础设施。不理解它，你永远只能在表面调参数。Embedding 的本质：把任意文本映射到一个高维向量空间中的点。语义相近的文本，在向量空间中的位置也相近。这和我们大脑的工作方式类似：一个文本的 Embedding 是一个 d 维浮点数向量：1.3 维度不是越多越好模型名称维度最大输入长度核心优势适用场景备注

2026-03-27 16:38:48 460

原创【大模型工程实践①】Tokenization 与上下文窗口

很多人学大模型，上来就聊微调、RAG、Agent，但连最基础的Token 是什么都说不清楚。这是一个巨大的误区。Tokenization（分词）是信息进入大模型的第一道关卡为什么输出总是被截断？为什么中文比英文消耗更多 token？为什么128K上下文用着用着就不灵了？这篇文章，把 Token 和上下文窗口讲透。Token = 大模型处理文本的最小单元。不是字，不是词，而是一个介于两者之间的概念。对人类来说，读书时我们看的是"字"；对大模型来说，它看的是"Token"。

2026-03-26 16:10:21 1225

原创大模型工程实践学习地图

每一波技术浪潮都是财富重新洗牌的窗口。大模型这波也不例外，而且窗口期可能比以往更短。

2026-03-26 14:58:18 447

原创 3 昇腾OpenClaw多实例docker部署实战

1、OpenClaw 客户端容器：封装了 OpenClaw 应用逻辑，作为用户交互的前端代理，负责接收用户请求并将其转发至推理服务。2、大模型推理服务容器：封装了大模型推理引擎，作为后端服务，负责接收来自 OpenClaw 客户端的文本生成请求，并利用大语言模型进行高效推理。3、Docker Compose：作为容器编排引擎，负责定义、创建和管理包含多个 OpenClaw 实例的容器集群。

2026-03-25 17:20:56 1020

原创 1 大模型视频生成实战：Wan2.1 本地部署全记录

最近花了大量时间折腾 Wan2.1（阿里通义开源的视频生成模型），踩了无数坑，最终跑出了第一个视频。这篇博客把整个过程完整记录下来，包括踩的坑、解决方案、以及对实际可用性的客观评价。

2026-03-24 17:46:02 753

原创九、 RL实战

Gymnasium（原OpenAI Gym）是强化学习的标准试验场│ 强化学习交互循环 ││ ││ 智能体(Agent) ──动作a──▶ 环境(Environment) ││ ▲ │ ││ │ ▼ ││ 观测o, 奖励r 下一状态s', 奖励r, 完成信号done ││ │env = gym.make("CartPole-v1") # 创建环境observation, info = env.reset() # 重置环境，获取初始观测。

2026-03-24 13:19:24 70

原创八、强化学习在大模型训练中的应用

GRPO = Group Relative Policy Optimization（群体相对策略优化）不需要单独训练 Reward Model，而是用一组采样回答的相对比较来估计奖励。

2026-03-24 13:14:45 211

原创七、PPO、GRPO、DAPO：三大策略优化算法深入剖析

│ PPO / GRPO / DAPO 进化树 ││ ││ │ 策略 │ ││ │ 优化 │ ││ │ ││ │ │ │ ││ ▼ ▼ ▼ ││ │ │ │ ││ │ │ │ ││ ▼ ▼ ▼ ││ │ • Critic │ │ • 无 Critic│ │ • 无 Critic│ ││ │ • GAE │ │ • 群组排序 │ │ • Token级 │ ││ │ • 双侧CLIP │ │ • 双侧CLIP │ │ • 单侧CLIP │ │。

2026-03-24 13:14:05 169

原创六、DDPG与SAC算法：连续动作空间的王者之路

│ SAC vs DDPG：全方位对比 ││ 策略类型: 确定性 │ 策略类型: 随机（高斯分布） ││ 输出: a = μ(s) │ 输出: π(a|s) = N(μ,σ) ││ 探索: 加OU噪声 │ 探索: 自然采样自带探索 ││ 熵: 无 │ 熵: 有，自动调节α ││ Critic: 1个或2个 │ Critic: 2个 (防过估计) ││ 目标网络: 软更新 │ 目标网络: 软更新 ││ 收敛性: 局部最优风险高 │ 收敛性: 更好（熵正则化） │。

2026-03-24 13:09:20 126

原创五、策略梯度与Actor-Critic

│ Advantage 函数 ││ ││ ││ 含义：在状态 s 下，选择动作 a 相比 "平均动作" 好多少？││ ││ · A(s,a) > 0 → 动作 a 比平均水平更好 → 增加概率 ││ · A(s,a) < 0 → 动作 a 比平均水平更差 → 降低概率 ││ · A(s,a) = 0 → 动作 a 就是平均水平 → 不变 ││ 策略梯度家族全景图 ││ ││ 策略梯度定理 (Policy Gradient Theorem) ││ │ ││ │ │ │。

2026-03-24 13:08:26 330

原创四、蒙特卡洛方法-Q-Learning与DQN

Q(s,a)是动作价值函数，表示在状态s下执行动作a的期望累积折扣奖励。Q函数与V函数的关系：V(s) = max_a Q(s,a)

2026-03-24 13:07:46 167

原创三、动态规划与策略迭代

环境模型是对环境动态特性│ 环境模型 Environment Model ││ ││ 1️⃣ 状态转移函数 (Transition Function) ││ P(s'|s, a) = Pr(下一状态 | 当前状态, 采取的动作) ││ ││ 记忆口诀：【状态转移：给了首尾，定中间】 ││ s(当前) + a(动作) ──► s'(下一状态) ││ ││ 2️⃣ 奖励函数 (Reward Function) ││ R(s, a) 或 R(s, a, s') = 智能体获得的即时奖励 │。

2026-03-24 13:06:29 325

原创二、马尔可夫决策过程（MDP）

想象你是一个机器人，面前有一个迷宫：问题来了：机器人每一步该怎么走，才能最终到达目标？你可能会说：“这不简单，走到终点不就行了？”但问题在于：机器人一开始并不知道迷宫的全貌。它只能：这就是**马尔可夫决策过程（MDP）**要解决的核心问题：在不确定环境下，如何做出一系列最优决策。马尔可夫性（Markov Property）是MDP的基石，用一句话概括就是：数学语言描述：P(St+1∣St,St−1,St−2,...,S0)=P(St+1∣St)P(S_{t+1} | S_t, S_{t-1}, S_{t

2026-03-24 12:52:30 244

原创一、强化学习基本概念

监督学习 = "老师告诉你该怎么做"无监督学习 = "自己发现数据有什么规律"强化学习 = "做了才知道对不对，慢慢摸索最优策略"展开：G_t = R_{t+1} (k=0: 立即奖励)+ γR_{t+2} (k=1: 1步后奖励)+ γ²R_{t+3} (k=2: 2步后奖励)+ γ³R_{t+4} (k=3: 3步后奖励)+ ...

2026-03-24 12:50:49 417

原创大模型训练——强化学习篇

马尔可夫性：未来只与当前状态有关，与过去无关。这意味着：只要知道当前状态，就可以做决策，不需要记住完整历史。马尔可夫链：满足马尔可夫性的随机过程序列。基于模型的强化学习：智能体先学习一个环境模型（状态转移 + 奖励函数），再利用这个模型进行规划或模拟。【基于模型的方法】数据 ──▶ 学习环境模型 P(s'|s,a), R(s,a) ──▶ 用模型规划最优策略【无模型的方法】数据 ──▶ 直接从经验中学习 Q(s,a) 或 π(a|s)（不建模型）模型的价值。

2026-03-24 11:59:23 755

原创 pycharm配置conda环境（解释器+终端）

已安装以下或其他版本：1、pycharm版本：https://download-cdn.clf.jetbrains.com.cn/python/pycharm-2025.3.3.exe?Signature=WddobaocRSnWbBWllTSHbYE0Ey5gtC8PtmQzqt6ZhAcV6QocxcVAN38E6LBWZbFkrik2DDCuQHxeqyu0C0tV8b4l7geykkidPcAEWkgQZcKc24Bw4siDhXDPiIlV4Nl07lTk7Q8wuB8dwWqMiBHIt63

2026-03-22 20:53:36 400

表单自动化录入（cv+asr异步处理）

空空如也