盼小辉丶-优快云博客

原创 PyTorch强化学习实战——从零开始实现魔方求解器

本文介绍从零复现 DeepCube 魔方求解器的完整工程实现。代码采用模块化设计：CubeEnv 抽象接口封装状态、动作、变换等环境细节，支持 2×2 与 3×3 魔方并可扩展新谜题；model.py 与 train.py 实现策略-价值网络及自主迭代训练；mcts.py 与 solver.py 实现蒙特卡洛树搜索求解。并提出"零目标"改进：目标状态价值直接设为 0。实验表明改进版收敛更稳定，2×2 魔方解决率从 55% 提升至 100%，3×3 魔方可达深度 13。

2026-11-02 10:16:59 520 23

原创 PyTorch强化学习实战（33）——深度强化学习在离散优化中的应用

本文介绍深度强化学习在离散优化中的应用，以魔方求解为例，传统方法依赖群论或人工启发式搜索。McAleer 等人提出自主迭代算法 (ADI)，仅凭魔方模型训练神经网络，无需先验知识。本文详述了动作与状态的编码方式 (20×24 独热张量)、策略-价值双头网络架构、基于子状态价值最大化的训练目标，以及结合蒙特卡洛树搜索 (UCT 算法)的求解流程。实验表明 DeepCube 在 44 小时训练后可达人工求解器水平，55% 情况下解长度不逊于 Kociemba 算法。

2026-10-29 08:56:13 527 26

原创 PyTorch强化学习实战（32）——MuZero详解与实现

本节介绍了 MuZero 算法，它是 AlphaGo Zero 的通用化扩展，通过引入表征网络、动态网络和预测网络三个协同训练的神经网络，成功摆脱了对精确环境模型的依赖。在蒙特卡洛树搜索 (Monte Carlo Tree Search, MCTS) 过程中，MuZero 使用动态网络预测下一隐藏状态和即时奖励，用预测网络评估策略与价值，实现了在围棋、Atari 等不同领域的统一建模。在四子棋环境中的实验验证了该方法的可行性，MuZero 代表了基于模型的强化学习的重要进展，为通用智能体设计提供了新思路。

2026-10-27 09:25:33 331 4

原创 PyTorch强化学习实战（31）——AlphaGo Zero详解与实现

在本节中，我们实现了 DeepMind 提出的基于模型的 AlphaGo Zero 方法，这一方法专为解决棋盘游戏而设计。其核心在于智能体能够通过自我对弈不断提升实力，无需依赖人类对局数据或其他先验知识。这类方法在医疗健康(蛋白质折叠)、金融、能源管理等多个领域具有实际应用价值。

2026-10-23 11:19:08 350 26

原创 PyTorch强化学习实战（30）——基于人类反馈的强化学习（RLHF）

在本节中，我们介绍了人类反馈的强化学习 (Reinforcement Learning with Human Feedback, RLHF)方法。作为大语言模型 (Large Language Model, LLM) 训练流程的核心技术，该方法能有效提升模型质量。我们实现了 RLHF 并将其应用于 SeaQuest Atari 游戏，这展示了该方法在强化学习 (Reinforcement Learning, RL) 流程中改进模型的实用方式。

2026-10-20 08:46:16 771 18

原创 PyTorch强化学习实战（29）——深入解析强化学习中的探索策略

本文围绕强化学习中的探索策略展开，分析了ε-贪婪方法在稀疏奖励和长序列决策中的局限，并介绍噪声网络、基于计数和基于预测的高效探索方法。通过 MountainCar 与 Atari 实验，对比 DQN、PPO 及不同探索机制的表现，说明探索策略对样本效率、训练稳定性和最终策略质量具有重要影响。

2026-10-15 09:57:21 734 27

原创 PyTorch强化学习实战（28）——遗传算法在强化学习中的应用

本节介绍了遗传算法 (GA) 在强化学习中的应用。GA 是一种黑盒优化方法，通过维护种群、评估适应度、选择精英个体并进行突变来迭代进化策略。在 CartPole 环境中，基础 GA 通过对网络权重添加高斯噪声实现突变，每代保留最优个体并随机选择父代生成下一代。实验表明 GA 比进化策略 (ES) 更高效。针对复杂环境，本节实现了深度 GA 的改进方案：使用随机种子列表编码网络参数大幅降低通信开销。在 HalfCheetah 环境中采用并行架构，经过 300 代进化获得 6454 分，表现优异。

2026-10-12 09:58:54 724 27

原创 PyTorch强化学习实战——进化策略的高效并行化

进化策略 (Evolution Strategies, ES) 的核心瓶颈在于训练批次的收集速度——每次迭代需采样大量噪声并评估对应策略的适应度。传统并行化方案要求工作节点向主节点传输完整的噪声向量(规模与策略参数相同)，通信开销巨大。Salimans 等人提出的“共享种子”策略巧妙解决了这一问题：工作节点仅需发送用于生成噪声的随机种子，主节点即可通过相同的伪随机数生成器重建噪声，大幅降低通信负载。本节将在 HalfCheetah 环境中实现这一并行化方案，并探讨中心化排序变换、优化器使用等关键技术细节。

2026-10-08 14:31:47 477 5

原创 PyTorch强化学习实战（27）——进化策略在强化学习中的应用

本节介绍了进化策略 (Evolution Strategies, ES) 这一黑盒优化方法在强化学习中的应用。与传统梯度方法不同，ES 通过对策略参数添加随机噪声并评估适应度来估计更新方向，无需计算梯度，因此具有速度快、假设少、易于并行化等优势。我们在 CartPole 环境中实现了镜像采样与奖励归一化等改进技巧，实验表明 ES 能够在 30 秒内稳定解决该任务，效率与交叉熵方法相当。

2026-10-01 07:56:52 339 1

原创 PyTorch强化学习实战——软演员-评论家（SAC）算法详解与实现

本文介绍了软演员-评论家 (SAC) 算法在 HalfCheetah 等连续控制环境中的实现与测试。SAC 通过熵正则化和裁剪双Q技巧提升性能，需训练策略、价值和两个Q网络。文中详述了基于 PyTorch 的实现，包括目标值计算与三步优化流程。实验显示，SAC 样本效率优于 PPO，但异策略特性导致训练耗时更长。

2026-09-28 08:50:35 305 3

原创 PyTorch强化学习实战（26）——提升随机策略梯度稳定性

在本节中，我们研究了三种旨在提升随机策略梯度稳定性的不同方法，近端策略优化 (PPO) 和置信域策略优化 (TRPO) 和使用 Kronecker 因子置信域的优势演员-评论家方法 (ACKTR)，并在两个连续控制问题上与优势演员-评论家 (A2C) 方法实现进行了对比。结合深度确定性策略梯度 (DDPG) 和分布式分布深度确定性策略梯度 (D4PG) 方法，这些方法构成了处理连续控制领域的基础工具集。

2026-09-24 09:08:17 308 24

原创 PyTorch强化学习实战——分布式策略梯度

D4PG (分布式分布深度确定性策略梯度) 从四方面改进 DDPG：用概率分布替代评论家的单一Q值输出、引入n步贝尔曼方程加速收敛、采用优先经验回放提升样本效率，并简化探索机制为高斯噪声。其评论家输出51个原子概率，训练时通过贝尔曼投影与交叉熵损失对齐分布，演员训练则借助分布转Q值。在四足机器人任务上，D4PG平均奖励从 DDPG 的4.5提升至近 18，收敛更快、性能更优。

2026-09-18 10:28:35 438 5

原创 PyTorch强化学习实战（25）——深度确定性策略梯度（DDPG）

本文详细介绍了深度确定性策略梯度 (DDPG) 算法的核心原理与实现细节。与传统的随机策略方法不同，DDPG 通过确定性策略网络直接输出动作值，并借助评论家网络估计Q值，利用链式法则实现端到端的策略优化。为应对确定性策略带来的探索不足问题，我们引入了 Ornstein-Uhlenbeck 过程生成时间相关的探索噪声。实验结果表明，在四足机器人控制任务上，DDPG 显著优于 A2C 方法，这些优势使 DDPG 成为处理连续动作空间问题的有力工具。

2026-09-15 09:13:14 300 3

原创 PyTorch强化学习实战（24）——连续动作空间中的强化学习

连续动作空间问题是强化学习 (Reinforcement Learning, RL) 的重要分支，无论在理论还是实践层面都具有重要意义，因为它在机器人学、控制问题及其他与物理对象交互的领域有着重要应用。在本节中，我们将了解此类情况下的挑战并掌握相应的解决方案。

2026-09-10 11:36:23 881 6

原创 PyTorch计算机视觉（9）——变分自编码器（VAE）详解与实现

本节介绍了变分自编码器 (Variational Autoencoder, VAE) 及其改进版本 beta-VAE 的理论原理与实现方法。VAE 通过编码器将高维数据压缩至低维潜在空间，并利用解码器重构数据，其核心在于优化重构损失与 KL 散度之间的平衡。beta-VAE 通过引入超参数 β 调节这一平衡，增强了学习解耦表示的能力。

2026-09-07 11:07:16 1933 4

原创 PyTorch强化学习实战——融合人类示范数据的高效强化学习

本节在A3C网页导航智能体中引入人类示范数据，以解决纯探索训练效率低、难以处理高维动作空间的问题。通过自定义录制工具捕获含像素信息的示范轨迹，并复用监督学习的交叉熵损失，以一定概率将示范样本与策略梯度训练混合，推动网络模仿人类动作选择。实验表明，在count-sides任务中，仅25个示范回合便使智能体在3万帧内达到0.5平均奖励，远优于12小时未使用示范的-0.4；在井字棋环境中，2小时训练后可达约0.05平均奖励，能赢得部分对局。结果表明，少量人类示范即可显著提升多模态网页导航任务的训练效率与最终表现。

2026-09-04 10:36:30 1975 8

原创 PyTorch强化学习实战——基于图像-文本融合的自动化网页导航

本节在网页导航智能体中引入文本模态，改进原有仅依赖图像的点击模型。通过修改环境包装器保留观测中的文本描述，并设计多模态预处理器将图像与分词后的文本转换为模型输入(图像张量与打包序列)。模型采用CNN处理图像、LSTM 处理文本，融合二者特征后输出策略与价值。在按钮点击环境中，模型经 3 小时训练能学会点击操作，平均步数降至 5-7 步，奖励约 0.2。

2026-09-03 08:47:30 2005 30

原创 PyTorch计算机视觉——cWGAN-GP实现可控图像生成

本节详细介绍了 cWGAN-GP 在"石头剪刀布"数据集上的实现与应用，展示了条件 GAN 在可控图像生成方面的强大能力。通过引入类别标签信息，我们能够精确控制生成图像的类别，同时保持了 WGAN-GP 的训练稳定性和高质量生成能力。

2026-08-31 09:17:04 2993 4

原创 PyTorch计算机视觉（7）——条件生成对抗网络（cGAN）

本节介绍了条件生成对抗网络 (GAN) 的原理与实现。CGAN 通过在生成器和判别器中同时引入标签信息(如图像类别)，实现了对生成图像类型的精确控制。实践部分首先在 MNIST 和 Fashion-MNIST 数据集上构建 cDCGAN 模型，利用 nn.Embedding 将标签编码并与图像/噪声拼接，成功生成了指定数字的高质量图像。随后将该方法扩展到三分类的石头剪刀布手势数据集，采用 128×128 分辨率彩色图像，通过五层转置卷积生成器和六层卷积判别器配合指数衰减学习率调度器进行训练。

2026-08-27 11:42:11 3876 11

原创 2026年VLA训练数据破局：为什么遥操作无法规模化，网络视频能做到什么

VLA 规模化的核心瓶颈正从模型与算力转向数据。遥操作能提供精确动作监督，却受成本、吞吐和场景覆盖限制；网络视频可低边际成本扩展真实世界与长尾分布，但缺少机器人原生动作标签。本文拆解 Bright Data 的 Define→Search→Extract 管道，并给出“网络视频预训练、遥操作精调”的数据分层策略。

2026-08-27 09:31:21 31132 24

原创 PyTorch强化学习实战（23）——强化学习在网页导航中的应用

在本节中，探讨了强化学习方法在浏览器自动化中的实际应用，并使用了 MiniWoB++ 基准测试。浏览器自动化(以及与人类常用软件的交互)将是未来人工智能发展的重要方向。

2026-08-24 09:01:47 4162 37

原创 PyTorch强化学习实战——用预训练语言模型和ChatGPT玩转文本游戏

文本互动小说 (interactive fiction) 是强化学习研究中一个独特而富有挑战性的领域。与图形丰富的街机游戏不同，这类游戏通过纯文本描述呈现状态，要求智能体理解自然语言、进行长期规划并在复杂的语义空间中决策。在本节中，我们将借助 Hugging Face 预训练 Transformer 和 ChatGPT API 展现大语言模型在文本游戏中的强大能力。通过从手工特征到预训练模型的演进，我们将见证深度 NLP 技术如何赋能强化学习智能体。

2026-08-20 09:22:30 4181 43

原创 PyTorch强化学习实战（22）——将强化学习应用于TextWorld互动小说游戏

在本节中，我们介绍了如何将深度Q网络 (Deep Q-Network, DQN) 应用于交互式小说游戏，这是一个属于强化学习 (Reinforcement Learning, RL) 和自然语言处理 (Natural Language Processing, NLP) 的交叉领域。我们学习了如何使用 NLP 工具处理复杂的文本数据，并在交互式小说游戏环境中进行实验。

2026-08-17 09:30:18 3886 42

原创 PyTorch计算机视觉（2）——神经网络模型训练与PyTorch基础

本节介绍了 PyTorch 框架的核心应用。通过线性回归案例，详细阐述了梯度下降算法的工作原理，包括损失函数、学习率、权重更新等关键概念。随后展示了 PyTorch 的自动梯度计算机制，以及 LambdaLR、ReduceLROnPlateau 等多种学习率调度器的使用方法。在工程实践方面，讲解了 Dataset 与 DataLoader 的数据封装、GPU 加速训练、三种模型保存方式。最后以 Sigmoid 激活函数拟合指数曲线为例，说明了非线性建模的必要性。

2026-08-13 22:42:23 4135 29

原创 PyTorch计算机视觉（4）——迁移学习（Transfer Learning）详解与实现

本节介绍了迁移学习的概念、重要性及实现流程，并基于 ResNet 预训练模型完成了蔬菜图像分类任务。迁移学习通过利用在 ImageNet 等大型数据集上预训练的模型权重，有效解决了小样本数据集训练困难的问题。实验表明，微调 resnet18 模型在测试集上可达约 98% 的分类准确率。最后通过可视化模型参数，展示了预训练模型各层提取的特征模式，加深了对深度网络内部机制的理解。

2026-08-13 22:42:11 4020 31

原创 PyTorch计算机视觉（8）——WGAN及其变体WGAN-GP

本节介绍了 WGAN 及其改进版 WGAN-GP 的原理与实现，重点解决传统 GAN 的模式坍塌和训练不稳定问题。WGAN 通过引入 Wasserstein 距离作为损失函数，并采用权重裁剪满足 1-Lipschitz 连续性，但生成质量仍有限。WGAN-GP 进一步用梯度惩罚替代权重裁剪，通过计算插值样本的梯度范数约束判别器，显著提升训练稳定性。

2026-08-12 08:38:47 3581 10

原创 PyTorch计算机视觉——WGAN-GP在图像生成中的应用

生成对抗网络 (GAN) 自提出以来，已成为深度学习领域最具创新性的技术之一。然而，原始 GAN 面临着训练不稳定、模式坍塌等挑战，这些问题限制了其在实际应用中的效果。Wasserstein GAN with Gradient Penalty (WGAN-GP) 作为一种改进方案，通过引入 Wasserstein 距离和梯度惩罚项，有效解决了这些问题。本节将使用 WGAN-GP 在 CelebA 人脸数据集和动漫面孔数据集上实现图像生成，包括代码实现、训练过程分析以及结果评估。

2026-08-12 08:35:54 3775 13

原创 PyTorch计算机视觉（3）——卷积神经网络（CNN）详解与实现

本节系统介绍了基于 PyTorch 的图像分类实践，涵盖三个递进式项目：首先在 MNIST 数据集上构建全连接网络，完整演示了数据加载、模型训练、过拟合判断及基于混淆矩阵的评估指标计算；其次深入解析二维卷积的数学原理与 PyTorch 实现，最后利用 ResNet9 在 CIFAR-10 数据集上实现超 92% 的准确率，引入数据增强和 OneCycleLR 学习率调度策略。通过从基础全连接网络到残差卷积网络的演进，系统掌握图像分类的核心技术路线与评估方法，为迁移学习等高级应用奠定基础。

2026-08-11 08:53:49 4067 47

原创 Ubuntu极速部署OpenClaw完全指南（本地模型+DeepSeek）

OpenClaw 给是一个开源、可自托管的 AI 助手平台，原生支持 Ollama 本地模型和 DeepSeek 等云端 API，让你在隐私与性能之间自由切换。本文记录了我在 Ubuntu 上从零部署 OpenClaw 的全过程——踩过的坑、优化后的配置，一并进行分享。无论你是想搭建一个完全离线的私人助手，还是追求顶级大模型的推理能力，这篇指南都能帮你少走弯路，快速用起来。

2026-08-10 14:49:24 2581 34

原创不会高效刷课？夸克承包你的网课全流程，从“看”到“会”一步到位

夸克浏览器通过AI功能重构网课学习流程，解决考公/考研党三大痛点：① 视频总结（B站/慕课1小时课程5分钟提取框架+分段跳转）；② 字幕提取（自动生成完整讲义文稿并导出为可编辑文档）；③ 截屏即问（不切屏解读图表/解题思路，侧边栏实时答疑）。搭配网盘存储、文档转换等工具，形成从听课到复习的闭环，大幅提升学习效率。

2026-08-10 10:51:08 74439 40

原创 2025年度总结：在代码中思考，于分享中前行

本文总结回顾了2025年度，我以实战和体系化方式分享AI知识的经历。全年通过347篇博客和数十万行代码，聚焦生成式AI（从GAN到扩散模型）和Transformer生态两大主线，致力于在理论与实践中搭建桥梁。我坚持以可运行代码为核心，构建了PyTorch实战、生成模型等系列专栏，形成模块化知识体系。高频输出源于将写作融入学习过程，并珍视读者互动。展望2026年，我计划探索AI智能体和边缘AI，推动技术向更自主、高效的方向发展，继续在分享与思考中前行。

2026-08-09 22:36:49 17611 78

原创 PyTorch计算机视觉（6）——深度卷积对抗神经网络（DCGAN）

本节探讨了深度卷积生成对抗网络 (DCGAN) 在图像生成中的应用。首先详细解析了转置卷积的数学原理，通过公式推导和代码示例阐明了其与标准卷积的互逆关系。随后在 MNIST 和 Fashion MNIST 数据集上构建四层 DCGAN 模型，通过设计分段学习率调度器并设置生成器学习率为判别器的 50 倍，有效平衡了双模型训练。最后将 DCGAN 应用于动漫人脸数据集，探讨了学习率比例 k 对训练稳定性的影响，揭示了 GAN 训练中双模型平衡的重要性。

2026-08-09 22:19:52 2090 12

原创 PyTorch计算机视觉（1）——计算机视觉的数学工具

本节介绍了计算机视觉中的关键数学工具，包括概率分布(二项分布、高斯分布)、香农熵、KL 散度、交叉熵和 Jensen 不等式。通过贝叶斯定理和最大似然估计，可推导出模型训练的损失函数，如交叉熵和均方误差。文中还讨论了过拟合问题及其缓解方法(如岭回归)，并通过期望最大化算法演示了如何从数据中估计概率密度函数。这些概念为图像生成、分类等计算机视觉任务提供了理论基础。

2026-08-09 22:16:24 3817 16

原创 PyTorch计算机视觉（5）——生成对抗网络（Generative Adversarial Network，GAN）

本节介绍了生成对抗网络 (Generative Adversarial Network, GAN) 的理论基础与实现方法。GAN 通过生成器与判别器的对抗博弈，使生成器逐步学习真实数据分布，最终生成以假乱真的样本。理论部分详细推导了最优判别器表达式及损失函数界限。实践环节首先在二次曲线数据集上验证了 GAN 训练框架，损失曲线与理论值高度吻合，随后将简单全连接 GAN 应用于 MNIST 手写数字生成。

2026-08-09 22:11:34 4079 14

原创 PyTorch强化学习实战（21）——异步优势演员-评论家（Asynchronous Advantage Actor-Critic, A3C）

本节介绍了异步优势演员-评论家 (Asynchronous Advantage Actor-Critic, A3C) 方法，通过并行环境交互解决策略梯度算法中的样本关联性问题。相比 A2C，A3C 提出了两种并行方案：数据并行和梯度并行。数据并行将多个环境采集的样本汇集到主进程进行训练，实现简单；梯度并行则让各子进程独立计算梯度，由主进程汇总更新，具有更好的扩展性。

2026-08-03 09:28:25 3503 39

原创 PyTorch强化学习实战（20）——优势演员-评论家（Advantage Actor-Critic, A2C）

在本节中，我们深入探讨了深度强化学习中最广泛应用的方法之一：优势演员-评论家算法 (Advantage Actor-Critic, A2C)。该方法巧妙地将策略梯度更新与状态价值估计相结合。我们分析了基线值对梯度统计特性及收敛性的影响，进而研究了基线思想的扩展形式——A2C 算法，该算法通过独立的网络头部为当前状态提供基线值。

2026-07-27 10:10:07 3126 32

原创 PyTorch强化学习实战——基于策略梯度法解决Pong环境

策略梯度法在 CartPole 等简单环境中表现出色，但面对 Pong 这类 Atari 游戏时却面临严峻挑战。与深度Q网络 (Deep Q-Network, DQN) 仅需百万帧即可完美求解不同，原始策略梯度方法在 Pong 环境中难以收敛，且对超参数和初始化极其敏感。为提升性能，我们引入三项关键改进：采用移动平均基线以减少梯度方差、使用多并行环境降低样本相关性、以及通过梯度裁剪增强训练稳定性。

2026-07-23 11:35:16 2170 34

原创 PyTorch强化学习实战（19）——策略梯度法

在本节中，介绍了另一种解决强化学习问题的方式：策略梯度方法，该方法与 DQN 方法在多方面存在显著差异。与基于价值的方法不同，策略梯度直接优化行为策略，适用于连续动作空间和随机环境。策略通常表示为动作的概率分布，通过最大化策略梯度来更新网络参数。REINFORCE 利用完整回合的折扣奖励计算损失函数，无需显式探索机制或经验回放。然而，该方法存在高梯度方差、需完整回合、样本相关性高等局限。改进方案包括引入基线减少方差、使用熵奖励促进探索、采用多步贝尔曼展开以及并行环境。

2026-07-20 11:40:44 3726 37

原创 OpenCV-Python实战——分析与加速OpenCV应用程序

本节介绍了使用性能分析工具 pyinstrument 识别 OpenCV 应用程序瓶颈的方法，并以目标检测与跟踪中的 IoU 矩阵计算为例，展示了 Numba 的加速能力。通过 @numba.jit 装饰器优化循环和函数，CPU 下性能提升约 20 倍；进一步使用 @numba.guvectorize 实现向量化计算，速度提升达 1000 倍。最后简要介绍了基于 CUDA 的 GPU 加速方案，通过 @cuda.jit 将计算移植到 GPU，适用于深度神经网络等场景。

2026-07-16 08:50:59 1503 50

原创 OpenCV-Python实战（33）——构建实时目标检测与跟踪系统

我们已经动手实践了深度卷积神经网络，并使用迁移学习构建了深度分类和定位网络。已经开启了深度学习之旅，并熟悉了一系列深度学习概念，理解了深度模型是如何训练的，并且已经准备好学习更高级的深度学习概念。在本节中，我们将继续深度学习之旅，首先使用目标检测模型在相关场景(例如包含汽车和行人的街景)的视频中检测多种不同类型的目标。之后，将学习这类模型是如何构建和训练的。

2026-07-13 09:17:45 2116 44

用于目标检测的 YOLO V3 模型架构及权重文件(含 OpenCV 使用示例)

用于图像分类的 ResNet-50 模型架构及权重文件(使用 Caffe 框架进行预训练)

用于目标检测的 MobileNet-SSD 模型架构及权重文件(使用 Caffe 框架进行预训练)

空空如也