bobwww123-优快云博客

原创 python从爬虫开始（一）——Python3的安装与环境配置以及网络爬虫的手把手教学

python 从爬虫开始（一）Python 简介首先简介一下Python和爬虫的关系与概念，python 是一门编程语言，爬虫是python语言的一种应用场景。因为其简单和容易入门，被很多人所喜爱，也是比较热门的一款语言，在2019年5月的调查排行中，python 语言排行在第四名，因为Python的语言特色（简短快捷）被称为脚本语言，又能够和多平台多语言交互和结合使用，也被称为“胶水语言”，...

2019-05-14 18:04:05 2295 1

原创 RL强化学习从小白到老鸟（十）——油门到底该踩多少？用 PPO 学会连续控制

上一篇把贪吃蛇换成了连续山地车。动作不再是左、中、右三个选项，而是[-1, 1]之间的任意油门值。四条手写规则已经证明：这辆小车必须先后退积累动量，再掉头冲上右坡。现在把规则收起来，让 PPO 自己学。问题也随之而来：原来的 PPO 只会从几个动作中挑一个，怎样才能让它输出0.37或-0.62这样的连续动作？

2026-09-03 04:03:33 306

原创 RL强化学习从小白到老鸟（九）——油门不是开关：第一次走进连续动作空间

贪吃蛇只有三个动作：左转、右转、直行。模型最后要做的事情，是从三个编号中选出一个。现实里的控制往往不是这样。踩油门可以踩一点，也可以踩到底；机械臂的关节角度、无人机的推力和车辆的转向角，都不是几个固定按钮。从这一篇开始，我们换一辆动力不足的小车，正式进入连续动作空间。

2026-09-03 03:59:51 160

原创 RL强化学习从小白到老鸟（八）——同一局面，六种模型会怎么走？

做到第七篇，项目里已经有了 Actor-Critic、PPO 和四种 DQN。训练结果也积累了不少，平均奖励、得分、通关率、Q 值偏差都能放进表格里比较。但我回头看这些结果时，发现还有一个很直观的问题没有回答：如果把完全相同的局面交给这些模型，它们会不会走同一步？所以这次先不训练新算法。我从现有检查点中挑出六个模型，让它们逐个面对四个手工设置的局面，看看模型到底选了什么。

2026-09-02 13:53:31 182

原创 RL强化学习从小白到老鸟（七）——Dueling DQN实战：先判断局面，再选择动作

`强化学习`、`Dueling DQN`、`Double DQN`、`DQN`、`PyTorch`、`Gymnasium`、`贪吃蛇`、`消融实验`、`深度学习`、`人工智能`

2026-08-22 02:53:48 287

原创 RL强化学习从小白到老鸟（六）——Double DQN实战：降低Q值，成绩就会更好吗？

`强化学习`、`DQN`、`Double DQN`、`Q学习`、`PyTorch`、`Gymnasium`、`贪吃蛇`、`价值高估`、`深度学习`、`人工智能`

2026-08-21 09:32:50 300

原创 RL强化学习从小白到老鸟（五）——PPO实战：从单步更新到稳定策略优化

`强化学习`、`PPO`、`Actor-Critic`、`GAE`、`PyTorch`、`Gymnasium`、`贪吃蛇`、`策略梯度`、`深度学习`、`人工智能`

2026-08-21 09:24:16 392

原创 RL强化学习从小白到老鸟（四）——DQN实战：四种策略同场对照

`强化学习`、`DQN`、`PyTorch`、`Gymnasium`、`贪吃蛇`、`经验回放`、`目标网络`、`深度学习`、`人工智能`

2026-08-20 20:30:11 203

原创 RL强化学习从小白到老鸟（三）——让贪吃蛇训练更稳定、更容易复现

2024 年写第一篇贪吃蛇教程时，目标很明确：不要一上来就堆公式和算力，先让新人亲手跑通“环境给状态、模型选动作、奖励推动学习”这个闭环。用一个很小的卷积网络，普通电脑也能看到蛇动起来，这仍然是这个项目最重要的教学价值。最近我把旧项目迁移到新的开发环境，顺手用现在的 PyTorch、Gymnasium 和自动测试重新跑了一遍。模型选择的动作，环境是否真的执行了？启发式规则退出后，模型自己还能不能走？状态里有没有包含做决定所需的全部信息？一次漂亮的游戏画面，能不能代表训练效果？

2026-08-20 19:53:46 327

原创 RL强化学习从小白到老鸟(二)——手撕GPT（零基础保姆级教学）

保姆级教学，深度理解GPT的结构以及实践，一天学会如何使用GPT，为后面融合强化学习做个前置教学。

2024-05-16 10:28:30 947

原创 RL强化学习从小白到老鸟(一)——速通贪吃蛇游戏

以小白文的方式深入浅出讲解如何通过强化学习训练一个AI实现速通贪吃蛇小游戏，包含完整项目代码，且会持续更新代码仓库。

2024-05-11 17:51:12 2174 2

原创从爬虫开始（三）——复杂爬虫数据清洗与自动控制脚本

抓取阿里巴巴国际的产品页面数据。2.webdriver 脚本。3.chrome浏览器。先上代码，后面再分析。

2023-05-10 10:30:01 267

原创 linux+openssl生成自签名证书实战

Linux系统下生成证书生成秘钥key,运行:$ openssl genrsa -des3 -out server.key 20481会有两次要求输入密码,输入同一个即可输入密码然后你就获得了一个server.key文件.以后使用此文件(通过openssl提供的命令或API)可能经常回要求输入密码,如果想去除输入密码的步骤可以使用以下命令:$ openssl rsa -in ser...

2020-11-25 23:31:48 1962

原创 python 从爬虫开始（二）——简单网络爬虫进阶

python 简单网络爬虫进阶接上一篇文章，在上一篇文章已经讲解了关于Python安装与配置的相关内容，也实现了一个很简单的爬虫还不清楚的，这里有直通车可以过去好了，上一篇中实现了爬取csdn首页的爬虫，但是得到的是许多网页代码，对我们没什么价值，接下来我们处理一下这个爬虫的代码，以实现展示有价值的数据老规矩，先上代码# import os # print("hello world!"...

2020-11-25 23:18:44 443 1

原创 Python 后端开发之nginx代理小白文全攻略

nginx代理与自签证书以及python.bottle的那些坑第一步先介绍下nginx 代理，自签证书ssl，python.bottlenginx代理，顾名思义，是一个中间桥梁，为我们去接通两者（server,client）的中间商，为什么需要代理就要提到http和https 的关系了，不是本文重点，有兴趣去看这里自签名证书ssl吧，这是目前很多浏览器不认可的证书，因为相对官方签名不够安全，因...

2019-08-28 17:50:17 2142

bobwww123的博客