- 博客(13)
- 收藏
- 关注
RSS订阅原创 Proximal Policy Optimization (PPO) 算法理解
本文旨在于一步一步理解传统策略梯度算法、自然策略梯度算法、信赖域策略优化算法（TRPO）、PPO算法。
2026-06-25 21:24:36
238
原创 A Generalized Algorithm for Multi-Objective Reinforcement Learning and Policy Adaptation复现部分过程记录
论文链接 ：https://arxiv.org/pdf/1908.08342论文代码：https://github.com/RunzheYang/MORL博客https://blog.youkuaiyun.com/weixin_56760882/article/details/145572826以深海宝藏环境（DST 域）举例展示复现结果，本文以FTN 域（水果树导航）为例展示复现过程。复现过程中，git原论文代码，在笔记本上（RTX 4060）配置环境，并运行。该项目是通用多目标强化学习算法，核心是envelope
2026-03-23 15:15:40
471
原创 PyTorch 版本、CUDA 架构、GPU 调用的关系
整体流程：代码 → PyTorch 库 → CUDA 驱动 → GPU 硬件代码（调用torch.xxx） → PyTorch库（封装CUDA接口） → CUDA Toolkit（英伟达底层驱动） → GPU硬件（RTX4060，sm_89架构）用具体问题来理解：torch 0.4.0 不适配 RTX4060，，而是PyTorch 版本对CUDA 架构的支持、对新 GPU 指令集的兼容出了问题。
2026-03-20 20:38:15
442
原创 局部搜索 / 精细调优类技巧
局部搜索（Local Search）：先通过快速方法（比如 FFT、贪心、启发式）得到一个，再在其附近小范围内精细搜索，找到更优的解。适用场景：全局搜索代价太高，而问题具有（最优解附近的解质量也较好，不会突然跳变）
2026-03-16 20:25:19
208
原创 简述D3QN 的网络结构+参数个数计算
普通 DQN 直接输出每个动作的 Q 值（Q(s,a)），表示 “在状态 s 下执行动作 a 的总价值”，公式是：Q(s,a)=V(s)+A(s,a)D3QN 把 Q 值的计算拆成以上。
2026-03-10 17:02:00
221
原创 强化学习（RL）& 深度 Q-learning（DQN）& D3QN（决斗深度 Q 网络）
RL 的范围要大得多 —— 从简单的表格型方法到复杂的多智能体、模型基方法，DQN 只是其中 “用神经网络近似 Q 值” 的一种经典实现。DQN 会出现 “高估” 问题 —— 比如某个动作的真实 Q 值是 80，但网络算出来是 90，导致智能体选了看似好、实际差的动作。深度 Q-learning（DQN）D3QN（决斗深度 Q 网络）是 DQN 的升级版。
2026-03-10 11:33:58
395
原创 解决node.js-opensslErrorStack: [ ‘error:03000086:digital envelope routines::initialization error‘ ]错误
报错图片：当前package.json里面的样子：在里面添加：加之后的图片：
2024-07-04 18:49:23
319
1
原创 github.com响应时间太长解决方法，亲测有效
首先修改在C:\Windows\System32\drivers\etc中的hosts的 属性——安全 权限。把所有的结果按照如下方式加在hosts的后面，我用记事本打开的，剩下的没试过。把输出的值记下来：往下找，这里有4个，一会就写4个。重新点开登录，不行的话，重新打开一次浏览器试试。
2023-10-02 21:30:49
7509
2
原创 [Vivado 12-4473] Detected error while running simulation. Please correct the issue and retry this op
2.在测试文件里，千万千万不要把output的东西给initial了。本来就是输出，实在要这样做，只能在源文件里加。1.所有output端在测试文件里要是wire类型的；记录解决办法：自认为这样的报错很难查原因......改正之后就可以运行出波形图咯~具体是这样报错的，后来发现是。
2023-09-27 16:51:51
7983
1
原创 [Labtools 27-3733] Error during cs_server initialization: Failed to connect cs_server at TCP:localho
一般情况下是因为Vivado的驱动没有安装好，只需要将驱动安装上即可，路径为(可以按照这个去找)D:\programme\Xilinx\Vivado\2019.2\data\xicom\cable_drivers\nt64\digilent\install_digilent.exe。【建议】在安装的过程中，将vivado关闭，所有USB接口拔掉，安装驱动成功后在重新开始打开vivado进行连接。另：计算机名字如果是中文，也会引起vivado的报错。烧录程序时，打开硬件目标找不到JTAG。
2023-09-26 17:22:00
5826
转载 笔记：uint8_t / uint16_t / uint32_t /uint64_t数据类型
数据类型中都带有_t, _t 表示这些数据类型是通过typedef定义的，而不是新的数据类型，而是我们已知的类型的别名。uint8_t / uint16_t / uint32_t /uint64_t等是属于这些数据类型的别名。另：int64_t 在 32 位环境下其实是 long long，而在 64 位环境下其实是 long。C语言的6种基本数据类型：short、int、long、float、double、char。“u”表示无符号（unsigned）和有符号（signed）两种类型。
2023-03-25 17:13:13
950
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人