- 博客(18)
- 收藏
- 关注
RSS订阅原创 强化学习的统一视角：环境奖励 + something
大多数强化学习算法都在追“环境奖励 + something”。这个something就是未来价值的估计，来自 Bellman 方程。不同算法的区别，主要在于：something是QQQVVV、优势、TD 误差还是软 Q；这个something怎么估计；策略怎么更新。损失函数不会、也不应该优化到零，它只是逼近 Bellman 目标的工具。真正衡量强化学习好坏的，是累计回报，不是损失值。记忆口诀：它的“环境奖励 + something”是什么？
2026-09-18 13:49:45
266
原创 A-B=C：看懂监督学习、强化学习与无监督学习
监督学习：有标签B，算误差C，让A→B\boxed{\text{监督学习：有标签 }B\text{，算误差 }C\text{，让 }A \to B}监督学习：有标签B，算误差C，让A→B强化学习：有奖励C，算出目标B，再用B更新策略A\boxed{\text{强化学习：有奖励 }C\text{，算出目标 }B\text{，再用 }B\text{ 更新策略 }A}强化学习：有奖励C，算出目标B，再用B更新策略A。
2026-09-17 18:24:38
335
原创 机器人动力学到底在模拟什么？一张图看懂从控制信号到运动的完整因果链
因为机器人关节大多是旋转关节。旋转运动中，和牛顿第二定律FmaF=maFmaτJθ¨τJθ¨τ\tauτ是力矩；JJJ是转动惯量；θ¨θ¨是角加速度。如果关节是移动关节，那么对应的就是力FFF和位移xxx。所以在机器人动力学中，统称它们为“广义力”。旋转关节的广义力就是力矩，移动关节的广义力就是力。从拉格朗日方程看：如果 (q) 是角度，那么 (Q) 的量纲就是 (N\cdot m)，也就是力矩。
2026-09-16 11:58:17
176
原创 反者道之动，弱者道之用：从屎山到可演化代码——SICP视角下的重构哲学
本文从《道德经》“反者道之动，弱者道之用”切入，结合SICP的抽象思想，揭示代码重构的本质：通过过程抽象、数据抽象与弱契约，构建可演化系统。面对“屎山”代码，真正的解法不是重写，而是建立抽象屏障，将“怎么做”藏于实现，只暴露“做什么”的稳定接口。借助虚函数、协议、高阶函数与消息传递，系统在保持灵活性的同时抵御熵增，实现从混乱到有序的逆向演化——这正是“弱”中见“强”的编程哲学。
2026-09-15 14:27:21
149
原创 动态规划、贪心、强化学习：一次把核心概念彻底讲清楚
数据结构与算法中的动态规划，和强化学习中的动态规划，是一回事吗？动态规划和贪心到底什么关系？局部最优累加能保证全局最优吗？为什么强化学习可以用动态规划？TD 误差蒙特卡洛动态规划之间是什么关系？这篇文章尝试把这些问题一次讲清楚。所有问题│├── 满足最优子结构│ ││ ├── 还满足贪心选择性质 → 贪心 ✅，DP ✅│ ││ └── 不满足贪心选择性质 → 贪心 ❌，DP ✅│└── 不满足最优子结构 → 贪心 ❌，DP ❌DP 的适用范围比贪心更广。贪心是 DP 的一个特例。
2026-09-15 13:50:13
148
原创 ubuntu 18.04 lz4 编译冲突
ubuntu 18.04 lz4 编译冲突error: conflicting declaration ‘typedef struct LZ4_streamDecode_t LZ4_streamDecode_t’typedef struct { unsigned long long table[LZ4_STREAMDECODESIZE_U64]; } LZ4_streamDecode_t;解...
2019-04-28 10:01:45
3125
1
原创 循环不变式---算法导论
循环不变式：个人理解为具有循环不变性的循环变量 循环不变性：在程序循环中不断的重复相同的动作的特性排序中，每次循环都需要： 1. 保持元素还是原先的元素 2. 每一次的循环都能部分的排好顺序当程序结束的时候完成所有的排序...
2018-06-10 09:06:28
1215
原创 关于算法
每一种学科都有自己要研究解决的问题，在总结前人的解决问题套路的时候就形成了算法，算法操作的对象就是数据，数据按照一定的结构存储起来，一些套路存储方式便形成了数据结构。
2017-11-27 21:05:21
439
翻译 6. ROS编程入门--路径跟随（Trajectory following）
本次实验才采用“Follow the carrot 算法去跟随定义好的路径。
2017-11-27 21:00:03
17079
17
翻译 5. ROS编程入门--航迹推算（dead reckoning）
这篇教程主要是测量机器人的里程计误差的，让机器人重复的走固定的路线，在这里我让机器人走正方形，比较机器人的起始位置（理想状态是重合的） 以及 局部里程计（机器人自身测算得）和全局里程计的的位置（定位系统）。
2017-11-27 20:59:08
13202
3
翻译 ROS/C++ 入门（Introduction to ROS/C++）
ROS/C++ 编程入门翻译，偏工程化。所有的翻译不一定完全遵照原文，掺杂有翻译者的个人经验和理解主要内容
2017-11-18 22:14:13
15333
1
原创 ROS 命名空间
ROS 计算图级资源：节点、参数、主题、服务，这些命名规范和解释规则适应所有这些资源，在ROS中配置参数，进行topic订阅发布中很重要！！！命名规范第一个字符必须是（[a-z|A-z]),或者波浪号~或者斜杠/后面的字符可以是([0-9|a-z|A-Z]), 下划线( _ ),斜杠（\）名字的解释规则/ -> 全局(global)命名空间 ~ ->...
2017-08-31 19:19:57
2393
原创 ros vio2 + ps4 eye
程序卡顿，没办法正常工作，经常出现下面的问题[stereo_odometer-8] process has died [pid 24456, exit code -11, cmd /home/i-rc/catkin_ws/devel/lib/viso2_ros/stereo_odometer stereo:=stereo image:=image_rect __name:=stereo_od
2017-08-09 21:52:45
1093
原创 ROS(Robot Operating System)开发经验分享-开发工具
开发ROS的时候有好多的开发工具可以选择，例如eclipse，Qt等。我刚开始开发的时候用的vim/gedit，这两个编辑器不是很好用,可以用于简单的调试工作。qt+qtc_plugin,但是这个更适合本机上的开发，如果说有开发一台远程的机器人就比较麻烦了。vscode/sublime+sftp ： 可以远程编辑机器人的文件很方便，可以直接打开一个文件夹，阅读编辑代码很方便基于vscod...
2017-08-07 16:02:39
2641
原创 PS4 eye camera v2 ROS测试
For the I-RC ps4 eye camera 是一款性价比很高的双目摄像头，之前已经有人设计完成了一代产品的ROS驱动程序，代码见GitHub[1],今天要测试的是去年发布的新款摄像头. 一代摄像头 二代摄像头 ps4 camera 接口是USB3.0 的一个衍生版本，需要进行一定的硬件的改装，将原来的AUX公头换成USB3.0公头，第一代产品的具体改装参考[2] [3
2017-08-06 11:05:06
5161
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人