止于至玄-优快云博客

本文主要分析如何使用[Franka机器](https://frankaemika.github.io/docs/)人C++代码库libfranka来进行运动生成与控制。包含机器人学相关知识、Franka机器人的特性以及笔者在使用过程中的一点心得体会。笔者基于libfranka 0.8.0 版本进行开发调试。除了编程技巧外，本文还将在一定程度上讨论Franka 机器人官方运动生成与阻抗控制方法的基本特征，以及一些实际使用技巧。

2020-06-15 17:10:26 8373 22

原创玩转Franka Panda机器人——libfranka

本文介绍Franka机器人C++代码库——libfranka的使用方法。

2020-05-25 20:28:37 7796 2

原创实用四元数

四元数（Quaternion）相关的介绍材料非常多，这里针对其中几个实用问题进行阐述。

2019-12-10 13:04:37 1031

原创从零开始玩转Franka Panda机器人

本文总结了笔者在学习使用Franka Panda机器人时的一些方法和经验总结。

2019-12-10 10:39:41 14190 17

原创实用多元高斯分布

本文简单概括多元高斯分布的定义、性质与应用，内容会持续更新。

2019-09-19 14:24:18 767

原创浅谈高斯混合模型与EM算法 - An overview of GMM and EM algorithm

Expectation-Maximization 算法简述高斯混合模型（Gaussian Mixture Model, GMM）用EM算法学习高斯混合模型Expectation-Maximization 算法简述高斯混合模型（Gaussian Mixture Model, GMM）用EM算法学习高斯混合模型感谢李航——《统计学习方法》清华大学出版...

2019-05-30 22:54:06 1431

原创 Dynamic Movement Primitve - My Superficial Review

Let’s talk about the Dynamic Movement Primitive (DMP) for robots learning from demonstration. In this article, we make an assumption that you readers all have the background of control theory and robo...

2019-03-09 17:34:03 1167 1

原创 EFORT ER3A-C60 DH参数及仿真模型

本文主要介绍 EFORT ER3A-C60机器人的模型参数（DH）及仿真模型搭建方案。可供使用该机器人的用户参考。文章目录DH参数MATLAB仿真V-REP仿真DH参数介绍该机器人的DH参数前首先大致介绍一下机器人运动学和DH参数的基本常识。机器人的运动学研究各个连杆之间运动的位移关系、速度关系和加速度关系。按照映射关系可分为前向运动学和逆向运动学，具体内容此处不作详细介绍，可参考此文...

2019-01-05 22:36:27 4036 8

原创使用Python项目与 V-REP联合仿真 - Play V-REP with Python

OS: Win10 x64Python: Anaconda 3.XV-REP: V-REP PRO EDU v3.5.0文章目录下载、安装与支持环境准备一个简单的例子下载、安装与支持V-REP提供Windows、Linux和MacOS三个平台的应用程序支持，任意平台都提供教育版和专业版两个版本。教育版是免费的，因此后续教程我们均以教育版为例。安装方法也非常简单，Windows版按照正常...

2018-10-29 15:44:34 8934 9

原创常用优化算法简述

本文介绍优化问题的基本概念与常用的优化算法，内容持续更新中。文章目录最优化问题简述无约束问题最优化方法线性规划约束问题最优化方法可行方向法（直接法）罚函数法（间接法）乘子法（间接法）序列二次规划法（间接法）遗传算法遗传编码个体适应度遗传运算最优化问题简述优化问题可概括为如下一般形式：求设计变量： x1,x2,…,xnx_{1},x_{2},\dots,x_{n}x1,x2,…,xn...

2018-10-13 16:01:54 2664

原创浅谈核函数与核方法

当输入空间为欧氏空间火离散集合，特征空间是希尔伯特（Hilbert）空间时，核函数（Kernel function）表示将输入从输入空间映射到特征空间得到的特征向量之间的内积。核函数的应用十分广泛，例如使用核函数可以学习非线性支持向量机，等价于隐式地在高维的特征空间中学习线性支持向量机，这样的方法称为核技巧。核方法（Kernel method）是一种比支持向量机更为一般的机器学习方法。...

2018-08-02 11:09:20 3873

原创浅谈强化学习中的策略梯度算法

本文将主要介绍基于策略梯度的强化学习算法。这里我们假设读者对强化学习的基本原理有一定了解。策略梯度法REINFORCEActor - Critic使用梯度进行估计或优化的方法可见于诸多领域，如凸优化和机器学习领域。在强化学习中，我们可以使用梯度来估计某个策略的价值函数或者直接估计策略。本文中我们仅讨论后一种情况。策略梯度法REINFORCEActor ...

2018-07-22 22:15:19 4218 2

转载深度强化学习与 Deep Q-Learning（DQN）

本文中我们来探讨一下深度强化学习（以DQN为主）的原理与实例。这里假设读者对强化学习的基本原理与神经网络的基本知识已经有了一定的了解。初探深度强化学习Deep Q-LearningDouble DQN带有优先回放的Double DQN( Prioritized Replay )Dueling DQN初探深度强化学习Deep Q-Learning这里介绍的 D...

2018-07-15 21:50:53 21837

转载几种常见梯度优化方法

优化算法是机器学习领域的重要内容，本文介绍几种常见的无约束的优化算法，并给出Python实例。关于无约束问题优化方法的一般讨论请参考此文。梯度下降法动量法共轭梯度法自然梯度法梯度下降法动量法共轭梯度法自然梯度法...

2018-07-09 15:40:29 12560 2

原创浅谈贝叶斯推断、朴素贝叶斯分类与MCMC

Thanks Cameron Davidson-Pilon for the great work of Bayesian Methods for Hackers: Probabilistic programming and Bayesian Inference.Popular Probability DistributionPoisson DistributonBinary Distr...

2018-07-06 17:19:16 3519 1

原创 Monte Carlo 方法与 MCMC 简介

Monte Carlo 方法也即随机模拟方法的别称，它的基本原理是：当求解随机事件方式的概率或随机变量的数学期望时，通过设计某种实验，得出某个特定事件发生的频率，使用这个频率来近似表示这一事件发生的概率，从而得到问题的数值解。可以看出，Monte Carlo 方法包含三个核心问题：构造概率过程、从已知概率分布中抽样、建立估计量。静态 Monte Carlo 方法MCMCMetropo...

2018-06-20 16:05:51 1284

原创浅谈几种基本的点估计方法及实例

参数估计有两种形式：点估计与区间估计。本文选择几种常用的点估计方法作一些讨论。用于估计未知参数的统计量称为点估计（量）。参数 θθ\theta 的估计量常用 θ^=θ^(x1,x2,…,xn)θ^=θ^(x1,x2,…,xn)\hat{\theta} = \hat{\theta}(x_{1},x_{2}, \dots, x_{n}) 表示，参数 θθ\theta 的可能取值范围称为参数空间，记...

2018-06-19 12:37:11 14489

转载重要性采样简述

重要性采样（Importance Sampling）是统计学中的一种采样方法。它主要用于一些难以直接采样的数据分布上。假设有一个很复杂的概率密度函数 p(x)p(x)p(x) ，求解随机变量基于此概率下的某个函数期望，即 Ex∼p(x)[f(x)]Ex∼p(x)[f(x)] E_{x\sim p(x)}[f(x)] 如果采用解析法： Ex∼p(x)[f(x)]=∫xp(x)f(x)dxEx...

2018-06-07 14:12:28 5938

原创基于V-REP的UR5 Pick-and-Place仿真实验（Lua 或 MATLAB）

OS: Win10 x64 V-REP： V-REP PRO EDU 3.5.0 MATLAB: R2016b本文给出两个基于V-REP仿真平台的 Pick-and-Place 仿真实验，用UR5和RG2完成。我们假设你已经掌握V-REP和MATLAB最基本的操作方法（不需要懂编程）。关于V-REP与MATLAB的联合仿真基础请参考此文。环境准备示例1：Lua示例2：Lua...

2018-04-20 14:48:57 4812 41

原创以UR5为例浅析V-REP中的逆向运动学 - Overview of IK in V-REP: Take UR5 for illustration

OS: Win10 x64 V-REP: V-REP PRO EDU 3.5.0 MATLAB: 2016b下面我们来聊一聊V-REP中的机械臂逆向运动学问题。这里我们以UR5的为例进行介绍。对于想要深入了解V-REP逆向运动学的读者，请参考官方手册和官方教程。我们假设你对V-REP的基本操作有一定了解。V-REP逆解概述一个例子：UR5的V-REP逆解有关逆解的常...

2018-04-16 16:13:47 9993 17

原创深度解析V-REP Remote API (MATLAB) 的应用

OS: Win10 x64 V-REP: V-REP PRO EDU 3.5.0 MATLAB: 2016b下面我们来聊一聊V-REP中MATLAB远程API的应用。如果你只对V-REP有基本了解，对V-REP的远程API不熟悉，强烈建议你先阅读此文。V-REP是机器人仿真界的“瑞士军刀”，其功能之丰富可以满足绝大多数仿真需求。这里仅以UR5的仿真为例进行介绍。准备MATLAB...

2018-04-09 15:00:57 9534 2

原创在Windows下使用OpenAI Gym - HelloGym

OS: Win10 x64 IDE: Visual Studio 2017 Community Python: Anaconda3 (v5.0.0 python3.6 x64)下面我们介绍下如何在Windows系统中使用OpenAI Gym，Linux系统中的用法可参考此文。我们从安装开始。安装OpenAI Gym一个简单的例子安装OpenAI Gym在Win...

2018-04-04 18:59:09 12427 2

原创漫谈逆向强化学习 - A Brief Review to Inverse Reinforcement Learning

下面我们来探讨下逆向强行学习的基本原理和典型方法，我们假设您已经对强化学习和凸优化的基本原理有一定的了解。概述基于最大边际的逆向强化学习学徒学习最大边际规划（MMP）基于结构化分类的方法神经逆向强化学习基于最大熵的逆向强化学习基于最大信息熵的逆向强化学习基于相对熵的逆向强化学习深度逆向强化学习概述我们先介绍下逆向强化学习的概念预分类：什么是...

2018-04-01 15:17:10 28634 2

原创漫谈基于模型的强化学习方法 PILCO - Probabilistic Inference for Learning Control

基于模型的强化学习方法最大的问题是模型误差。针对此类问题，业界提出了 PILCO （Probabilistic Inference for Learning Control）算法。它把模型误差纳入考虑的范围。它解决模型偏差的方法不是集中于一个单独的动力学模型，而是建立了概率动力学模型，即动力学模型上的分布。也就是说，PILCO建立的模型并不是具体的某个确定性函数，而是建立一个可以描述一切可行模型（...

2018-03-29 21:01:25 8448 7

原创漫谈引导策略搜索 - A Review of Guided Policy Search (GPS)

引导策略搜索方法（Guided Policy Search）最早见于2015年 Sergey Levine 的博士论文 Levine S, “Motor skill learning with local trajectory methods,” PhD thesis, Stanford University, 2014.GPS将策略搜索分为两步：控制相和监督相。这样有什么好处呢？这...

2018-03-15 23:41:15 5441 4

原创 TRPO 简述 - A Brief Introduction to Trust Region Policy Optimization

本文我们来简单介绍下一种强化学习方法——TRPO （Trust Region Policy Optimization），中文名称是“置信域策略优化”。该方法由伯克利博士生 John Schulman 提出。TRPO 是策略搜索方法中的一类随机策略搜索方法，它正面解决了梯度更新步长选择的问题，给出了一种单调的策略改善方法。本文仅简要论述其原理，更多细节请参考： Schulman J., ...

2018-03-14 14:22:06 3721

原创浅谈强化学习中的函数估计问题 - Function Approximation in RL

下面我们简单讨论下强化学习中的函数估计问题，这里对于强化学习的基本原理、常见算法以及凸优化的数学基础不作讨论。假设你对强化学习（Reinforcement Learning）有最基本的了解。概述价值函数估计增量式/梯度下降方法批处理方法深度强化学习浅析（DQN）Double DQN带有优先回放的Double DQN( Prioritized Replay )Dueling D...

2018-03-10 21:41:44 6317

原创使用Matlab与V-REP联合仿真 - Play V-REP with Matlab

OS: Win10 x64 Matlab: R2016b V-REP: V-REP PRO EDU v3.5.0下载、安装与支持V-REP操作基础V-REP仿真基础Matlab环境准备一个简单的例子对V-REP有一定了解的读者可以直接跳到第三节Matlab环境准备。下载、安装与支持V-REP提供Windows、Linux和MacOS三个平台的应用程序支持，...

2018-01-17 16:26:25 19300 21

原创 A Tutorial of Peter Corke Robotics Toolbox - Hello Robot

Thanks Peter Corke for his great work of Robotics Toolbox .OS: Win10 x64 Matlab: R2016b Toolbox Release: 10.2We highly recommand to learn to use the Robotics System Toolbox designed by MathWor

2018-01-04 20:46:53 3039

转载强化学习中的有限马尔可夫决策过程 Finite Markov Decision Processes in RL

Thanks Richard S. Sutton and Andrew G. Barto for their great work of Reinforcement Learning: An Introduction - 2nd Edition.Here we summarize some basic notions and formulations in most reinforcement...

2017-12-28 09:51:03 843