- 博客(45)
- 收藏
- 关注
RSS订阅原创 中枢模式发生器（CPG）
中枢模式发生器（Central Pattern Generators）是一种生物控制方法，不需要传感器反馈就能产生节律模式输出的神经网络。一般而言，产生节律运动活动的神经环路被称为中枢模式发生器动物运动过程中，控制网络主要包含三部分：高层中枢系统（Descending modulation）、低级中枢系统（Central pattern generators）、信息反馈系统（Reflexes）。主要特征与传统机器人的控制方法不同，CPG主要特征有：（1）可以在无节律信号输入、无反馈信息及缺少高层
2022-05-05 11:33:47
3718
原创 vrep学习笔记--模型纠正
vrep学习笔记1、物理引擎2、object动态属性1、物理引擎在使用newton物理引擎时，需要将所有关节的model设置为 position is cyclic.2、object动态属性1）可以通过一个按钮直接设置不同物体材料的密度，来改变物体的质量。2）mass：直接输入物体的质量。3）principle moment ofinertia/mass：主要转动惯量/质量这里输入的是主转动惯量除以质量之后的数据。4）转动惯量矩阵：输入的是转动惯量矩阵除以质量之后的数据。...
2021-11-19 11:31:41
842
原创 卸载旧版本的CTEX
如何完全卸载CTEX如何下载旧版本的CTEX最近写文章，自动化学报要求用ctex，所以下载了官网的ctex安装包，安装后发现版本太老了，想卸载后安装最新版本的，，结果，，，，，，，，，发现卸载不了，，寻找解决办法又消耗了一下午的时间。现在将解决办法记录下来，以供大家参考：如何下载旧版本的CTEX寻找之路很麻烦，，但是操作很简单：（1）Windows+R,然后输入regedit；（2）用注册表搜索先搜索ctex,删除所有对应的键值；（3）然后再搜索2.04.006,会找到一个键值,其对应的安装信息
2021-06-18 17:27:10
3174
原创 多线程、并行、多进程、异步、同步
多线程和并行的理解及区别1、什么是多线程2、什么是并行3、其他概念由于需要，最近要用到dppo(Distributed Proximal Policy Optimization)算法。Google deepmind论文中多个机器人传递给中央大脑的是在不同环境收集数据的梯度gradient，然后中央大脑利用得到的梯度进行更新；而openai的文论用的是单线程，莫烦将这两个结合，写出了多线程的DPPO算法，多个机器人将自己的transition传递给中央大脑，而非gradient，然后中央大脑根据多个机器
2021-04-25 10:32:17
664
原创 TensorFlow函数-02
TensorFlow函数-021、tf.distributions.Normal()2、log_prob(value)3、tf.stop_gradient(input,name=None)4、tf.clip_by_value(A, min, max)5、tf.squeeze(input,axis=None,name=None)1、tf.distributions.Normal()该函数定义了一个正态分布。tfp.distributions.Normal( loc, scale, validate_ar
2021-04-25 10:31:13
1507
2
原创 python-01
使用Python小经验1、self.variable_name与variable_name使用区别2、from…import * 语句与 import 区别三级目录1、self.variable_name与variable_name使用区别在编写代码的时候，什么时候用self.variable_name,什么时候用variable_name?比如已经定义了两个函数：def a_function():def b_function():如果使用了self.variable_name,那么在两个函
2021-04-25 10:30:46
85
2
原创 python3 100例收获
Python3 100例一、1-101、tab键转义2、复制3、格式化当时时间二、11-20三、21-30四、41-50五、51-60六、61-70七、71-80九、81-90十、91-100一、1-101、tab键转义\tprint(‘sssssss’,end=’ ')输出的内容用空格或者tab键隔开print('{}*{}={}'.format(j + 1, i + 1, (i + 1) * (1 + j)),end=' ')2、复制import copya = [1,2,3,4,
2021-04-25 10:30:21
576
原创 numpy函数-02
numpy函数1、np.ravel()2、numpy.random.seed()的使用3、1、np.ravel()将多维数组降为一维import numpy as npa = np.array([[1, 2], [3, 4]])b = np.ravel(a) # 或者写成 a.ravel()print('a:', a)print('b:', b)结果为：2、numpy.random.seed()的使用seed( ) 用于指定随机数生成时所用算法开始的整
2021-04-25 10:29:38
231
原创 TensorFlow学习笔记-02--建造我们第一个神经网络
TensorFlow学习笔记-02二、建造我们第一个神经网络1、添加神经层 def add_layer()2、建造神经网络3、结果可视化二、建造我们第一个神经网络1、添加神经层 def add_layer()添加神经层，需要权重Weights，偏差biases，激励函数。关键部分是确定好权重Weights、偏差biases的shape。示例代码如下：def add_layer(inputs, in_size, out_size, activation_function=None): Wei
2021-04-25 10:29:09
234
原创 Ubuntu16.04系统使用过程中遇到的问题
Ubuntu系统使用中遇到的问题1、卸载多余的内核二级目录三级目录1、卸载多余的内核首先，查看当前使用的内核版本号：uname -r然后，查看目前电脑上的所有已安装内核：sudo dpkg --get selections|grep linux最后，删除不要的内核镜像：sudo apt-get remove linux-image-要删除的内核版本二级目录三级目录...
2021-04-25 10:28:30
122
原创 多进程强化学习训练踩坑记录
使用强化学习训练足式机器人历程记录使用强化学习训练足式机器人2021.4.13目前主要存在两大问题:1)训练出来的神经网络与机器人初始位置有关系2)15°爬坡爬不上去
2021-04-25 10:22:35
520
原创 卷积神经网络(Convolutional Neural Network)
@[TOC](卷积神经网络( Convolutional Neural Network))这一部分用来记录自己比较随意的学习内容，偶尔想到或者遇到什么，想搞懂就踏上了征程。1、基本结构组成介绍(1)卷积神经网络非各层中的神经元是三维排列的:高度、宽度和深度，其中在卷积神经网络中的深度指的是激活数据体的第三个维度，而不是整个网络的深度。整个网络的深度指的是网络的层数。卷积神经网络的常用架构框架可表示为:**INPUT -> [[CONV]*N -> POOL?]*M -> [FC
2020-11-29 14:48:10
873
原创 在服务器上创建新用户
服务器创建新用户1、创建新用户并查看2、修改权限1、创建新用户并查看sudo adduser 用户名 # 创建新用户cat /etc/passwd # 用来查看Ubuntu上的用户列表，有你所建立的用户，则说明用户建立完成```2、修改权限sudo gedit /etc/sudoers #打开一个文件，进行权限修改在文件所处位置添加你所在用户的root权限root ALL=(ALL) ALL用户名 ALL=（ALL）ALL #不一定是此格式，看着上面其他用户
2020-09-23 21:56:13
1556
原创 paper4-DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills
DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills1、文章理解2、收获3、总结1、文章理解2、收获3、总结
2020-09-15 21:59:50
322
原创 个人pc远程连接服务器步骤（ssh）
使用ssh远程连接服务器1、安装ssh1).sudo apt-get purge openssh-server2).sudo apt-get install openssh-server3).sudo ps -e|grep ssh4).ssh xxx@IP5).exit2、在pycharm上配置ssh3、在pycharm上上传下载文件4、结束1、安装ssh1).sudo apt-get purge openssh-server卸载已经安装的openssh-server 。2).sudo apt-ge
2020-09-06 22:22:12
2347
原创 vrep关节类型和运行
vrep关节控制1、the joint is not force/torque mode2、the joint is in force/torque mode1)、the joint's motor is enabled,but the control loop is disabled2)、the joint's motor is enabled,and the control loop is enabled3、总结控制关节的方式取决于关节的模式，下面通过不同关节的模式进行控制分析：1、the join
2020-09-05 15:37:14
3551
5
原创 Ubuntu16.04强化学习配置环境
配置环境1、安装显卡驱动（1）禁用nouveau。(2)禁止连接WiFi（3）下载驱动文件并指令安装。2、cuda(10.0版本的)3、安装cudnn以及测试是否安装成功（7.4版本的）4、安装TensorFlow-gpu（1.14版本的）5、结束Ubuntu16.04系统安装好之后，研究强化学习，进行强化学习训练，跑代码，需要对我们电脑进行强化学习环境配置！1、安装显卡驱动（1）禁用nouveau。打开终端输入：sudo gedit /etc/modprobe.d/blacklist.conf在
2020-09-01 21:57:39
703
原创 paper3-Asynchronous Methods for Deep Reinforcement Learning
这里写目录标题一、新收获1、对文章段落的理解和收获abstract(1). Introduction(2). Related Work(3). Reinforcement Learning Background(4). Asynchronous RL Framework(5). Experiments(6). Conclusions and Discussion二、总结一、新收获1、对文章段落的理解和收获abstract(1). Introduction(2). Related Work(3).
2020-09-01 20:51:14
352
原创 python 多线程multi threading 模块
python 多进程模块一、莫烦Python教程二、multiprocessing 常用方法：1、multiprocessing.cpu_count()二级目录三级目录一、莫烦Python教程二、multiprocessing 常用方法：1、multiprocessing.cpu_count()cpu_count():统计电脑CPU核数multiprocessing.cpu_count()二级目录三级目录...
2020-08-25 15:35:53
454
原创 TensorFlow函数-01
TensorFlow函数1、tf.one_hot()2、tf.placeholder()3、tf.matmul（a,b）4、tf.multiply（a,b）5、tf.math.squared_difference(x,y,name=None)6、tf.reduce_mean()7、tf.get_collection(key,scope=None)8、tf.assign(ref, value, validate_shape=None, use_locking=None, name=None)9、这篇文章呢用
2020-08-24 14:08:29
144
原创 安装Ubuntu系统软件
Ubuntu系统软件安装1、vrep2、pycharm3、qq for Linux4、pytorch5、kazam1、vrepvrep：这个软件有Linux系统的安装包，点击官网直接下载安装。但是我发现有一个问题，最近安装的vrep运行的时候，不是特别流畅，反应有点慢，一帧一帧之间有明显的停顿。参考链接：点击此处2、pycharm这里是说Ubuntu系统的pycharm专业版，这里推荐一个公众号，里面有具体的步骤。关注微信 值南针，然后回复1933，会推送出Ubuntu系统pycharm专业版的
2020-08-08 18:21:44
435
原创 paper2-Policy Gradient Methods for Reinforcement Learning with Function Approximation
Policy Gradient Methods for Reinforcement Learning with Function Approximation一、新收获1、对文章段落的理解和收获abstract(1)、Policy Gradient Theorem二、问题残留--待解决1、三、结束一、新收获1、对文章段落的理解和收获abstract直接指出policy gradient是根据期望奖励的梯度更新参数的。本文提出的主要新方法为：梯度可以 以近似作用值（an approximate act
2020-08-05 09:56:59
730
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人