- 博客(35)
- 收藏
- 关注
RSS订阅原创 强化学习算法总结 3（截止PPO2）
*基于价值：**Q-learning 是处理有限状态的，而DQN可以解决连续状态的问题 通过对值函数的学习，学习值函数，然后根据值函数导出一定的策略**基于策略：**通过显式去学习策略。
2023-09-06 10:47:36
212
原创 强化学习算法总结 2
待解决问题分解成若干个子问题，先求解子问题，然后得到目标问题的解需要知道整个状态转移函数和价值函数，状态空间离散且有限Vs。
2023-09-05 14:49:31
253
原创 DL学习笔记2.1 PyTorch数据生成
每次数据的操作，都会重新分配内存，这对于数据量庞大的ML来说，这是很不可取的。这里对a和b分别进行了扩展，是复制操作。**广播机制：**执行按照元素操作。所以：Y[:] =
2023-07-23 20:12:42
88
原创 强化学习笔记-TRPO（1）基础理论部分
策略梯度算法，是一个强化学习中非常重要的算法，他描述的是πa∣sθ,即，在网络参数为θ时，当状态（环境）为s时候，采取哪种状态a∇θ∇VπsEAπ∇θ∇lnπA∣Sθ∗QπSA)] 存在一个常数b，它不依赖于action AEAπ∇θ∇lnπA∣Sθ∗bb∗EAπ∇θ∇lnπA∣Sθ根据期望的定义b∗a∑πA∣Sθ∗∇θ。
2023-07-23 19:23:36
134
原创 强化学习笔记-TRPO（1）基础理论部分
策略梯度算法，是一个强化学习中非常重要的算法，他描述的是πa∣sθ,即，在网络参数为θ时，当状态（环境）为s时候，采取哪种状态a∇θ∇VπsEAπ∇θ∇lnπA∣Sθ∗QπSA)] 存在一个常数b，它不依赖于action AEAπ∇θ∇lnπA∣Sθ∗bb∗EAπ∇θ∇lnπA∣Sθ根据期望的定义b∗a∑πA∣Sθ∗∇θ。
2023-06-08 16:34:30
97
原创 强化学习 （1）基本概念和多臂老虎机中探索和利用的平衡
通过数据预测概率分布： 根据数据进行预测-有监督学习，生成数据实例- 无监督学习 都是进行数据分布的预测决策类型环境中采取行动（RL）行动延伸到环境中会产生改变。转换到新的状态随着时间推移，不断的累计奖励这些算法中超参数很多，比如初始概率，个人还是认为设置为1合适一些，这样的话有利于前期进行一些探索。如果这个数值设置为0,5,会对时间衰减影响的结果比较明显。
2023-04-17 18:05:06
215
原创 VIM的学习笔记
vim.是一个比较神奇的东西,可能最初会因为退出都很困难的一个神奇的编译器.当时用ubuntu还是做ros(一个机器人的库吧算是),后来使用了vscode舒服很多.直到后来打算自己搭建服务器,搞了一个centOS.只能用vim,觉得这个东西还是很好用的.而且那种使用起来快速飞行的感觉真的很棒.所以现在决定系统学一下(主要是用一下一些语法和一些好用的快捷键)
2022-12-28 23:33:57
121
原创 速通过tensorflow1.X
tensorflow 1.Xtensoeflow虽然已经发布了2.0，但是1.0的代码结构却和2的差距很大，所以一天学一下结构。1.基本概念1.1 构建结构图图（graphs）来表示计算任务Session（绘画）来执行图tensor来表示数据Variable来维护状态图用于表示计算任务，其中由节点构成（operation），而每个节点可以由很多个Tensor，图需要在session中才可以被使用。%tensorflow_version 1.x # colab默认版本为t
2022-05-14 16:36:44
492
2
原创 深度学习_２
ML中的数学线性代数 线性代数面对的是连续数学而不是离散数学，在机器学习中占有很大的比重，线性代数的数学概念比大学所接触的要多很多概念，大学那些线性代数是不足以去满足机器学习要求的。标量，矩阵，张量这里只是写一些基础概念，对于大学甚至考研期间经常用的一些的基础知识就不进行赘述。标量 标量是一个单独的数字，不是１＊１的矩阵向量向量:是ｎ*1，或者１×ｎ如果我们把向量看成空间上的点，那么每个数字就是对应坐标轴的坐标x=[x1x2.xi]x = \begin{bmatrix
2021-07-09 22:37:57
349
3
原创 嵌入式－基于qt的tcp/ip实现（2）
嵌入式－基于qt的tcp/ip实现（2）源码链接走过路过，请帮忙点一下星星 ????服务器端实现创建新界面 ????右键点击工程文件夹，选择add new然后选择第二个，然后一直点即可，添加新的界面创建ui首先根据设计需求，画出一个界面，从左面进行拖拽之后点击上面的排版进行排布对每个实例进行更名与赋属性的修改然后一个ui就创建好了修改头文件和源码头文件添加套接字的头文件以及在类里面添加一个套接字对象#ifndef CLINT_H#define CLINT_H#
2021-05-31 20:53:43
327
2
原创 嵌入式－基于qt的tcp/ip实现
qt聊天界面的实现通过tcpip协议进行网络通信，通过qt框架进行搭建，有两个部分，客户端和服务器端，这里的qt设计是通过ui直接绘图（试了一下直接cpp，对于布局要求太高了）首先要下载qtcreator创建服务器端首先进行新建工程*然后点击上面那个new project这里一定要点denerate form然后工程就创建完成了设计界面在左面分别选取textedit两个,buttons两个，还有一个弹簧，放置在界面中然后点击左上角的就设计好了，上面的聊天框用于显示接
2021-05-28 23:40:49
638
3
原创 嵌入式tcpip(2)
基于qt的tcp/ipqt下的tcpip更趋向于一种信号和槽的概念，对原本的协议进行了封装，提供了sign函数，和槽的借口，对平台进行了更好的适配性服务器端服务器端也有两个套接字qtcpserverbind和listen链接在一起，统称为listen()客户端服务器端 qtcpsocketconnecttohost()客户端服务器端Qtcpsocket监听套接字Qtcpserverconnecttohost()主动和服务器进行链接如果链接成功会连接到服务器
2021-05-28 22:45:57
185
原创 嵌入式ANSI_C 文件管理
ANSI_C 文件管理主要是文件库，ANSI_C 封装了文件系统的调用，是linux c最基本的文件编程文件指针和流文件是一个永久储存，有序有名称的字节组成的集合指针FILE，可以对文件进行读写，关闭的操作。文件操作都是基于流这个概念的，当文件打开之后，流就和文件绑定在一起文件储存方式文件以文本方式储存ASCII文件，每个字节储存ASCII码，储存量大，操作及其的慢文本以二进制的方式储存linux储存文件的方式进程三个模式标准输入外设的输入，默认键盘读取数据
2021-05-26 19:46:33
226
原创 嵌入式网络通讯部分TCP/IP(1)
网络通讯TCP/IP协议族网络通信协议一共分为7层TCP/IP可以分为4层的应用层对应osi的应用层，会话层和表示层，传输层和网络互连层分别对应传输层和网络层tcp/iposi常见协议应用层应用层 表示层会话层传输层ftphttp传输层传输层tcp，udp网络互联层网络层ip主机到网络层数据链路层物理层以太网IP协议工作在网络层，负责数据包的传输管理，主要用于寻址和分段。ip协议可以根据目的地址选择报文在网络中的传输路径。ip的
2021-05-26 19:34:29
586
原创 linux嵌入式开发：堆栈
linux 应用程序编程基础linux 中通过shell让用户和内核进行交流，这里就主要讨论内存内存管理和使用嵌入式系统中因为内存资源十分有限，所以在做嵌入式系统中要合理分配自己的内存资源堆栈应用程序内存区域功能名称功能text代码区静态数据data全局初始化数据区bss未初始化数据dec十进制总和hex十六进制总和filename文件名字计算机应用程序可以分为两个部分存放代码的代码段存放用户写的代码
2021-04-14 20:01:27
239
原创 ubuntu虚拟机于双系统
双系统&使用虚拟机装linux系统（黑屏问题）这里使用的是ubuntu16.04，虽然比较老了，因为这个版本的问题以及bug基本上已经完善，网上关于开发资料已经比较完善了，所以就是用的他的镜像。其实ubuntu18也是一个不错的版本。虚拟机黑屏遇到黑屏问题可以打开文件夹，把这个.lck文件删掉，然后重启虚拟机配置这里采用的是vmware点击新建虚拟机(左上角))]然后下一步这里选择对应的系统，（kali选择Debian），ubuntu选自己就
2021-04-08 09:20:31
1127
原创 设备树实验：仿写设备树；理解设备树语法
设备树实验通过上一节基本语法的学习，这次通过实战去联系一下设备树的描写初始结构关键字compatible用于说明节点的名称，前三行就是描述出厂商和产品名字的添加cpu这里添加两个cpu都是arm cortex-a9框架的（我的这个才是a7单核的，，，酸了酸了酸了每个}后面一定要跟分号**;**/ { compatible = "acme,coyotes-revenge";cpus{cpu@0{compatible = "arm,cortex
2021-03-10 23:17:24
240
1
原创 驱动实验（1）字符设备驱动实验
驱动实验（1）字符设备驱动实验练习字符设备驱动的两种模板之后，编写一个字符驱动程序chartest虚拟设备：由驱动程序4管理，所指向的设备是64号设备，类似于串口终端或者字符设备终端创建文件#include <linux/types.h> #include <linux/kernel.h>#include <linux/delay.h> #include <linux/ide.h> #include <linux/init.h>
2021-02-21 21:57:50
418
原创 linux设备树（1）理论部分
linux设备树（1）理论部分参考文档设备树（device tree）是一种描述硬件的数据结构，linux和硬件交互的文件，由节点和其对应属性构成，就是一个硬件描述树，然后BootLoader把他传递给内核，内核给他们分配资源DTS，DTC，DTBdts是ascii文件格式的设备树描述对应文件的位置信息dtb是二进制文件，linux内核解析dtc是dts编译成dtb的工具设备树文件的编译makefile文件设备树文件dtsi文件每个soc为了适配不同
2021-02-17 22:16:58
147
2
原创 imx6ull字符设备驱动（1）
字符设备驱动（1）基于imx6ull以及其使用手册linux驱动外设主要分为字符设备感觉就是简单的i/o?以字节驱动为单位，顺序访问，字符设备面向流设备，蜂鸣器，led，鼠标，键盘块设备访问块设备时候，是以扇区过着块为基础，属于无序访问网络设备网络设备就是网络适配器等用来上网的设备网卡分为有线和无线两种字符设备驱动字符设备驱动在linux系统中有其规定的框架常规字符设备驱动为设备定义一个相关结构体初始化函数 xxx_init向系统申请设备号
2021-02-13 22:04:10
264
2
原创 驱动开发（2）-文件系统移植
嵌入式驱动开发基于topeet imx6ull根文件系统的构建根文件系统是一个可以运行的最小文件系统[^文件系统]。文件系统： linux文件系统中的文件包括数据和文件的结构，用户和程序能接触到的信息都在里面跟文件系统：内核驱动时候所挂载（mount）的第一个文件系统，之后会把一些初始化脚本和服务加载到内存中去运行名称功能/bin系统存放可执行文件的目录，在/bin目录下面可以被root和一般用户使用/dev外部设备的文件夹，操作这个文件夹相当于操作对
2021-02-03 16:27:08
131
原创 cpp学习笔记（1）
CPP学习笔记（1）基础沉淀——学习cpp进入cpp注释预处理与头文件预处理头文件namespace基础语法基础沉淀——学习cpp进入cpp相对于以前的c来说，cpp有很多新的特点，比如输出coutfuntion ‘main’int main(){ pikapika return 0;}第一行的int main的函数头，下面是他的内容C++要求main()的定义要从函数头开始int是返回类型，返回给调用函数的信息最后一句是返回指令，它用于结束该函数注释
2021-02-01 23:08:04
310
原创 imx6嵌入式驱动入门
第一个驱动基于迅为imx6ull驱动包含头文件驱动模块的入口和出口声明信息功能实现代码实现包含头文件驱动模块的入口和出口声明模块拥有开源许可功能模块#include <linux/init.h> //包含头文件#include <linux/module.h> //包含初始化加载的头文件static int hello_init(void){ printk("hello world \n"); re
2021-01-27 09:51:39
378
原创 SIMULINK
simulink 学习笔记（一）simulink 入门新建模型新建模型simulink 入门最近想在simulink上面搭建一个机器人，学一下仿真技术，正好今年的自动控制原理和电机拖动系统要去做实验，入门一下=V=。新建模型在matlab下面输入simulink，就可以直接打开simulink也可以打开上面的快捷按键打开simulink新建模型点击上面的小加号，建立一个新的模型窗口打开后的界面如下，然后直接添加模型就好了这里链接一个二阶系统输入是一个阶跃信号，看一下阶跃响应看
2021-01-27 09:37:23
3734
原创 神经网络（二）：matlab实现
GRNN RBF PNN 的matlab实现（学习笔记）例子源自于https://www.bilibili.com/video/BV1Hx411M7Qw?from=search&seid=2046861666796360058RBF径向基神经网络清空，导入数据数据 clear all clc然后load spectra_data.mat进行数据的导入生成训练...
2020-05-06 15:42:04
2400
原创 ROS+qt入门（一）：发布器的编写
ROS+QT的使用环境报错/opt/ros/kinetic/share/catkin/cmake/catkinConfig.cmake:83: error:Could not find a package configuration file provided by “qt_build”with any of the following names: qt_buildConfig.cma...
2020-04-28 19:12:00
850
原创 神经网络（一）：GRNN广义回归神经网络理论概念笔记
GNRR广义神经网络以及相关概念只是大自然的搬运工，算法网上普天盖地，把自己对算法的理解加到了这个帖子里面把GNRR和RBF做一个对比，就会发现有以下区别：1.在实现上面，GNRR仅与RBF的输出层不同2.都对非线性数据具有很好的拟合效果3.在实际拟合过程中，数据比较优秀的时候，RBF的效果很好，不过在数据精准度比较差的时候，GNRR有很大优势，因为GNRR用的非参数估计进行后续的概率处...
2020-04-28 12:28:09
4212
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人