云生死海-优快云博客

原创强化学习p4-Actor-Critic

我们知道状态价值函数Vπs∑aπa∣s⋅Qπsa，在策略学习中，我们用神经网络去近似π函数，得到策略网络πas;θ。但我们发现要更新训练策略网络时，需要动作价值qtQπqsa;w，其中w表示神经网络中可训练的参数。有了以上两个神经网络，我们就可以近似出Vπs∑aπa∣s⋅Qπsa≈∑aπa∣s;θ⋅qsa;wVπs;θw∑aπa。

2023-05-09 17:23:59 719

原创强化学习p3-策略学习

我们无法知道策略函数π所以要做函数近似，求一个近似的策略函数使用策略网络πa∣s;θ去近似策略函数πa∣s∑a∈Aπa∣s;θ1动作空间A的大小是多少，输出向量的维度就是多少。

2023-05-09 16:27:53 971

原创强化学习p2-价值学习

在 MDP 中，通常使用，给未来的奖励做折扣。UtRtγRt1γ2Rt2γ3Rt3...这里的γ∈01叫折扣率。对待越久远的未来，给奖励打的折扣越大。Ut是一个随机变量，随机性来自于t时刻之后的所有状态和动作假设我们已经观测到状态st，而且做完决策，选中动作at。那么Ut中的随机性来自于t1St1At1St2At2...SnAnQπst。

2023-05-09 15:11:31 1319

每个时刻，环境有一个，可以理解为对当前时刻环境的概括有时也被称为，因为有时智能体并不能观测到环境改变后的全部，只能观测到部分。是与智能体进行交互的对象，可以抽象地理解为交互过程中的规则或机制。是智能体基于当前状态所做出的决策。强化学习的主体被称为。通俗地说，由谁做动作或决策，谁就是智能体。是指所有可能存在状态的集合，记作花体字母 S。状态空间可以是离散的，也可以是连续的。状态空间可以是有限集合，也可以是无限可数集合。是指所有可能动作的集合，记作花体字母 A。

2023-05-09 13:48:00 2071

原创李沐动手学深度学习 v2 实战Kaggle比赛：预测房价

第一次这么正式写代码，把前面学习的知识复习了一下，之前感觉一些知识很模式，没怎么用过不太了解，总算实践了一下，但是plt这个画图工具还是不太熟悉，希望之后可以掌握一下，画图可能观察起来更直观。

2023-05-04 22:54:32 1400 2

原创 go mgo no reachable servers

记录一下 go用mgo连接mongodb的错误 no reachable servers。mongodb用的6最新版本不支持回退到4.4版本成功了。搜索一下午配置全对就是连不上。

2023-04-08 22:17:22 765

原创 HbuilderX配置Git插件

HbuilderX内部插件安装git安装TortoiseGit工具下载地址：https://tortoisegit.org/download/配置TortoiseGit 点击settings填入git位置HBuilderX安装git插件安装git插件git导入项目填入拉取的git项目地址确认HbuilderX插件市场easy-giteasy-git插件https://ext.dcloud.net.cn/plugin?id=2475#ratinghttps://e

2022-01-09 19:33:50 2462

原创 Android用户界面

项目目录新建一个项目编写Activity_main.xml文件编写MainActivity.java文件编写Activity_main2.xml文件编写Main2Activity.java文件运行结果输入姓名界面第二个界面显示“用户输入的姓名”+**好

2021-06-30 13:34:05 153

原创 Android的资源引用

Android中字符串、颜色和尺寸应用1.资源列表2.xml文件二、Android项目布局文件

2021-06-30 12:09:05 375

原创 Android Studio的安装环境搭建

1.去网站下载安装包不知道那个是官方的应该都可以吧https://developer.android.google.cn/studiohttp://www.android-studio.org/2.开始安装一路next就好傻瓜式安装安装路径不要带中文3.基本设置接下来，正常操作出现下面报错这里报错原因是你电脑没有SDK而且你下载的android studio又是不带SDK的这里我们先选cancel 跳过一下后面在设置添加SDK进入内部，选择Custom相当于自定义

2021-03-14 15:52:23 422

原创 Tomcat 下载安装

https://mirrors.cnnic.cn/apache/tomcat/tomcat-9/v9.0.39/bin/下载tomcat9文件win64版本下载好后解压解压文件配置环境变量运行目录bin下的startup.bat控制台信息访问http://127.0.0.1:8080/出现页面，tomcat启动，部署成功shutdown.bat可以关闭tomcat服务conf目录下server.xml可以修改访问的端口号...

2020-11-09 22:23:15 207

原创 go gdal库配置应用

最近要用go写一个应用gdal库的程序，go的gdal库文档资料很少，记录一下，自己摸索的过程。需要用到cgo 要编译gdalwindows的环境一直编译这块处理很麻烦一直出现问题最后换成到linux有解决的可以分享出来：）环境 Ubuntu18.4下载安装GDAL通过 apt-get 下载安装sudo apt-get install libgdal-dev执行上面的命令，用于安装 GDAL 的开发环境可通过gdal-config 命令来查看 GDAL 的相关配置头文件路径默认安

2020-08-17 21:14:28 1789

原创 python gdal 读取文件的一些函数使用

gdal_array 可以直接把文件读取成数组from osgeo import gdal_arraydata = gdal_array.LoadFile(DataFilename)若只需读取文件部分大小可使用gdal ReadAsArraygdal ReadAsArray支持按块读取影像，有两种方式：datasetdataset = gdal.Open(file, gdal.GA_ReadOnly)data = dataset.ReadAsArray(xoff=0, yoff=0, xsi

2020-08-14 10:57:50 2845

原创 Linux内核实验 (内核编译)添加系统调用

操作系统实验作业，顺便记录一下过程就不具体说一些概念了。实验目标通过分析Linux内核源代码和新增一个系统调用的方式，达到对操作系统软件结构及其系统调用实现原理的深入理解，并基本掌握操作系统的改造方法实验环境VM虚拟机上搭建的 Ubuntu18.04编译的内核是 linux4.16.10 版本可以根据需要去官网下载，给出2个内核版本linux-4.16.10.tar.xzinux-4.16.8.tar.gz实验过程先安装相关的依赖sudo apt-get install build-

2020-05-13 22:16:28 2865 1

原创 vscode+cmake 环境配置详解

环境配置windows环境vscode 下载地址https://code.visualstudio.com/docs/?dv=wincmake 下载地址 https://cmake.org/download/cmake官方下载可能较慢可以这里下载还需要配置gcc，make网上找一下mingw 下载一下下载安装比较简单一路next，配置一下下载路径就好，这里不过多赘述注意一下 ...

2020-05-07 20:01:00 8896 2

原创内核模块实验通过module添加Hello World内核模块

内核模块实验 Hello World文章目录内核模块实验 Hello World前提配置程序编写编译与加载内核符号表初始化与清理函数hello world 模块加载举例内核模块机制的实现模块在内核中的表示模块的加载与卸载模块的加载模块的卸载内核模块显示进程控制块信息实验环境 ubuntu前提配置在系统命令行shell下安装当前版本得linux内核代码sudo apt-get instal...

2020-05-03 21:01:58 1105

原创 (1)Linux程序基本开发 --编辑器使用，gcc介绍与使用

Linux程序基本开发Vi/gedit编辑器的使用vi/vim 的使用gedit 的使用Vi/gedit编辑器的使用vi/vim 的使用基本上 vi/vim 共分为三种模式，分别是命令模式（Command mode），输入模式（Insert mode）和底线命令模式（Last line mode）。这三种模式的作用分别是：命令模式：用户刚刚启动 vi/vim，便进入了命令模式。此状态...

2020-04-27 16:44:51 944

原创 linux基础命令介绍

由于要写一篇实验报告需要一些linux命令的介绍所以有了本文写(水)一篇linux基础命令介绍Linux常用命令的使用用户管理命令1.增加用户账号useradd命令2.修改用户usermod命令3.删除用户userdel命令4.更改密码passwd命令5.切换用户su命令文件操作命令1.查看目录内容ls命令2.切换目录cd命令3.当前路径pwd命令4.新建目录mkdir命令5.删除目录rm...

2020-04-22 14:35:29 766

原创 linux 更换apt国内源

打开配置文件sudo vim /etc/apt/sources.listsudo vi /etc/apt/sources.listsudo gedit /etc/apt/sources.list替换里面的内容可先备份sudo cp /etc/apt/sources.list/etc/apt/sources.list.bakdeb http://mirrors.ustc.edu....

2020-04-07 16:42:35 4957 3

原创 linux下sudo权限问题等报错

liunx新建了一个用户使用sudo命令出现了这样的问题xxxis not in the sudoers file. This incident will be reported.解决方法就是在/etc/sudoers文件里给该用户添加权限切换到root用户下su root然后输入密码更改sudoers文件权限etc/sudoers文件默认是只读的，对root来说也是，因此需...

2020-03-28 16:06:38 513

原创 go mod 环境问题 dial tcp 216.239.37.1:443: connectex: A connection attempt failed

最近系统坏了从新配go环境用go mod 时出现dial tcp 216.239.37.1:443: connectex: A connection attempt failed这种错误查询无果最后是因为set GOSUMDB=sum.golang.org先go env 看 GOSUMDB 的配置go env -w GOSUMDB=off把他关掉就好了代理推荐go env -...

2020-03-25 19:53:43 11626 6

原创 hasura graphql 查询学习

https://hasura.io/docs/1.0/graphql/manual/index.html

2020-03-24 18:14:06 1647

原创 Python切换pip镜像源(windows)

1.windows文件管理器中输入“ %APPDATA%2.查看目录里有没有pip文件夹，如果没有就新建一个，找到里面的pip.ini文件，没有就自己新建一个。3.写入如下内容[global]index-url=http://pypi.douban.com/simple/[install]trusted-host=pypi.douban.com保存4.添加环境变量到path所...

2020-03-22 21:57:10 684

原创 ubuntu18.04 安装图形界面

给Ubuntu服务器安装图形化界面sudo apt-get updatesudo apt-get install ubuntu-desktop #安装桌面软件reboot #重启一直回车确认就行了过程可能有点慢提示 apt-get update重启 reboot结果还是无法启动图形界面错误原因应该是apt的源不行换成了apt阿里源cd /etc/apt/sudo...

2020-03-20 23:14:11 17018

原创在windows下flex和bison环境搭建

最近想学习一些flex和bison，想在windows下使用，于是有了这篇flex和bison在windows下的环境配置下载flex和bisonflexbison里面Complete package, except sources 就可以直接下载flex和bison安装傻瓜式下载改一下你想下载到的路径一路next就行了添加一下环境变量路径是安装文件目录的根目录的bin文件...

2020-03-11 15:43:08 4065 2

原创 Linux安装redis和部署

第一步：下载安装包wget http://download.redis.io/releases/redis-5.0.5.tar.gz第二步：安装tar -zxf redis-5.0.5.tar.gzpwd查看当前目录pwd选择好安装路径进入解压文件目录使用make对解压的Redis文件进行编译不幸报错错误一解决办法make MALLOC=libc错误二权限...

2020-03-09 23:57:58 132

原创 redis.conf 配置解析

redis.conf 配置解析(设置红色的基本就可以自己用了,bind配置0.0.0.0后要在/etc/sysconfig/iptables配置相应的端口)：daemonize：如需要在后台运行，把该项的值改为yespdifile：把pid文件放在/var/run/redis.pid，可以配置到其他地址bind：指定redis只接收来自该IP的请求，如果不设置，那么将处理所有请求，在生产环...

2020-03-09 23:25:27 154

原创搭建一个自己图床网站

最近没有什么事情，就心血来潮搭建一个图床玩玩应用Chevereto工具可以快速搭建用docker快速拉取搭建，方便快捷下面的操作涉及docker，需要在root权限下执行如下操作。1.安装docker和compose（容器的编排工具）yum install docker-latestcurl -L "https://github.com/docker/compose/releases/...

2020-03-01 23:55:04 2008 9

原创 hellos操作系统

开发环境搭建在liunx上开发VMware虚拟机linux系统unbuntu16.04bochs（x86模拟器）（用它来运行自己写的操作系统）（官网下载，版本2.6.11）nasm编译器（把汇编文件编译为二进制文件）（安装再ubuntu中）（sudo apt-get install nasm）。思路0.搭建环境1.编写汇编文件2.nasm生成可执行文件3.制作虚拟软盘映像文件...

2020-02-20 15:07:08 415

原创 postgresql生成日志数据库

1.启用pg_log并配置日志参数log_destination = ‘csvlog’logging_collector = onlog_directory = ‘pg_log’log_filename = ‘postgresql-%Y-%m-%d_%H%M%S.log’log_rotation_age = 1dlog_rotation_size = 100MBlog_min_mes...

2020-02-19 17:27:24 608

原创 docker pg数据库开启日志

docker pg数据库开启日志进入docker中的pg数据库查询容器的 iddocker ps然后进入容器docker exe -it id /bin/bash进入pg数据库psql -U postgresshow logging_collector; --是否开启日志收集show log_destination; --查看日志记录类型show log_direc...

2020-02-19 14:43:10 2318

原创 linux下的汇编环境搭建（nasm）

linux下的汇编环境搭建（nasm）先判断系统是否已经安装了nasm打开终端，执行whereis nasm如果显示nasm: /usr/bin/nasm ，则已经安装；如果不存在，则未安装。去官网下载最新版本的源码编译http://www.nasm.us/如nasm-X.XX. ta .gz，X.XX.是版本号。开始安装，首先将下载得到的压缩包，解压：tar xzvf na...

2020-02-17 11:45:32 1095

原创 Linux添加环境变量

方法一用export命令，输入export PATH="$PATH:/opt/au1200_rm/build_tools/bin这种添加环境变量只是临时添加不是永久添加方法二修改profile文件，输入vi /etc/profile再文件中添加export PATH="$PATH:/opt/au1200_rm/build_tools/bin`...

2020-02-17 11:36:07 111

原创 glang 字符串切割

glang 字符串切割strings.Trimfunc Trim(s string, cutset string) string返回将 s 前后端所有 cutset 包含的 utf-8 码值都去掉的字符串。strings.Splitstrings.Split(str, “分隔符”)string转换intstring转成int：int, err := strconv.Atoi(str...

2019-11-02 16:15:52 256

原创快速排序以及一些优化

快速排序一些优化随机化小区间插入排序聚拢重复元素随便写写#include <iostream>#include <algorithm>#include <cstdio>using namespace std;typedef long long ll;const int INF = 1e9 , N = 1e7;int a[N],n;void qs...

2019-09-19 19:12:25 167

原创 java-自定义模拟LinkList

java-自定义模拟LinkList学习java 模拟一下LinkList的实现只做了一下简单的方法增添查找(删除偷懒没写后续可能补上)toSring没有做实现理解一下链表的过程和处理思路后续留坑完善源码的查找:运用了2分前后查找增强效率减少时间有时间尝试实现package MyCollection;/* * @Auther: zpf * @Date: 2019/7/1...

2019-07-13 12:19:39 177

原创 java-自定义模拟ArrayList

java-自定义模拟ArrayListpackage MyCollection;/* * @Auther: zpf * @Date: 2019/7/12 * @Description: MyCollection * @version:1.0 */import java.lang.reflect.Array;import java.util.Arrays;public clas...

2019-07-12 19:23:46 386

原创线性表链式存储结构

线性表链式存储结结构简单介绍一些链表的功能结构定义typedef int ElemType;typedef int Status;typedef struct Node{ ElemType data; struct Node *next; }Node;typedef struct Node *LinkList;查找操作Status GetElem(LinkList L,i...

2019-04-16 22:39:01 122

原创线性表——顺序存储结构功能实现

文章目录线性表线性表的抽象数据结构类型线性表的顺序存储结构顺序存储定义顺序存储方式顺序存储插入与删除线性表顺序存储结构的优缺点优点缺点完整代码线性表线性表：零个或多个数据元素的有限序列。线性表分为顺序存储方式和链式存储方式。这里我们主要实现顺序存储方式的线性表及其一些功能。线性表的抽象数据结构类型线性表属一种抽象数据类型，如int，float，double一样只是结构更加复杂一...

2019-04-14 22:04:20 1009