- 博客(58)
- 收藏
- 关注
RSS订阅原创 p01 【一张图讲完强化学习原理】 30分钟了解强化学习名词脉络
课程目标：通过一张图讲解强化学习原理，帮助学习者在30分钟内了解强化学习的名词脉络。讲师信息：西湖大学赵世钰教授主讲。学习资源GitHub：https://github.com/MathFoundationRL/Book-Mathmatical-Foundation-of-Reinforcement-Learning（最新材料）百度网盘：https://pan.baidu.com/s/1kNxM8sl8FUWV6SiiGIep3Q?pwd=ghx8e=3MbtmD强化学习基本概念。
2026-06-11 11:52:27
201
原创 p12 3.3 学习状态值函数_cdn
编号知识点一句话解释1状态-动作值函数QsaQ(s,a)Qsa表示在状态sss下执行动作aaa的长期期望回报2神经网络输入结构将状态sss和动作aaa拼接成12维向量作为输入3one-hot 编码动作用4维向量表示4个离散动作，实现动作的数值化4贝尔曼方程QsaRsγmaxa′Qs′a′QsaRsγmaxa′Qs′a′，用于构建训练目标5监督学习视角将强化学习转化为fx≈yfx≈y的回归问题6。
2026-06-05 17:44:05
204
原创 p11 3.2 登月器_cdn
时间点：[00:00]月球着陆器（Lunar Lander），用于演示在连续状态空间中进行决策的问题。智能体是一个模拟的登月舱，在重力作用下从空中下降，需选择合适的推进器动作实现平稳着陆。环境包含两个着陆垫（由黄色旗帜标记），目标是安全降落在指定区域。注：此图为课程标题页，标明主题为“Continuous State Spaces”与“Lunar Lander”。时间点：[00:29] ~ [03:55]sxyx˙y˙θθ˙lrx \\y \\\dot{x} \\
2026-06-05 14:34:54
204
原创 p09 2.4 random stochastic e_cdn
在真实世界中，智能体的动作可能不会总是成功执行，例如机器人滑倒、传感器失灵等。这种不确定性称为“随机性”或“随机环境（stochastic environment）”。智能体在状态 $ s $ 执行动作 $ a $ 后，下一状态 $ s’ $ 不是确定的，而是以一定概率分布出现。重要概念/术语：随机环境（Stochastic Environment）：指智能体执行动作后，下一状态具有概率分布，而非确定性转移。失误概率（Misstep Probability）
2026-06-05 10:59:48
202
原创 p09 2.4 random stochastic e_cdn
在真实世界中，智能体的动作可能不会总是成功执行，例如机器人滑倒、传感器失灵等。这种不确定性称为“随机性”或“随机环境（stochastic environment）”。智能体在状态 $ s $ 执行动作 $ a $ 后，下一状态 $ s’ $ 不是确定的，而是以一定概率分布出现。重要概念/术语：随机环境（Stochastic Environment）：指智能体执行动作后，下一状态具有概率分布，而非确定性转移。失误概率（Misstep Probability）
2026-06-05 10:52:59
189
原创 p08 2.3 贝尔曼方程_cdn
Q(s,a) $ 表示在状态 $ s $ 下执行动作 $ a $ 后所能获得的期望回报。回报包括：当前状态的即时奖励 $ R(s) $之后所有时间步的折扣奖励总和假设从该动作后开始采取最优行为。编号知识点解释1$ Q(s,a) $ 定义表示在状态 $ s $ 执行动作 $ a $ 后的期望回报，假设之后行为最优。2贝尔曼方程$ Q(s,a) = R(s) + \gamma \max_{a’} Q(s’,a’) $，连接当前奖励与未来最优价值。3。
2026-06-04 18:00:45
211
原创 p07 2.2 状态-动作价值函数示例_cdn
使用的是 Coursera 提供的 Jupyter Notebook 工具可以交互式地修改参数并查看结果核心代码结构如下：gamma = 0.5 # 折扣因子misstep_prob = 0 # 失误概率，暂时设为0注：该截图展示了实验代码的基本框架，包括状态数、动作数、奖励和折扣因子等参数定义。状态-动作价值函数QsaQ(s,a)QsaQsaE∑t0∞γtrt∣s0sa0aQsaEt0∑∞γtrt∣s0。
2026-06-04 17:09:58
341
原创 6 2.1 状态-动作价值函数定义_cdn
本节课介绍了强化学习中的核心概念——状态-动作价值函数（State-action value function），即QsaQ(s,a)Qsa。通过一个一维网格环境的示例，讲解了如何计算在特定状态采取特定动作后的期望回报，并展示了该函数如何用于指导最优决策。课程重点在于理解QsaQ(s,a)Qsa的定义、其与最优策略的关系，以及如何基于折扣因子γ\gammaγ计算具体数值。状态-动作价值函数记作QsaQ(s,a)Qsa，表示从状态sss出发，执行动作aaa。
2026-06-04 10:50:54
227
原创 论文推荐小助手代码详解
一个全自动的 AI 论文监控助手：每天自动抓 arXiv 顶会论文 → 筛选多智能体相关 → 让 AI 总结 → 推送到钉钉。len。
2026-05-28 11:20:04
28
原创 1、强化学习中的回报与策略
折扣因子一般是比1少一点的数，如0.9，0.99，0.999等，下面为了说明目的，暂且使用0.5的折扣因子，这将极大的降低未来奖励的权重，或者说极大的折扣了未来的奖励，因为每经过一个时间戳，你只能获得比前一步少一半的奖励信用。（你得到的奖励取决于奖励，而奖励又取决于你采取的行动，因此回报取决于你采取的行动）例2：如果总往右走，那么如果从状态4开始，（下图中第一个0右上角的4表示状态4）（更快的获得奖励可能比需要很长时间才能得到的奖励更具有吸引力）
2026-05-26 17:03:27
38
原创 day5-自动登录与Xpath解析数据
2.留足够长的时候，人工完成登录（必须得保证b指向的窗口的网页中能看到登录以后的信息）3.获取登录成功后的cookie信息，保存到本地文件。第三步：发送请求的时候在请求头中添加cookie值。第二步：获取这个网站登录后的cookie信息。第一步：人工对需要自动登录网页进行登录。1.创建浏览器打开需要自动登录的网页。2.获取本地保存的cookie。3.添加cookie。
2023-04-07 09:46:00
465
原创 python开启局域网传输
通过IP地址可以连接到指定计算机，但如果想访问目标计算机中的某个应用程序，还需要指定端口号。在计算机中，不同的应用程序是通过端口号区分的。端口号是用两个字节（16位的二进制数）表示的，它的取值范围是0。1023之间的端口号用于一些知名的网络服务和应用，用户的普通应用程序需要使用1024以上的端口号，从而避免端口号被另外一个应用或服务所占用。将需要传输的文件拖入上面创建的文件夹，之后刷新网页即可得到传输到的文件。创建的文件夹，之后刷新网页即可得到传输到的文件。
2023-04-03 19:27:54
1122
原创 day4-selenium
浏览器对象.b.find_elements(获取方式, 数据) — 返回符合条件的所有标签，结果是列表，列表中的元素是标签对象。浏览器对象.b.find_element(获取方式, 数据) — 返回符合条件的第一个标签，结果是标签对象。By.PARTIAL_LINK_TEXT - 通过a标签的标签内容获取标签。By.LINK_TEXT - 通过a标签的标签内容获取标签。1）输入框输入内容：输入框对应的标签.send_keys(‘内容’)
2023-04-01 00:09:52
579
原创 爬虫-day1-正则表达式作业
能够完全匹配字符串"go go"和"kitty kitty"，但不能完全匹配“go kitty”的正则表达式包括（AD）能够完全匹配字符串"(010)-62661617"和字符串"01062661617"的正则表达式包括（ABD ）能够在字符串中匹配"aab"，而不能匹配"aaab"和"aaaab"的正则表达式包括（BC）能够完全匹配字符串"back"和"back-end"的正则表达式包括（ABCD ）@#¥%^&*这些特殊符号。 要求: 1.用户名只能包含数字 字母 下划线。
2023-03-29 08:44:44
332
原创 day2-正则
2)findall(正则, 字符串) - 获取字符串中所有满足正则的子串，默认返回一个列表，列表中的元素是所有匹配到的子串（存在自动捕获现象）8)finditer(正则, 字符串) - 获取字符串中所有满足正则的子串，返回一个迭代器，迭代器中的元素是匹配对象。3)search(正则, 字符串) - 匹配第一个满足正则的子串,匹配成功返回匹配对象，匹配失败返回None。1)fullmatch(正则, 字符串) - 用整个字符串和正则，匹配成功返回匹配对象，匹配失败返回None。
2023-03-29 00:35:00
237
原创 day15-面向对象作业2
定义一个圆类，拥有属性：半径、圆心 拥有方法：求圆的周长和面积、判断当前圆和另一个圆是否外切。定义一个二维点类，拥有属性：x坐标、y坐标 拥有方法：求当前点到另外一个点的距离。定义一个线段类，拥有属性：起点和终点， 拥有方法：获取线段的长度。定义一个矩形类，拥有属性：长、宽 拥有方法：求周长、求面积。
2023-03-24 20:41:00
132
原创 day 6-列表
1）列表时容器型数据类型（序列），将[]作为容器的标志，里面多个数据用逗号隔开：[数据1，数据2，…]2）列表是可变的（可变指的是列表中元素的个数和元素的值可变 - 列表中的元素支持增删改）列表是有序的(元素有顺序对应的位置信息，元素顺序影响结果 - 列表支持索引操作)3）列表对元素的要求：没有要求，任何类型的数据都可以作为列表的元素。注：元素 - 容器中每一个独立的数据，就是这个容器的元素1）空列表list = [ ]字符串中加空格是字符串中的一个元素，列表中有空格也是空列表。
2023-03-24 20:40:28
169
原创 day 14-文件操作
计算机内存分为运行内存和硬盘两种：保存在运行内存中的数据就程序结束后会自动释放，保存在硬盘中的数据会一直存在（除非手动删除或硬盘损坏）
2023-03-23 21:26:59
590
原创 day 13-模块与异常
1）容器（是一种可以创建多个数据的容器），生成器中保存的是创建数据的方法，而不是数据本身。2）特点：a.打印生成器无法查看元素；b.不能通过len统计元素的个数;c.如果需要生成器中的数据，必须将数据取出，而且取一个就少一个3)生成器获取元素的方法和迭代器获取元素的方式一模一样python中一个py文件就是一个模块。包含__init__.py文件的文件夹就是包。
2023-03-22 19:24:02
131
原创 day12函数进阶作业
写一个函数将一个指定的列表中的元素逆序( 如[1, 2, 3] -> [3, 2, 1])(注意:不要使用列表自带的逆序函数)已经三个列表分别表示5个学生的姓名、学科和班号，使用map将这个三个列表拼成一个表示每个学生班级信息的的字典。已经列表points中保存的是每个点的坐标(坐标是用元组表示的，第一个值是x坐标，第二个值是y坐标）已经两个列表A和B，用map函数创建一个字典，A中的元素是key，B中的元素是value。编写一个函数，计算一个整数的各位数的平方和。2）获取列表中x坐标最小的点。
2023-03-21 22:12:27
132
原创 day 12-函数的进阶
1)迭代器是容器型数据类型（可以遍历，转换成列表），无法直接提供一个迭代器，只能将其他序列转换成迭代器2)特点：a.打印迭代器的时候无法查看到元素有哪些b.无法通过len获取迭代器中元素的个数c.如果要使用迭代器中的元素必须将元素从迭代器中取出来，取走的元素会从迭代器中永远消失（用一个少一个）3）任何数据都可以作为迭代器的元素。
2023-03-21 22:11:12
108
原创 day11-函数作业
写一个自己的rjust函数，创建一个字符串的长度是指定长度，原字符串在新字符串中右对齐，剩下的部分用指定的字符填充。写一个自己的index函数，统计指定列表中指定元素的所有下标，如果列表中没有指定元素返回-1。写一个自己的replace函数，将指定字符串中指定的旧字符串转换成指定的新字符串。编写一个函数，提取指定字符串中所有的字母，然后拼接在一起产生一个新的字符串。写一个自己的endswith函数，判断一个字符串是否已指定的字符串结束。写一个自己的upper函数，将一个字符串中所有的小写字母变成大写字母。
2023-03-21 00:24:21
103
原创 day 11-函数
函数就是实现某一特定功能的代码的封装。- 函数就把实现某个功能的代码打成一个包，以后再需要这个功能的时候，直接使用函数就可以了。（不同的函数可以提供不同的功能）1）函数分类a.系统函数：由系统创建好函数，只需要在需要它们提供的功能的时候去调用它，例如：print、input、max、type等b.自定义函数：由程序员自己创建的函数def 函数名(形参列表):函数说明文档函数体a.def - 关键字；固定写法b.函数名 - 程序员自己命名；两个要求：是标识符、不是关键字。
2023-03-21 00:21:20
122
原创 day 10-字符串
2）字符串1.replace(字符串2, 字符串3, N) - 将字符串1中前N个字符串2都替换成字符串3。1）字符串1.replace(字符串2, 字符串3) - 将字符串1中所有的字符串2都替换成字符串3。1)字符串1.split(字符串2) - 将字符串1中所有的字符串2作为切割点对字符串1进行切割。字符串1 in 字符串2 - 字符串1是否是字符串2的子串（字符串2是否包含字符串1）字符串 * N 、N * 字符串 - 让字符串中的元素重复N次产生一个新的字符串。
2023-03-19 15:27:28
203
原创 day10-字符串作业2
输入一个字符串，打印所有奇数位上的字符(下标是1，3，5，7…位上的字符)例如: 输入’abcd1234 ’ 输出’bd24’输入用户名，判断用户名是否合法(用户名长度6~10位)输入用户名，判断用户名是否合法(用户名中只能由数字和字母组成)例如:— 合法— 合法— 合法输入一个字符串，将字符串中所有的数字字符取出来产生一个新的字符串输入一个字符串，将字符串中所有的小写字母变成对应的大写字母输出 (用upper方法和自己写算法两种方式实现)
2023-03-19 15:17:54
162
原创 day9集合作业
例如：nums = [1, 2, 3,1,4,2,1,3,7,3,3] —> 打印:3。2022/1/1 --> 今年第1天。用三个集合表示三门学科的选课学生姓名(一个学生可以同时选多门课)nums = [1,2,2,1,3] --> 打印1、2。实现给定一个日期，判断这个日期是今年第几天的程序（b. 求只选了第一个学科的人的数量和对应的名字。c. 求只选了一门学科的学生的数量和对应的名字。d. 求只选了两门学科的学生的数量和对应的名字。e. 求选了三门学生的学生的数量和对应的名字。
2023-03-16 21:00:14
218
原创 day 9-字典和集合
1)元组是容器型数据类型；将()作为容器阿标志，里面多个元素用逗号隔开：（数据1， 数据2，数据3，…）2)元组是不可变的（不支持增删改）；元组是有序的（顺序影响结果；支持下标操作）3）任何类型的数据都可以作为元组中的元素1）空元组t1 =()2)只有一个元素的元组 - （元素,）如果一个元组中只有各个元素，必须在该唯一元素后加逗号3）正常元组4)在没有歧义的情况下，元组的（）可以可以省略 - 直接将多个数据用逗号隔开，也是一个元组print(t4)
2023-03-16 20:59:42
132
原创 day 6、day 7-列表
1）列表时容器型数据类型（序列），将[]作为容器的标志，里面多个数据用逗号隔开：[数据1，数据2，…]2）列表是可变的（可变指的是列表中元素的个数和元素的值可变 - 列表中的元素支持增删改）列表是有序的(元素有顺序对应的位置信息，元素顺序影响结果 - 列表支持索引操作)3）列表对元素的要求：没有要求，任何类型的数据都可以作为列表的元素。注：元素 - 容器中每一个独立的数据，就是这个容器的元素1）空列表list = [ ]字符串中加空格是字符串中的一个元素，列表中有空格也是空列表。
2023-03-14 21:04:00
89
原创 day7-列表作业
例如： scores = [45, 60, 89, 30, 12, 59, 99, 80, 71, 66] 删除后: scores = [60, 89, 99, 80, 71, 66]例如： list1 = [10, 23, 45, 67, 91] 输入: 50 -> list1 = [10, 23, 45, 50, 67, 91]合并后的结果: [9, 10, 23, 38, 39, 41, 52, 55, 55, 70, 80]*已知一个数字列表，写程序判断这个列表时候是连续递增列表。
2023-03-14 21:02:50
263
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人