- 博客(29)
- 收藏
- 关注
RSS订阅原创 untiy mlagents 飞机大战 ai训练
之前那个python源码的飞机大战bug过多，还卡顿，难以继续训练。可直接放弃的话又不甘心，所以找了个unity版本的飞机大战继续(终于不卡了)，这次直接使用现成的mlagents库。
2024-11-02 20:29:35
639
原创 飞机大战告尾
研究了一早上关于奖励的机制后，总体表现好了点，却出现了新问题，现在经常突然就冲进敌群里自杀。工作量一下就缩小了好几倍！有些奖励分重复，例如角色受到的伤害与敌人造成的伤害都会给予惩罚(不知道当初咋想的)，有些需要奖励的没给到位，例如没有存活分。昨晚问了一下gpt，将昨天的静默模式完善了一下(之前的贪吃蛇在训练时就是静默的，同时32个一起训，可惜这个项目不太好实现，报“无法序列化”类似的错)。将博客代码cv进去后，由于本项目传进net中的是一整张图，我在网上找不到啥相关了，只好又跟ai斗智斗勇了一番。
2024-10-17 10:36:20
755
原创 飞机大战ai内存泄漏的缓解
对内存使用量进行了限制。找了好久，才通过一个个打log的笨方法和全局查找发现漏了个全局变量。这才一千多就这样了，默认设置为10000…现在改成了100,正常运行一段时间后以上是训练进程的内存占有量(两个进程，一个游戏，一个训练)。实在找不到哪里出问题。估计要恶补点内存的知识。
2024-10-14 16:49:10
395
原创 飞机大战ai通过dqn实现
深度Q网络（DQN）：DQN是一种结合了深度学习和Q学习的强化学习算法。它使用深度神经网络来估计状态-动作值函数（Q值）。在代码中，self.policy_net和self.target_net分别是策略网络和目标网络，它们都是深度神经网络。经验回放（Experience Replay）：经验回放是一种常用的技术，用于打破数据之间的相关性，提高训练的稳定性和泛化能力。在代码中，transitions是从经验池中随机抽取的一批经验，这些经验被用来训练网络。
2024-10-12 16:18:18
581
原创 训练贪吃蛇ai的后续记录
例如，昨晚我便通过唯一一个在十次测试中通关一次的模型，得到了三个通过率为20%(每个都测试十次)的新模型。在其中选出平均分和平均奖励最高的，再次训练一晚上后，得到以下结果。即每训练一段时间，就停下来测试一下新模型的效果。如果效果优于记录中最好的，则继续导入该模型并训练。重复几次，效果可能更好。最高通过率足足有50%!当时我都不太敢相信，还去看了看代码，确保没有把测试种子设为固定值。发现可以结合遗传算法的思路，产生更好的效果。作为小白，总感觉这通过率进步的有点离谱。
2024-10-06 10:23:57
350
原创 记录使用gym和stable_baseline3训练出成功通关的贪吃蛇ai
参考自b站up林亦LYi的开源项目本次只训练了cnn版本的第一次接触这种项目，建python虚拟环境时出了点难以说清楚的小问题，安装不上requirement.txt中的gym库那个版本，折腾了一会，自己都乱了头绪，最后导致训练用的是gymnasium这个库，测试用的是gym库。如上图中带"_test"的py文件就是我自己魔改时加上去的，用于测试。另一个则是训练。将之前的一个个测试改成了检测文件夹，批量测试。注意，如果同时训练和测试，可能会爆内存。
2024-10-05 14:25:09
469
原创 如何使用Quicker 快速建立还原点
由于懒，嫌弃每次做电脑备份时都要手动点击太麻烦。我的备份计划(简陋)还原点dism++ 制作wim文件 同步到D盘(就两个盘，c盘1T就够了)微信记录 wechatmsg软件 备份(恋旧，工作量最大的就是它，要手动点击好多次，因为现在还在不断完善)所以之前自己用ai做了个小工具来自动备份。刚开始还觉得挺好用，后来过了一次年，太久没碰电脑，直接不知道怎么用了(没做注释，而且还是用ai辅助做的)。干脆就找了更好的替代品，Quicker。
2024-04-18 14:55:33
570
原创 简单制作动态壁纸(内存爆了，不敢下载ps和ae)
前几周新买了个硬盘，由于手贱，胡乱折腾了一下电脑，结果把电脑系统搞没了(大聪明本明了).修了几个小时没修好，最后只能拿出之前下有win10系统的u盘，(被迫）重装系统,emm…早上，一直在找好看壁纸。在原版的基础上加了视差和摇动效果(有种走向深渊的feel)，还配了首大悲咒作为bgm(觉得搞笑就加了，别说，大悲咒还挺好听的).这里就要用到上面上面推荐的工具了(点开视频链接，简介里有下载地址，很好用的)
2024-04-12 16:35:53
6507
原创 c++数据结构实验 图与景区 (借鉴须谨慎)
丑话说在前头，由于不可控原因，本实验与老师建议的形式略有差异(少了两个文件），如果担心因此降低实验课分数的，建议只是借鉴一下。好久没写博客了，放寒假回去摸了好久。近几天才回过神来，开始认真做实验。
2024-03-18 17:56:26
525
原创 自制脚本工具
前几天因为个人需求，想减少一些重复工作的负担，找起了资源。试了好几个易语言(太旧，找不到下载的途径)按键精灵(之前为了敲代码，把电脑设置改了，下载后乱码)还有好多其他的精灵轻巧一点的tinytask 个人感觉坐标查找的效果好差，乱点查了好久之后，得到的结论就是python最好使最后看到了b站up主“不高兴就喝水”的自动化工具，感觉很符合我的需求，并且还有人帮完善了。当即就开始入手用了之后，感觉还是有些地方需要完善一下使用体验图像查找确实准确等待时间有点长滚动距离难把握没有界面。
2024-01-10 20:49:34
1906
1
原创 win11拥有磁贴后，开始屏幕打不开
前几天为了磁贴这个神器，我安装了explorerpatcher(开源免费的)，成功的把开始屏幕改造成了自己喜欢的样子。3.切换回win11的开始屏幕，能打开了(要是急着要用的话，先凑活用着)但是，今天遇到了一些小问题，开始屏幕打不开啦。爱折腾的我早就见怪不怪，开始查起来。然后再换回win10，又打不开了。查不到了，自己靠感觉乱搞。
2023-12-20 02:45:00
805
原创 多线程爬虫 爬取小说 速度真的快
最近看了几篇关于多线程爬虫的文章，才发现我之前搞出来的那个爬虫速度真的是让人不忍直视，于是立马开始改造只是没想到这一改，就几乎改头换面了。因为要多线程，就不能像之前那样从第一页出发，利用"下一页"按钮上的链接来逐章爬取,而是要先在书的目录那里获取全部章节的url。
2023-12-16 23:56:44
1507
1
原创 python 多文件打包 学习记录
尽管《爬虫 爬整个书库 自动翻页》里的爬虫已经很让我满意了，但一大堆代码就放在一个文件里，日后更新也不方便，于是便分成了几个文件main.py 主文件clean.py 用于实现数据清洗items.py 用于定义需要爬取的变量settings.py 用于定义请求头、请求间隔、代理IP等spider.py 用于实现爬虫的基本逻辑小白一个总共就这几个文件，没有图片啥的分离成功后又开始学多文件怎么打包，以下是相关的记录。
2023-12-11 00:45:00
693
原创 python 打包 exe 遇到的坑 学习记录
完善了一下爬虫后，就想试一下打包成exe文件，使得爬虫能更好的移植。没想到有这么多坑，记录一下，方便以后忘了能快速记起来主要从将Python程序打包成exe文件学习的如何打包解决问题pyinstaller打包 input报错RuntimeError: input(): lost sys.stdin。
2023-12-10 00:30:00
1779
1
原创 爬虫 爬整个书库 自动翻页
想着趁热打铁，就又将的爬虫完善了一下，之前的一次只能爬一本书，完善了之后，可以连续爬一个页面的书。话不多说，直接上源码。
2023-12-09 04:00:00
1588
原创 爬虫报错:Exception has occurred: IndexError list index out of range File “D:\Desktop\vscode\python\b
服务器在返回response浏览器渲染时有时候会加上一些特殊的标签,查看源代码看不出来,导致xpath取值 为空,需print()打印出来才可以看出来!打印出来后就可以对照着网页源代码，找出错误原因了。就要去仔细看一下网页源代码，看有没有啥陷阱了。这东西貌似没有传给程序，导致出错。知道了原因，就很容易的解决问题了。我就是在仔细看了一遍后才发现。先正常获取xpath路径。很明显，改个数字就行了。
2023-12-08 14:21:32
520
原创 爬虫 爬取小说 简单实战
最近学了一点python,想着搞个爬虫练一下手，记录一下学习过程基于requests库和lxml库编写的爬虫借鉴于python爬虫实战——小说爬取讲的很详细且易懂本文的例子只是在其基础上补充一下，可先看了上面的再回来看这里，更容易理解。
2023-12-08 14:09:33
2648
原创 c++ 图 教学编制实验
学校的课程作业，存在一点小问题(课程均匀分布 Order_slow()部分 )，但也通过了。最近有点忙，实在改不了，要是有大佬能指教一番，感激不尽。
2023-12-07 17:56:29
1273
1
原创 数据结构 线性表 医院
项目名称：医院排队系统项目内容：编写一个程序模拟患者到医院看病排队挂号就诊的情况。在患者排队过程中：（1）患者到达诊室，将病历本交给护士，排到等待队列中候诊。（2）护士从等待队列中取出下一位患者的病历，该患者进入诊室就诊。（3）医生下班，提醒余下患者明日就诊。这段代码是一个简单的排队系统，主要功能如下：1. 包含头文件、和自定义的队列类LinkQueue.h。2. 定义了一个函数menu()用于显示菜单。3. 定义了一个函数main()作为程序的主函数。
2023-11-30 11:42:13
1083
原创 C++ 二叉树 家谱
其余的方法基本都是根据已有的变化一下就行了，全部贴出来太长了，影响观感(主要是我懒 -_- )。输入：A(B(C(E,F),D(G(M,N),H)),)（1） 输入一棵二叉树的括号表示法，完成树的构建。（3） 使用先序遍历非递归算法遍历二叉树并输出。（2） 使用后序遍历递归算法遍历二叉树并输出。（4） 指定家谱中的某一成员，输出其所有长辈。就到这了，青山不改水长流，后会有期。M 的长辈为：FCNGHDBA。N 的长辈为：HDBA。以下为该实验的流程图。
2023-11-26 10:30:14
994
1
原创 如何在joplin 中画流程图
conditionC – YES --> printA[输出A]conditionB – YES --> printB[输出B]conditionC – NO --> printC[输出C]conditionB – NO --> printC[输出C]A[A2] —> B[B2] //“-”越多，线越长。start[开始] --> input[输入A,B,C]A[A7] -. 描述 .-> B[B7]A[A9] == 描述 ==> B[B9]A[A7] -. 描述 .-> B[B7]
2023-11-24 17:58:08
1726
1
原创 java的ObjectOutputStream 如何追加文件
这时文件中还有着多出来的StreamHeader,它们会影响到目标信息的读取，导致读取失败。1.可以new一个新类，继承ObjectOutputStream类，再重写构造方法和writeStreamHeader()方法，使得每次构造这个新类的对象时，会检测文件是否为空，如果为空，则写入StreamHeader，反之则不写入（老师给的方法，我手笨，怎么都运行不通)。最近在写java课程作业时，遇到了如何向文件追加对象的问题，按着老师给的方法走不通，自己找了半天才解决，现在写下来记录一下。
2023-11-17 13:59:00
299
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人