<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[深海沧澜的博客]]></title><description><![CDATA[不存在十全十美的文章，如同不存在彻头彻尾的绝望。]]></description><link>https://blog.youkuaiyun.com/deepseazbw</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; deepseazbw]]></copyright><item><title><![CDATA[硕士生活随笔]]></title><link>https://blog.youkuaiyun.com/deepseazbw/article/details/120573567</link><guid>https://blog.youkuaiyun.com/deepseazbw/article/details/120573567</guid><author>deepseazbw</author><pubDate>Sat, 09 Oct 2021 00:02:03 +0800</pubDate><description><![CDATA[距离上次随笔一月有余。

这一月事务繁多，再次被枷锁所束缚。

事情也有意料之外，一步一步的推进布局。

小的失利与黑暗并不影响事实的彰显。

大的舞台可以证明。

文档的编写已经初有思路。

万望后续顺利，坚持本心。
...]]></description><category></category></item><item><title><![CDATA[硕士生活随笔]]></title><link>https://blog.youkuaiyun.com/deepseazbw/article/details/120029173</link><guid>https://blog.youkuaiyun.com/deepseazbw/article/details/120029173</guid><author>deepseazbw</author><pubDate>Tue, 31 Aug 2021 23:51:49 +0800</pubDate><description><![CDATA[距离上次随笔已经将近2个月，时间真的间隔了太久太久。

首先是7月初的研电，评委RL=DL的荒诞场景。

又经历了7月中旬赛季的爆发期。

再到了7月下旬的回家休养期与网评期，研电进入国赛，实属兴奋。

8月初疫情加重，返校时间推迟，休息时间增多一周，打了打游戏，看了看剧。

8月中旬返校，研电国一圆了多年的竞赛梦，小组第一个出场，却能荣获此佳绩，实属不易，也幸于评委的看好，也给后续创造了无限可能。同时指导的多项，战绩良好，希望善战者无赫赫之战功。

8月底天降意外，周遭兄弟至亲去世，感受到世事无常
...]]></description><category></category></item><item><title><![CDATA[硕士生活随笔]]></title><link>https://blog.youkuaiyun.com/deepseazbw/article/details/118371856</link><guid>https://blog.youkuaiyun.com/deepseazbw/article/details/118371856</guid><author>deepseazbw</author><pubDate>Wed, 30 Jun 2021 23:30:10 +0800</pubDate><description><![CDATA[上半年的最后一天，回顾这半年，在某些地方相比去年有所进步，开始尝试一些新的领域。

网络上常说内卷严重的时代降临，研三的学长学姐们近期离校，广阔天地，大有作为。

6月底，陆陆续续诸多结果，整个月预如学期刚开始的一样，乃是最忙碌的一个月，伴随着项目、竞赛、考试。今日修完硕士生涯中最后一门学校要求的课程，便可全身心进入科研。

这一个月百感交集，硕士生活仅剩2年的时间，且看未来。
...]]></description><category></category></item><item><title><![CDATA[硕士生活随笔]]></title><link>https://blog.youkuaiyun.com/deepseazbw/article/details/117660413</link><guid>https://blog.youkuaiyun.com/deepseazbw/article/details/117660413</guid><author>deepseazbw</author><pubDate>Mon, 07 Jun 2021 14:28:17 +0800</pubDate><description><![CDATA[距离上次随笔大概10天有余，但感觉好像过了很久，可能这就是生活对于时间的流逝的体验吧。

RL的SDV初代版本涉入竞赛，均获赛区二等，意料与情理之中，还需要长时间的打磨。

6
]]></description><category></category></item><item><title><![CDATA[硕士生活随笔]]></title><link>https://blog.youkuaiyun.com/deepseazbw/article/details/117366604</link><guid>https://blog.youkuaiyun.com/deepseazbw/article/details/117366604</guid><author>deepseazbw</author><pubDate>Fri, 28 May 2021 16:32:42 +0800</pubDate><description><![CDATA[将近一个月都没有写过随笔了，最近事务繁忙。

首先因为期中考试，延误了许多事情的时间，其次是英语六级，正在准备当中。

许多事情在定下来之后，可能由于时间的流逝而
]]></description><category></category></item><item><title><![CDATA[硕士生活随笔]]></title><link>https://blog.youkuaiyun.com/deepseazbw/article/details/116310097</link><guid>https://blog.youkuaiyun.com/deepseazbw/article/details/116310097</guid><author>deepseazbw</author><pubDate>Fri, 30 Apr 2021 22:40:08 +0800</pubDate><description><![CDATA[时间只负责流动，不负责成长。可能因为这个月有点事情做，过的很快，仿佛清明节就在昨天。

事情在按计划进行，希望不必要的事情可以减少吧，无论是研学会还是实验。初稿均已完成，需要以实力为基础加以时间打磨。

休息2天静静思考一下，创新的工作发展，真正的target。
...]]></description><category></category></item><item><title><![CDATA[硕士生活随笔]]></title><link>https://blog.youkuaiyun.com/deepseazbw/article/details/115792798</link><guid>https://blog.youkuaiyun.com/deepseazbw/article/details/115792798</guid><author>deepseazbw</author><pubDate>Sat, 17 Apr 2021 15:21:42 +0800</pubDate><description><![CDATA[时光过的真快，转眼间就到了4月17日，如果不是看了一眼上次更新的日期，都没发现将近3周没有记录了。

如预期一样，在4月14日完成了初版的开发，事情在一步一步的推动。

明显能感觉得到，在事情上有一些懈怠了，超出时长，这种低级错误无话可说，更是该好好反省。

最近几天在统筹规划事情的发展，要分配好各项事务的时间，最近一周集中解决材料问题。

未来安好！


...]]></description><category></category></item><item><title><![CDATA[硕士生活随笔]]></title><link>https://blog.youkuaiyun.com/deepseazbw/article/details/115352276</link><guid>https://blog.youkuaiyun.com/deepseazbw/article/details/115352276</guid><author>deepseazbw</author><pubDate>Wed, 31 Mar 2021 15:53:05 +0800</pubDate><description><![CDATA[复试结束，我带的学妹成功上岸末流985，她也比较幸运，也对自己的实力有清晰的认识，希望来到学校的生活和科研也可以一帆风顺吧。

这一周发生的事情实在是越来越多了，屠龙少年的故事历历在目，犹如漫无边际的黑夜，星星失去了光亮，夜晚又长又黑。

没想到这一周过的很快，科研取得了一点进展，规划的重要性不言而喻，一步失，可能步步失。

攻城略地，步步为营，大象无形，大盈若冲。
...]]></description><category></category></item><item><title><![CDATA[硕士生活随笔]]></title><link>https://blog.youkuaiyun.com/deepseazbw/article/details/115124356</link><guid>https://blog.youkuaiyun.com/deepseazbw/article/details/115124356</guid><author>deepseazbw</author><pubDate>Tue, 23 Mar 2021 15:19:26 +0800</pubDate><description><![CDATA[去年本科毕业后，机会巧合，机构联系到我，带了一个女生考研，正在准备复试，周末复试结束知道结果，作为她的老师和学长，希望她可以通过吧。

不得不说，她择校相对客观冷静，选择了末流985，相比很多人报考的炸穿地心，可所谓理智了许多，炸穿地心的地方，初试你能过，还有复试需要考虑。

但是可能是初试成绩的相对不错，复试阶段有了许多懈怠，意料之外，情理之中。

距离上次博客已两周有余，模块初始化已完毕，离这个月还有一周结束，最低期限4月15日，边做东西边写材料，长远考虑。

材料的引用部分要慢慢更新，本科两年的ACM]]></description><category></category></item><item><title><![CDATA[硕士生活随笔]]></title><link>https://blog.youkuaiyun.com/deepseazbw/article/details/114643638</link><guid>https://blog.youkuaiyun.com/deepseazbw/article/details/114643638</guid><author>deepseazbw</author><pubDate>Wed, 10 Mar 2021 19:30:33 +0800</pubDate><description><![CDATA[终于感冒好了，大约在两日以前，感冒的时候太难受了，没有一点思考能力，现在终于恢复了。

小记一下未来的事情。

这个月时间受限制比较小，可能比较自由，故正在设计一套方案，希望这个月可以搞完，影响着未来的部署。

只希望未来越来越好，部署可以成功，弥补遗憾。


...]]></description><category></category></item><item><title><![CDATA[Arduino智能小车电机控制方向及运动]]></title><link>https://blog.youkuaiyun.com/deepseazbw/article/details/114371061</link><guid>https://blog.youkuaiyun.com/deepseazbw/article/details/114371061</guid><author>deepseazbw</author><pubDate>Thu, 04 Mar 2021 16:12:49 +0800</pubDate><description><![CDATA[为后续的研究先做资料的铺垫，如果错误，欢迎指正


Arduino智能小车——测试篇

Arduino 智能小车-电机控制

delay 延时处理：delay（10000）某个操作运行10秒后再进行其他操作


]]></description><category></category></item><item><title><![CDATA[硕士生活随笔]]></title><link>https://blog.youkuaiyun.com/deepseazbw/article/details/114322017</link><guid>https://blog.youkuaiyun.com/deepseazbw/article/details/114322017</guid><author>deepseazbw</author><pubDate>Wed, 03 Mar 2021 17:08:47 +0800</pubDate><description><![CDATA[已步入三月，可惜的是忘了冬春换季，不慎感冒了，大意了。每逢这个时候，都容易感冒，去年疫情一直呆在家，没有发生感冒，今年竟然忘了注意。

二月休息了整整一个月，在月底的时候感冒了,相当于白休息了，感冒是一种身体上的累赘，做事情有心无力的那种感觉，希望赶紧好。

总结一下近期的事情吧。

首先是考研计算机的“内卷化”，21届的题目相比20届的题目，因为疫情维稳+奇数年的关系，可以说试卷难度基本是全面下降（高考全国卷一难度降低分数线上涨也是同理），不过个人认为试卷难度下降并非一件好事，带来的弊端：分数过高，使得往]]></description><category></category></item><item><title><![CDATA[Matlab调用python—基于tensorflow的数字识别]]></title><link>https://blog.youkuaiyun.com/deepseazbw/article/details/112394299</link><guid>https://blog.youkuaiyun.com/deepseazbw/article/details/112394299</guid><author>deepseazbw</author><pubDate>Sat, 09 Jan 2021 17:11:06 +0800</pubDate><description><![CDATA[1.运行环境

Windows 10

MatlabR 2018b

Python 3.7

Tensorflow2.0

2.简单的函数调用

matlab程序：列出了Python信息，如版本、路径等，表示能正常检测到Python。其中isloaded表示是否已加载Python，如果执行了Python语句或调用了Python模块，isloaded就变为1


&gt;&gt; pyversion

       version: '3.7'
    executable: 'F:\software\env]]></description><category></category></item><item><title><![CDATA[硕士生活随笔]]></title><link>https://blog.youkuaiyun.com/deepseazbw/article/details/112179471</link><guid>https://blog.youkuaiyun.com/deepseazbw/article/details/112179471</guid><author>deepseazbw</author><pubDate>Mon, 04 Jan 2021 16:39:31 +0800</pubDate><description><![CDATA[终于赘述这一年来的经历。

1月，考研租房结束进行期末考试，租房期间遇到了种种恶心的人和事情，透过现象看本质，自己对自己负责，在逸夫楼休息的时候，看了《睡在我上铺的兄弟》这部电影，回想起了本科3年半的时光，还好有剩下的半年时间去体验，可谁曾想到新冠疫情爆发打乱了所有人的安排和计划。在离开学校的前一刻，收到了导师让去拿物联网大赛一等奖第一名的获奖证书，天道轮回。幸亏是飞机回家，没有路过武汉（高铁和火车回去是要路过的），回到家后，可能是考研期间独自一人在小黑屋复习了3个月，看了很多电视剧，大概20多部。

2月]]></description><category></category></item><item><title><![CDATA[强化学习——应用环境]]></title><link>https://blog.youkuaiyun.com/deepseazbw/article/details/110674849</link><guid>https://blog.youkuaiyun.com/deepseazbw/article/details/110674849</guid><author>deepseazbw</author><pubDate>Fri, 04 Dec 2020 23:23:45 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[强化学习——连续动作空间与DDPG]]></title><link>https://blog.youkuaiyun.com/deepseazbw/article/details/110588173</link><guid>https://blog.youkuaiyun.com/deepseazbw/article/details/110588173</guid><author>deepseazbw</author><pubDate>Fri, 04 Dec 2020 23:16:10 +0800</pubDate><description><![CDATA[1.离散动作VS连续动作

离散的动作：游戏的操作动作可数，例：向上下左右

连续动作：输出的动作不可数 例：推锤子推的力，转方向盘







2.DDPG



DQN-&gt;DDPG



Actor-Critic结构（评论家-演员）





目标网络target network+经验回放replay memory




...]]></description><category></category></item><item><title><![CDATA[强化学习——蒙特卡洛MC与时序差分TD]]></title><link>https://blog.youkuaiyun.com/deepseazbw/article/details/110501896</link><guid>https://blog.youkuaiyun.com/deepseazbw/article/details/110501896</guid><author>deepseazbw</author><pubDate>Thu, 03 Dec 2020 22:27:31 +0800</pubDate><description><![CDATA[1.蒙特卡洛与时序差分

蒙特卡洛在一个回合(epsiode)结束后再进行更新，

时序差分在每一步(step)进行更新



2.蒙特卡洛

因为未来总收益Gt和Gt+1存在一定的关系，所以从后往前算，先算G3再算G2然后G1





利用神经网络理解Policy Gradient

手写数字通过神经网络识别，可以看出手写数字是9，更希望神经网络识别出也是数字9，这里

利用交叉熵（Cross Entropy）计算2个概率之间的差值



Policy Gradient

预测每个状态state输出动作]]></description><category></category></item><item><title><![CDATA[强化学习——随机策略与策略梯度]]></title><link>https://blog.youkuaiyun.com/deepseazbw/article/details/110482146</link><guid>https://blog.youkuaiyun.com/deepseazbw/article/details/110482146</guid><author>deepseazbw</author><pubDate>Wed, 02 Dec 2020 15:37:47 +0800</pubDate><description><![CDATA[1.value-based 与policy-based





2.softmax函数



3.举例：策略网络输入的是整个图像（向量或矩阵），输出的是3个动作的概率（向量）





代表策略输出的概率，在状态s下选择a的概率，由于环境的随机性，不同的策略到不同

的环境，这个概率用p来表述，称作状态转移概率。代表智能体在环境s选择动作a后有

多少概率去s'（智能体的选择是可以优化的，环境的随机性是无法人为控制的）



期望回报：

在正常的情况下不会穷举所有的轨迹，且环境转移概率也不易计算，所以当]]></description><category></category></item><item><title><![CDATA[强化学习-DQN]]></title><link>https://blog.youkuaiyun.com/deepseazbw/article/details/110422408</link><guid>https://blog.youkuaiyun.com/deepseazbw/article/details/110422408</guid><author>deepseazbw</author><pubDate>Tue, 01 Dec 2020 12:11:32 +0800</pubDate><description><![CDATA[1.DQN的2个创新点

经验回放（Experience）：样本关联性 1）序列决策的样本关联 2）样本利用率低

固定Q目标： 非平稳性 1）算法非平稳

2.经验回放：利用off-policy的优势

战斗过程是一个经验池（固定长度的队列），这样的一条经验是士兵和环境交互得到的：

当超过经验池的容量后，弹出一条旧的经验，腾出新的空间。军师为了打乱经验池，随机从经验池中抽取

数据更新表格。

好处：1）打乱样本关联性 2）提高样本利用率



相关代码：



3.固定Q目标

监督学习：输入x，目的]]></description><category></category></item><item><title><![CDATA[强化学习——函数逼近与神经网络]]></title><link>https://blog.youkuaiyun.com/deepseazbw/article/details/109893033</link><guid>https://blog.youkuaiyun.com/deepseazbw/article/details/109893033</guid><author>deepseazbw</author><pubDate>Sat, 21 Nov 2020 11:45:45 +0800</pubDate><description><![CDATA[1.函数逼近

可数的状态可用Q表格表示，但在实际中的应用状态的数量级十分大，所以可采用值函数近似。





2.神经网络

输入训练数据，输出结果



神经网络可用逼近任意连续函数



神经网络代码举例：



3.DQN 使用神经网络求解RL问题中的经典算法

DQN的本质为Q-learing，从environment中获得state，通过查表，获得Q值及动作，然后输出给环境，拿到

下一个state和reward。







DQN的改进在于直接把Q表格换成神经网络



4.监督学习其训.]]></description><category></category></item></channel></rss>