<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[thousandsofwind的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/thousandsofwind</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; thousandsofwind]]></copyright><item><title><![CDATA[算法：有向图强连通分量 （2020网易互联网秋招笔试题4， 教授）]]></title><link>https://blog.youkuaiyun.com/thousandsofwind/article/details/107917329</link><guid>https://blog.youkuaiyun.com/thousandsofwind/article/details/107917329</guid><author>thousandsofwind</author><pubDate>Mon, 10 Aug 2020 18:13:23 +0800</pubDate><description><![CDATA[有向图强连通分量 - 2020网易互联网秋招笔试题4题目暴力1号（邻接矩阵）暴力2号（邻接表）2次DFS求解1次DFS求解
题目

网易互娱笔试题：
假设教授A欣赏B，B欣赏C，则认为A也欣赏C。
输入 第一行两个整数 n m，分别表示教授人数，欣赏关系数量
余下m行，每行两个整数 a b，表示教授a欣赏b。
输入样例：
5 6
1 3
2 1
3 2
3 5
4 5
5 4
输出：
4

暴力1号（邻接矩阵）
考试提交的版本，直接迭代求解邻接矩阵（超时
def solve(N:int, Edges:[[i]]></description><category></category></item><item><title><![CDATA[强化学习策略梯度梳理-SOTA下（A2C，A3C 代码）]]></title><link>https://blog.youkuaiyun.com/thousandsofwind/article/details/107618808</link><guid>https://blog.youkuaiyun.com/thousandsofwind/article/details/107618808</guid><author>thousandsofwind</author><pubDate>Mon, 27 Jul 2020 20:23:48 +0800</pubDate><description><![CDATA[强化学习策略梯度梳理-SOTA上策略梯度SOTAA3C （Asynchronous Advantage Actor critic）QAC -&gt; A3C
策略梯度SOTA
这个部分主要参考周博磊老师的第九节的顺序
主要参考课程 Intro to Reinforcement Learning，Bolei Zhou
相关文中代码  https://github.com/ThousandOfWind/RL-basic-alg.git
参考到了pytorch a3c
A3C （Asynchronous Adva]]></description><category></category></item><item><title><![CDATA[强化学习策略梯度梳理4-SOTA中（DDPG TD3 SAC SAC-dicrete 附代码）]]></title><link>https://blog.youkuaiyun.com/thousandsofwind/article/details/107420872</link><guid>https://blog.youkuaiyun.com/thousandsofwind/article/details/107420872</guid><author>thousandsofwind</author><pubDate>Sun, 19 Jul 2020 09:54:01 +0800</pubDate><description><![CDATA[强化学习策略梯度梳理-SOTA下强化学习策略梯度梳理-SOTA下进阶方向2Q-learningDDPG连续空间TD3SAC
强化学习策略梯度梳理-SOTA下
同前文
这个部分仍然参考周博磊老师的第六节的顺序
主要参考课程 Intro to Reinforcement Learning，Bolei Zhou
相关文中代码 https://github.com/ThousandOfWind/RL-basic-alg.git
进阶方向2
Q-learning
这里标出Q-learning只是为了强调
DQN的ta]]></description><category></category></item><item><title><![CDATA[强化学习策略梯度梳理3-SOTA上（附PPO2代码）]]></title><link>https://blog.youkuaiyun.com/thousandsofwind/article/details/107209674</link><guid>https://blog.youkuaiyun.com/thousandsofwind/article/details/107209674</guid><author>thousandsofwind</author><pubDate>Thu, 09 Jul 2020 14:46:27 +0800</pubDate><description><![CDATA[强化学习策略梯度梳理-SOTA一级目录策略梯度方法总结进阶方向1Trust region policy optimization（TRPO）
一级目录
这个部分主要参考周博磊老师的第六节的顺序
主要参考课程 Intro to Reinforcement Learning，Bolei Zhou
相关文中代码  https://github.com/ThousandOfWind/RL-basic-alg.git
策略梯度方法
首先策略的优化目标是
J(θ)=Eτ∼πθ[R(τ)]
J(\theta)=\math]]></description><category></category></item><item><title><![CDATA[强化学习策略梯度梳理2 - AC（附代码）]]></title><link>https://blog.youkuaiyun.com/thousandsofwind/article/details/107174444</link><guid>https://blog.youkuaiyun.com/thousandsofwind/article/details/107174444</guid><author>thousandsofwind</author><pubDate>Tue, 07 Jul 2020 13:26:16 +0800</pubDate><description><![CDATA[策略梯度梳理 ACActor-CriticActor-Critic Policy Gradient （QAC）QAC with shared networkone-step AC
主要参考文献 Reinforcement Learning: An introduction，Sutton
主要参考课程 Intro to Reinforcement Learning，Bolei Zhou
相关文中代码  https://github.com/ThousandOfWind/RL-basic-alg.git
Act]]></description><category></category></item><item><title><![CDATA[强化学习策略梯度梳理1 - REINFORCE（附代码）]]></title><link>https://blog.youkuaiyun.com/thousandsofwind/article/details/107081358</link><guid>https://blog.youkuaiyun.com/thousandsofwind/article/details/107081358</guid><author>thousandsofwind</author><pubDate>Mon, 06 Jul 2020 13:01:08 +0800</pubDate><description><![CDATA[策略梯度梳理策略梯度（PG）
策略梯度（PG）基础 以REINFORCE为例
主要参考文献 Reinforcement Learning: An introduction，Sutton
主要参考课程 Intro to Reinforcement Learning，Bolei Zhou]]></description><category></category></item><item><title><![CDATA[注意力机制：认知模型与计算机应用]]></title><link>https://blog.youkuaiyun.com/thousandsofwind/article/details/104938473</link><guid>https://blog.youkuaiyun.com/thousandsofwind/article/details/104938473</guid><author>thousandsofwind</author><pubDate>Fri, 20 Mar 2020 10:25:42 +0800</pubDate><description><![CDATA[注意力机制：认知模型与计算机应用

“注意力机制”在风靡计算机神经网络设计之前，首先是一种被广泛接受的人类认知方法。本调研文稿将首先从人类认知出发，讨论几种经典的人类注意力模型，和人类脑的研究的进展；然后我们将讨论计算机领域对“注意力”概念的借用与实现，从NLP，CV，RL三大领域说明目前计算机模拟和应用attention的方法。


]]></description><category></category></item><item><title><![CDATA[强化学习第二版（翻译）第一章 导论 第六节 小结  1.6 Summary]]></title><link>https://blog.youkuaiyun.com/thousandsofwind/article/details/79775711</link><guid>https://blog.youkuaiyun.com/thousandsofwind/article/details/79775711</guid><author>thousandsofwind</author><pubDate>Sun, 01 Apr 2018 10:07:33 +0800</pubDate><description><![CDATA[    强化学习是一种理解和自动进行目标导向学习和决策的计算方法。它与其他计算方法不同之处在于它强调了代理与环境的直接交互学习，而不依赖于监督或完整的环境模型。在我们看来，强化学习是第一个认真处理在学习与环境的互动时产生的计算问题，以实现长期目标的第一个领域。    强化学习使用马尔可夫决策过程的正式框架来定义学习代理与其环境之间的交互作用，包括状态、动作和收益。这个框架用简单的方法来表示人工智能...]]></description><category></category></item><item><title><![CDATA[强化学习第二版（翻译）第一章 导论 第五节 拓展例子：井字棋 1.5 An Extended Example: Tic-Tac-Toe]]></title><link>https://blog.youkuaiyun.com/thousandsofwind/article/details/79745086</link><guid>https://blog.youkuaiyun.com/thousandsofwind/article/details/79745086</guid><author>thousandsofwind</author><pubDate>Fri, 30 Mar 2018 16:16:55 +0800</pubDate><description><![CDATA[(注：尝试了很多次就是没有办法发全文，迷)为了说明强化学习的一般概念，并与其他方法进行对比，我们接下来将更详细地考虑一个示例。        想想我们熟悉的孩子玩的井字棋。棋手在三行三列的棋盘上博弈，一个棋手下X，另一个下O。若X或O的连续三个棋子落于一行或一列或同一斜线上则获胜；若棋盘被填满也不能决出胜负则为平局。让我们假设，我们是在和一个不完美的棋手比赛，他的战术有时是不正确的，并且允许我们获...]]></description><category></category></item><item><title><![CDATA[强化学习第二版（翻译）第一章 导论 第四节 局限性和适用范围  1.4 Limitations and Scope]]></title><link>https://blog.youkuaiyun.com/thousandsofwind/article/details/79725198</link><guid>https://blog.youkuaiyun.com/thousandsofwind/article/details/79725198</guid><author>thousandsofwind</author><pubDate>Thu, 29 Mar 2018 16:27:17 +0800</pubDate><description><![CDATA[    从前面的讨论中，应该清楚的是，强化学习很大程度上依赖于状态的概念。他既作为对策略和值函数的输入，也作为模型的输入和输出。非正式地，我们可以把状态看作是传达给代理的某种特定时期“环境如何”的信号。状态的形式定义在第3章中给出的马尔可夫决策过程的框架中给出的。然而，更普遍的是，我们鼓励读者遵循非正式的含义，并将状态视为代理对其环境所能获得的任何信息。实际上，我们假设状态信号是由某些预处理系统产...]]></description><category></category></item><item><title><![CDATA[强化学习第二版（翻译）第一章 导论 第三节 强化学习的要素 1.3 Elements of Reinforcement Learning]]></title><link>https://blog.youkuaiyun.com/thousandsofwind/article/details/79718730</link><guid>https://blog.youkuaiyun.com/thousandsofwind/article/details/79718730</guid><author>thousandsofwind</author><pubDate>Tue, 27 Mar 2018 21:18:55 +0800</pubDate><description><![CDATA[在代理和环境之外，强化学习系统一般有四个主要元素：一个策略，收益信号，价值函数，和一个可选的环境模型。    策略定义了学习代理在给定时间内的行为方式。简单来说，政策是从环境到在这些状态下采取的行动的映射。它符合心理学中所谓的一系列刺激反应规则或关联。在某些情况下，策略可能是一个简单的函数或查找表，而在其他情况下，它可能涉及到大量的计算，如搜索过程。该策略是增强学习代理的核心，因为它本身就足以确定...]]></description><category></category></item><item><title><![CDATA[强化学习第二版（翻译）第一章 导论 第二节 例子 1.2 Examples]]></title><link>https://blog.youkuaiyun.com/thousandsofwind/article/details/79710209</link><guid>https://blog.youkuaiyun.com/thousandsofwind/article/details/79710209</guid><author>thousandsofwind</author><pubDate>Tue, 27 Mar 2018 20:24:58 +0800</pubDate><description><![CDATA[    思考其发展中的一些例子和可能的应用是理解强化学习的一个好方法。象棋大师落字。这个决定既出于他的计划——期待的回复和逆向回复，也出于对特定位置和移动及时直觉的判断。自适应控制器实时调节炼油厂操作的参数。控制器在指定的边际成本的基础上权衡产量/成本/质量达到最优化，而不严格遵守由工程师提出的初始值。一头瞪羚在出生后几分钟挣扎着站起来。半小时后，它就能以每小时20英里的速度飞奔。一个家政移动机器...]]></description><category></category></item><item><title><![CDATA[强化学习第二版（翻译）第一章 导论 第一节 强化学习 1.1 Reinforcement Learning]]></title><link>https://blog.youkuaiyun.com/thousandsofwind/article/details/79696022</link><guid>https://blog.youkuaiyun.com/thousandsofwind/article/details/79696022</guid><author>thousandsofwind</author><pubDate>Mon, 26 Mar 2018 18:12:18 +0800</pubDate><description><![CDATA[    强化学习是就是在学习怎么做才能最大化奖励信号，既如何建立情景-动作映射（map situations to actions）。学习者没有被告知应该采取什么行动，而是必须通过尝试找到获得最大的回报的动作。在最有趣和最具挑战性的情况下，行动可能不仅影响眼前的收益，而且影响下一个情景，并由此影响所有后续的收益。试错搜索（trial-and-error search）和延迟收益是强化学习最重要的两...]]></description><category></category></item><item><title><![CDATA[强化学习第二版（翻译）第一章 导论（前言）Chapter 1 Introduction]]></title><link>https://blog.youkuaiyun.com/thousandsofwind/article/details/79695622</link><guid>https://blog.youkuaiyun.com/thousandsofwind/article/details/79695622</guid><author>thousandsofwind</author><pubDate>Mon, 26 Mar 2018 11:39:30 +0800</pubDate><description><![CDATA[    当我们思考学习的本质时，我们首先想到的是通过与环境互动来学习。当婴儿玩耍时，挥舞手臂或四处看，它没有明确的老师，但他可以通过直接的感觉与环境联系。他可以通过这种联系获得大量关于因果关系，行动的结果，以及如何实现目标的信息。在我们的生活中，这样的交流无疑是我们的环境和我们自己知识的主要来源。无论我们是学开车还是交谈，我们都可以敏锐的意识到我们的环境对我们所做的事情将作出什么样的反应，并且我们...]]></description><category></category></item><item><title><![CDATA[强化学习第二版（翻译）第二版前言]]></title><link>https://blog.youkuaiyun.com/thousandsofwind/article/details/79688876</link><guid>https://blog.youkuaiyun.com/thousandsofwind/article/details/79688876</guid><author>thousandsofwind</author><pubDate>Mon, 26 Mar 2018 00:02:04 +0800</pubDate><description><![CDATA[（由百度翻译修改而来，尽量保证逻辑通顺，建议以原文为主）    自本书第一版出版以来的二十年里，人工智能取得了巨大的进步，这在很大程度上得益于机器学习的进步，包括强化学习的进步。虽然现有的令人印象深刻的计算能力是这些进步的主要原因，但理论和算法的新发展也推动了这些力量的发展。面对这一进步，我们的1998本书的第二版早就应该出现了，我们终于在2013开始了这个项目。我们的第二版的目标与我们的第一个目...]]></description><category></category></item><item><title><![CDATA[poj 2255 Tree Recovery，已知前序中序求后序]]></title><link>https://blog.youkuaiyun.com/thousandsofwind/article/details/79521688</link><guid>https://blog.youkuaiyun.com/thousandsofwind/article/details/79521688</guid><author>thousandsofwind</author><pubDate>Sun, 11 Mar 2018 23:08:54 +0800</pubDate><description><![CDATA[树就是很烦]]></description><category></category></item><item><title><![CDATA[1009 说反话，stl]]></title><link>https://blog.youkuaiyun.com/thousandsofwind/article/details/79520819</link><guid>https://blog.youkuaiyun.com/thousandsofwind/article/details/79520819</guid><author>thousandsofwind</author><pubDate>Sun, 11 Mar 2018 21:52:41 +0800</pubDate><description><![CDATA[1009 说反话其实题目很简单，就是为了尽快熟悉stl#include &amp;lt;iostream&amp;gt;
#include &amp;lt;vector&amp;gt;
#include &amp;lt;string&amp;gt;
#include &amp;lt;algorithm&amp;gt;

using namespace std;

int main(int argc, const char * argv[]) {
    str...]]></description><category></category></item><item><title><![CDATA[求最大递增串，结构体+数组实现了谜样的数组式静态链表]]></title><link>https://blog.youkuaiyun.com/thousandsofwind/article/details/79502333</link><guid>https://blog.youkuaiyun.com/thousandsofwind/article/details/79502333</guid><author>thousandsofwind</author><pubDate>Fri, 09 Mar 2018 20:29:13 +0800</pubDate><description><![CDATA[
求最大递增串虽然大神说我用链表这么绕容易吧自己绕晕但没关系，我还是成功绕出来了用结构体+数组实现了谜样的数组式静态链表优点好像就是方法比较特别吧//  求最大递增串
//  main.cpp
//  longest2
//
//  Created by 朱枝睿 on 2018/3/7.
//  Copyright © 2018年 朱枝睿. All rights reserved.
//

#in...]]></description><category></category></item><item><title><![CDATA[机器学习-周志华，习题1.1，答案探究]]></title><link>https://blog.youkuaiyun.com/thousandsofwind/article/details/79266066</link><guid>https://blog.youkuaiyun.com/thousandsofwind/article/details/79266066</guid><author>thousandsofwind</author><pubDate>Mon, 05 Feb 2018 23:48:56 +0800</pubDate><description><![CDATA[1.1版本空间


1.2 感觉上，可能的假设应当就是不同的版本空间，则对应了如图1.2的3种版本空间
1.3 看不懂题目意思。设置阈值，或者排除异类后，按优先级具有偏好。
1.4 不能理解，等回过头来再看这题吧。]]></description><category></category></item><item><title><![CDATA[ZOJ1005 Jug问题 运行结果有误？]]></title><link>https://blog.youkuaiyun.com/thousandsofwind/article/details/74177773</link><guid>https://blog.youkuaiyun.com/thousandsofwind/article/details/74177773</guid><author>thousandsofwind</author><pubDate>Mon, 03 Jul 2017 10:34:41 +0800</pubDate><description><![CDATA[ZOJ1005 Jug问题题目In the movie “Die Hard 3”, Bruce Willis and Samuel L. Jackson were confronted with the following puzzle. They were given a 3-gallon jug and a 5-gallon jug and were asked to fill the 5-ga]]></description><category></category></item></channel></rss>