<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[开贰锤]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/weixin_37895339</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; weixin_37895339]]></copyright><item><title><![CDATA[多智能体强化学习入门（八）——图卷积强化学习DGN]]></title><link>https://blog.youkuaiyun.com/weixin_37895339/article/details/106368125</link><guid>https://blog.youkuaiyun.com/weixin_37895339/article/details/106368125</guid><author>weixin_37895339</author><pubDate>Tue, 26 May 2020 23:39:28 +0800</pubDate><description><![CDATA[GRAPH CONVOLUTIONAL REINFORCEMENT LEARNING
文章在https://zhuanlan.zhihu.com/p/143816617

]]></description><category></category></item><item><title><![CDATA[多智能体强化学习入门（七）——AC for CDec-POMDP 大规模规划学习算法]]></title><link>https://blog.youkuaiyun.com/weixin_37895339/article/details/90439431</link><guid>https://blog.youkuaiyun.com/weixin_37895339/article/details/90439431</guid><author>weixin_37895339</author><pubDate>Wed, 22 May 2019 10:46:38 +0800</pubDate><description><![CDATA[Thien, Nguyen &amp; Kumar, Akshat &amp; Lau, Hoong. (2017). Policy Gradient With Value Function Approximation For Collective Multiagent Planning.
内容详见：https://zhuanlan.zhihu.com/p/66571753

]]></description><category></category></item><item><title><![CDATA[多智能体强化学习入门（六）——MFMARL算法（Mean Field Multi-Agent RL）]]></title><link>https://blog.youkuaiyun.com/weixin_37895339/article/details/86708311</link><guid>https://blog.youkuaiyun.com/weixin_37895339/article/details/86708311</guid><author>weixin_37895339</author><pubDate>Wed, 30 Jan 2019 20:46:32 +0800</pubDate><description><![CDATA[本节内容见https://zhuanlan.zhihu.com/p/56049023

]]></description><category></category></item><item><title><![CDATA[多智能体强化学习入门（五）——QMIX算法分析]]></title><link>https://blog.youkuaiyun.com/weixin_37895339/article/details/86508749</link><guid>https://blog.youkuaiyun.com/weixin_37895339/article/details/86508749</guid><author>weixin_37895339</author><pubDate>Wed, 16 Jan 2019 15:37:48 +0800</pubDate><description><![CDATA[本文内容见  https://zhuanlan.zhihu.com/p/55003734

]]></description><category></category></item><item><title><![CDATA[【强化学习】DRQN详解分析]]></title><link>https://blog.youkuaiyun.com/weixin_37895339/article/details/86490202</link><guid>https://blog.youkuaiyun.com/weixin_37895339/article/details/86490202</guid><author>weixin_37895339</author><pubDate>Tue, 15 Jan 2019 11:47:53 +0800</pubDate><description><![CDATA[本节内容见https://zhuanlan.zhihu.com/p/54898904

]]></description><category></category></item><item><title><![CDATA[多智能体强化学习入门（三）——矩阵博弈中的分布式学习算法]]></title><link>https://blog.youkuaiyun.com/weixin_37895339/article/details/85642670</link><guid>https://blog.youkuaiyun.com/weixin_37895339/article/details/85642670</guid><author>weixin_37895339</author><pubDate>Wed, 02 Jan 2019 21:45:13 +0800</pubDate><description><![CDATA[本节内容在https://zhuanlan.zhihu.com/p/53622102

]]></description><category></category></item><item><title><![CDATA[多智能体强化学习入门（四）——MADDPG算法]]></title><link>https://blog.youkuaiyun.com/weixin_37895339/article/details/85598028</link><guid>https://blog.youkuaiyun.com/weixin_37895339/article/details/85598028</guid><author>weixin_37895339</author><pubDate>Wed, 02 Jan 2019 09:50:50 +0800</pubDate><description><![CDATA[本节内容在https://zhuanlan.zhihu.com/p/53811876。

]]></description><category></category></item><item><title><![CDATA[多智能体强化学习入门（二）——基础算法（MiniMax-Q，NashQ，FFQ，WoLF-PHC）]]></title><link>https://blog.youkuaiyun.com/weixin_37895339/article/details/85334341</link><guid>https://blog.youkuaiyun.com/weixin_37895339/article/details/85334341</guid><author>weixin_37895339</author><pubDate>Sat, 29 Dec 2018 09:44:56 +0800</pubDate><description><![CDATA[本节内容在https://zhuanlan.zhihu.com/p/53563792。

]]></description><category></category></item><item><title><![CDATA[多智能体强化学习入门（一）——基础知识与博弈]]></title><link>https://blog.youkuaiyun.com/weixin_37895339/article/details/85334328</link><guid>https://blog.youkuaiyun.com/weixin_37895339/article/details/85334328</guid><author>weixin_37895339</author><pubDate>Sat, 29 Dec 2018 09:44:12 +0800</pubDate><description><![CDATA[本次开一个专栏，用来分享关于多智能体强化学习方面的入门内容。强化学习在单体稳定环境中取得了非常好的效果，DeepMind，OpenAI目前都在把眼光投向了多智能体强化学习，尤其是分布式的算法。
本节内容分享在https://zhuanlan.zhihu.com/p/53474965。

...]]></description><category></category></item><item><title><![CDATA[【强化学习】确定性策略强化学习-DPG&DDPG算法推导及分析]]></title><link>https://blog.youkuaiyun.com/weixin_37895339/article/details/84881872</link><guid>https://blog.youkuaiyun.com/weixin_37895339/article/details/84881872</guid><author>weixin_37895339</author><pubDate>Fri, 07 Dec 2018 17:32:50 +0800</pubDate><description><![CDATA[一、DGP推导
本篇介绍确定性策略梯度算法，该算法主要用于off-policy（on-policy也能用）。在DQN等值函数估计算法中，最终策略的形式是需要对动作状态值函数取极大a=argmaxa′Q(s,a′)a={\rm argmax}_{a&amp;amp;amp;amp;amp;#x27;}Q(s,a&amp;amp;amp;amp;amp;#x27;)a=argmaxa′​Q(s,a′)，这种方法只能用在有限的离散动作空间中，无法应用在较大离散空间或...]]></description><category></category></item><item><title><![CDATA[【强化学习】中Q-learning,DQN等off-policy算法不需要重要性采样的原因]]></title><link>https://blog.youkuaiyun.com/weixin_37895339/article/details/84881169</link><guid>https://blog.youkuaiyun.com/weixin_37895339/article/details/84881169</guid><author>weixin_37895339</author><pubDate>Fri, 07 Dec 2018 17:21:57 +0800</pubDate><description><![CDATA[由于Q-learning采用的是off-policy，如下图所示

但是为什么不需要重要性采样。其实从上图算法中可以看到，动作状态值函数是采用1-step更新的，每一步更新的动作状态值函数的R都是执行本次A得到的，而我们更新的动作状态值函数就是本次执行的动作A的Q(S,A)Q(S,A)Q(S,A)。就算A不是通过greedygreedygreedy策略选择的（是通过ϵ−greedy\epsilon...]]></description><category></category></item><item><title><![CDATA[【强化学习】值函数强化学习-DQN、DDQN和Dueling DQN算法公式推导分析]]></title><link>https://blog.youkuaiyun.com/weixin_37895339/article/details/84822668</link><guid>https://blog.youkuaiyun.com/weixin_37895339/article/details/84822668</guid><author>weixin_37895339</author><pubDate>Wed, 05 Dec 2018 10:41:35 +0800</pubDate><description><![CDATA[一、值函数估计方法引入
在值函数估计方法中，我们希望拟合一个价值模型用来估计每个状态动作对的累积回报。其代价函数可以写为
L=12∑a∑s(Q(s,a)−Q(s,a;θ))2
L=\frac{1}{2}\sum_{a}\sum_{s}(Q(s,a)-Q(s,a;\theta))^2
L=21​a∑​s∑​(Q(s,a)−Q(s,a;θ))2
其中Q(s,a)Q(s,a)Q(s,a)为真实的累积回报...]]></description><category></category></item><item><title><![CDATA[【强化学习】随机策略梯度算法（stochastic-policy-gradient）]]></title><link>https://blog.youkuaiyun.com/weixin_37895339/article/details/84792752</link><guid>https://blog.youkuaiyun.com/weixin_37895339/article/details/84792752</guid><author>weixin_37895339</author><pubDate>Tue, 04 Dec 2018 17:40:43 +0800</pubDate><description><![CDATA[策略搜索方法相对于值函数法有如下优缺点
优点：

直接策略搜索方法是对策略π\piπ进行参数化表示，与值函数方中对值函数进行参数化表示相比，策略参数化更简单，有更好的收敛性。
利用值函数方法求解最优策略时，策略改进需要求解argmaxaQθ(s,a)argmax_a Q_\theta(s,a)argmaxa​Qθ​(s,a)，当要解决的问题动作空间很大或者动作为连续集时，该式无法有效求解。
直接策...]]></description><category></category></item><item><title><![CDATA[共轭梯度法详细推导分析]]></title><link>https://blog.youkuaiyun.com/weixin_37895339/article/details/84640137</link><guid>https://blog.youkuaiyun.com/weixin_37895339/article/details/84640137</guid><author>weixin_37895339</author><pubDate>Thu, 29 Nov 2018 21:10:57 +0800</pubDate><description><![CDATA[共轭梯度法是一种经典的优化算法。算法求解速度较快，虽然比梯度下降法复杂，但是比二阶方法简单。
一、引入
1. 优化模型建立
假定待优化的问题如下所示：
min⁡xf(x)=12xTAx−bTx
\min_{x} f(x)=\frac{1}{2}x^TAx - b^Tx
xmin​f(x)=21​xTAx−bTx
其中xxx为待优化变量，AAA为半正定矩阵（在线性代数中，正定矩阵为对称矩阵），bbb...]]></description><category></category></item><item><title><![CDATA[XGBoost论文原理公式推导]]></title><link>https://blog.youkuaiyun.com/weixin_37895339/article/details/83894826</link><guid>https://blog.youkuaiyun.com/weixin_37895339/article/details/83894826</guid><author>weixin_37895339</author><pubDate>Fri, 09 Nov 2018 11:18:02 +0800</pubDate><description><![CDATA[目标函数
Obj(Θ)=L(Θ)+Ω(Θ)
Obj(\Theta) = L(\Theta) + \Omega(\Theta)
Obj(Θ)=L(Θ)+Ω(Θ)
其中L(Θ)L(\Theta)L(Θ)为损失（误差）函数，Ω(Θ)\Omega(\Theta)Ω(Θ)为正则化项。
模型
Obj(Θ)=∑i=0nl(yi,y^i)+∑k=1KΩ(fk)y^it=∑k=1tfk(xi)=y^it−1+ft(...]]></description><category></category></item><item><title><![CDATA[算法面试中的逻辑题]]></title><link>https://blog.youkuaiyun.com/weixin_37895339/article/details/83894694</link><guid>https://blog.youkuaiyun.com/weixin_37895339/article/details/83894694</guid><author>weixin_37895339</author><pubDate>Fri, 09 Nov 2018 11:11:24 +0800</pubDate><description><![CDATA[1. 射影定理
在直角三角形中，斜边上的高是两条直角边在斜边射影的比例中项，每一条直角边又是这条直角边在斜边上的射影和斜边的比例中项。

BD2=AD∗DCAB2=AD∗ACBC2=CD∗AC
BD^2=AD*DC\\
AB^2=AD*AC\\
BC^2=CD*AC
BD2=AD∗DCAB2=AD∗ACBC2=CD∗AC
2. 硬币生成等价事件
取大于事件数的最小二进制数。0表示反，1表示正。然后...]]></description><category></category></item><item><title><![CDATA[算法题4]]></title><link>https://blog.youkuaiyun.com/weixin_37895339/article/details/83894506</link><guid>https://blog.youkuaiyun.com/weixin_37895339/article/details/83894506</guid><author>weixin_37895339</author><pubDate>Fri, 09 Nov 2018 11:02:52 +0800</pubDate><description><![CDATA[1. 课程表 II
现在你总共有 n 门课需要选，记为 0 到 n-1。
在选修某些课程之前需要一些先修课程。 例如，想要学习课程 0 ，你需要先完成课程 1 ，我们用一个匹配来表示他们: [0,1]
给定课程总量以及它们的先决条件，返回你为了学完所有课程所安排的学习顺序。
可能会有多个正确的顺序，你只要返回一种就可以了。如果不可能完成所有课程，返回一个空数组。

输入: 4, [[1,0],[2...]]></description><category></category></item><item><title><![CDATA[算法题3]]></title><link>https://blog.youkuaiyun.com/weixin_37895339/article/details/83894473</link><guid>https://blog.youkuaiyun.com/weixin_37895339/article/details/83894473</guid><author>weixin_37895339</author><pubDate>Fri, 09 Nov 2018 11:01:35 +0800</pubDate><description><![CDATA[1.  三角形最小路径和
给定一个三角形，找出自顶向下的最小路径和。每一步只能移动到下一行中相邻的结点上。
例如，给定三角形：

[
[2],
[3,4],
[6,5,7],
[4,1,8,3]
]
自顶向下的最小路径和为 11（即，2 + 3 + 5 + 1 = 11）。

分析：自下而上动态规划，建立一个大小为n的help矩阵，用来保存走到当前层各个位置的最短路径，然后一层层向上累积。
int...]]></description><category></category></item><item><title><![CDATA[算法题2]]></title><link>https://blog.youkuaiyun.com/weixin_37895339/article/details/83894450</link><guid>https://blog.youkuaiyun.com/weixin_37895339/article/details/83894450</guid><author>weixin_37895339</author><pubDate>Fri, 09 Nov 2018 11:00:20 +0800</pubDate><description><![CDATA[1. 变态跳台阶
一只青蛙一次可以跳上1级台阶，也可以跳上2级……它也可以跳上n级。求该青蛙跳上一个n级的台阶总共有多少种跳法。
分析：
f(n)=f(1)+f(2)+...+f(n−1)+1
f(n)=f(1)+f(2)+...+f(n-1)+1
f(n)=f(1)+f(2)+...+f(n−1)+1
2. 矩形覆盖
我们可以用2*1的小矩形横着或者竖着去覆盖更大的矩形。请问用n个2*1的小矩形...]]></description><category></category></item><item><title><![CDATA[队列与栈面试题C++]]></title><link>https://blog.youkuaiyun.com/weixin_37895339/article/details/79540635</link><guid>https://blog.youkuaiyun.com/weixin_37895339/article/details/79540635</guid><author>weixin_37895339</author><pubDate>Fri, 09 Nov 2018 10:57:30 +0800</pubDate><description><![CDATA[概念

1.图的深度优先遍历（DFS） 
可以用栈实现，从根结点开始沿左孩子到最深的节点压入栈中，然后依次弹出，若栈顶节点还有没有访问的孩子，则没访问过得孩子入栈直到最深的节点，然后再弹出。元素入栈顺序则为深度优先遍历顺序。 
2.图的宽度优先遍历（BFS） 
可以用队列实现，将根结点放入队列，每弹出一个节点，就将该节点的孩子全部放入队列，放入队列的顺序为宽度优先遍历顺序。



示例一

实现一...]]></description><category></category></item></channel></rss>