<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[taoyafan的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/taoyafan</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; taoyafan]]></copyright><item><title><![CDATA[win10下右键菜单添加“Open CMD Here/在此处打开命令行”]]></title><link>https://blog.youkuaiyun.com/taoyafan/article/details/109102349</link><guid>https://blog.youkuaiyun.com/taoyafan/article/details/109102349</guid><author>taoyafan</author><pubDate>Thu, 15 Oct 2020 18:01:47 +0800</pubDate><description><![CDATA[参考博客：

https://blog.youkuaiyun.com/Mr_BEelzebub/article/details/78776104
]]></description><category></category></item><item><title><![CDATA[会计学基础（下）]]></title><link>https://blog.youkuaiyun.com/taoyafan/article/details/104344450</link><guid>https://blog.youkuaiyun.com/taoyafan/article/details/104344450</guid><author>taoyafan</author><pubDate>Sun, 16 Feb 2020 22:18:44 +0800</pubDate><description><![CDATA[5

5.1 固定资产投资

固定资产：为生产商品、提供劳务、出租或经营管理而持有的、使用寿命超过一个会计年度的有形资产。

两个时点：拿到固定资产、使用固定资产

投资阶段：在建工程（固定资产达到可使用状态之前），固定资产（可使用之后）

5.2 无形资产

（1）没有实物形态

（2）属于非货币性长期资产

（3）持有的主要目的是为使用而非出售

（4）所提供的未来经济利益具有高度的不确定性
...]]></description><category></category></item><item><title><![CDATA[会计学基础（上）]]></title><link>https://blog.youkuaiyun.com/taoyafan/article/details/104328158</link><guid>https://blog.youkuaiyun.com/taoyafan/article/details/104328158</guid><author>taoyafan</author><pubDate>Sat, 15 Feb 2020 16:47:48 +0800</pubDate><description><![CDATA[0 前言

本文是看光华管理学院的公开课：会计学基础，所记录的笔记。目的是为了可以看懂企业的财务报表。由于本文只是总结，所以很多原理性的思考（为什么是这样）就不再记录，因为看视频的时候已经可以理解，只是记录一些怕忘记的知识点。

1 基本概念

1.1 会计的作用

会计说白了就是记账的，给企业记录资金的流动来反映营业状况。虽然记账听起来很简单，但是为了所有行业可以有一套标准的记录准则，使得大家看...]]></description><category></category></item><item><title><![CDATA[RS-232、RS-485、USART、I2C、SPI、CAN总结]]></title><link>https://blog.youkuaiyun.com/taoyafan/article/details/103938359</link><guid>https://blog.youkuaiyun.com/taoyafan/article/details/103938359</guid><author>taoyafan</author><pubDate>Sat, 11 Jan 2020 17:01:15 +0800</pubDate><description><![CDATA[每种协议分以下几个参数介绍：

设备数量：一对一、一对多、多对多
	全双工（同时收发），半双工（收发不能同时）
	通信距离
	通信速度
	接线个数和通信方式：异步通信（无时钟线）、同步通信（有时钟线）
	逻辑电平
1 RS-232

一对一。
	全双工。
	最长通信距离20米左右。
	通信速度最快20Kbps。。
	标准接口最早为25根线，后改为9根线，最少3根线，RXD，TXD，GND，只发送或...]]></description><category></category></item><item><title><![CDATA[Ubuntu 多版本 Python 和 pip 切换]]></title><link>https://blog.youkuaiyun.com/taoyafan/article/details/102725362</link><guid>https://blog.youkuaiyun.com/taoyafan/article/details/102725362</guid><author>taoyafan</author><pubDate>Thu, 24 Oct 2019 15:59:17 +0800</pubDate><description><![CDATA[这个博客只是怕以后找不到这个答案，成功解决了我的问题，链接：https://blog.youkuaiyun.com/yingqubaifumei/article/details/93769369
]]></description><category></category></item><item><title><![CDATA[强化学习总结]]></title><link>https://blog.youkuaiyun.com/taoyafan/article/details/102618874</link><guid>https://blog.youkuaiyun.com/taoyafan/article/details/102618874</guid><author>taoyafan</author><pubDate>Fri, 18 Oct 2019 09:10:38 +0800</pubDate><description><![CDATA[0 废话

这篇博客本是我之前自己总结，联系博士生导师时表明自己对强化学习的了解程度的。奈何导师不理我，但是我觉得我总结的还可以，想和广大朋友分享。由于把很多内容揉在了一起，都是按照自己的理解写出来的，而且当时时间比较紧，所以没写参考文献。文中主要写了我很多直观的理解，公式或推导可能不是特别严谨，另外还有很多算法没有写进来。由于我的理解可能会不全面或出现偏差，文中描述不到位或者是错误的地方还请指出...]]></description><category></category></item><item><title><![CDATA[RL论文阅读【七】Deterministic Policy Gradient Algorithms]]></title><link>https://blog.youkuaiyun.com/taoyafan/article/details/94363459</link><guid>https://blog.youkuaiyun.com/taoyafan/article/details/94363459</guid><author>taoyafan</author><pubDate>Sun, 30 Jun 2019 23:54:20 +0800</pubDate><description><![CDATA[1废话

终于看到 PG 了，后边还要看 DDPG，TRPO，PPO，SAC，NAF，TD3，A3C等等，任重而道远啊。看完 model free 还想着重看看 model based，好多啊，不知道什么时候能接近前沿，努力吧，为了爱而奋斗。另外，越写越懒了，只做自己复习用，很多都省了，新手还是别看了，看不懂的。

这篇论文可以算是现在很多 PG 的鼻祖了，证明了 Deterministic PG...]]></description><category></category></item><item><title><![CDATA[RL论文阅读【六】Rainbow: Combining Improvements in Deep Reinforcement Learning]]></title><link>https://blog.youkuaiyun.com/taoyafan/article/details/93412799</link><guid>https://blog.youkuaiyun.com/taoyafan/article/details/93412799</guid><author>taoyafan</author><pubDate>Sun, 23 Jun 2019 22:54:59 +0800</pubDate><description><![CDATA[1 motivation

这篇论文可以理解为把 DQN 的很多改进都用上了，之前 Dueling DQN 其实已经把 Double DQN 和 Prioritized replay 已经用上了，除此之外，Q-learning 还有一个改进是 Multi-step，后来又有人提出了 Distributional RL 和 Noisy net。然后这篇论文的思想就是把这些改进全结合到一起，做一个全能...]]></description><category></category></item><item><title><![CDATA[RL论文阅读【五】Prioritized Experience Replay]]></title><link>https://blog.youkuaiyun.com/taoyafan/article/details/91909380</link><guid>https://blog.youkuaiyun.com/taoyafan/article/details/91909380</guid><author>taoyafan</author><pubDate>Thu, 13 Jun 2019 23:52:12 +0800</pubDate><description><![CDATA[1 废话

·前一段一个很重要的面试挂了，难受了几天，又是谢师宴，还有昨天还打了一个晚上的电话，总之托了好几天。。。

prioritized replay 早就知道，也知道大概的意思，就是之前 loss 大的优先级设置大些，但是仔细看了论文，思想的确就是这样，但是实际的算法还是有很多细节要考虑的，下边就仔细说说。

注意：我把 transition 翻译成了“转换”，有时候也说成了“样本”。

...]]></description><category></category></item><item><title><![CDATA[RL论文阅读【四】Deep Reinforcement Learning with Double Q-learning（Double DQN）]]></title><link>https://blog.youkuaiyun.com/taoyafan/article/details/90951058</link><guid>https://blog.youkuaiyun.com/taoyafan/article/details/90951058</guid><author>taoyafan</author><pubDate>Thu, 06 Jun 2019 00:14:30 +0800</pubDate><description><![CDATA[1 废话

今天特地早回来了点，天天一点睡，熬不住啊。把 Double DQN 看完了，收获还是不小的吧，虽然公式早就知道，不过把为什么DQN会高估和怎么解决的思路介绍的比较清楚了。

2 Motivation

其实吧，DQN 存在的高估问题和 Q-learning 是一样的，所以 Q-learning 是如何解决的呢？答案就是 Double Q-learning，所以我们今天的 Double ...]]></description><category></category></item><item><title><![CDATA[RL论文阅读【三】Dueling Network Architectures for Deep Reinforcement Learning]]></title><link>https://blog.youkuaiyun.com/taoyafan/article/details/90745419</link><guid>https://blog.youkuaiyun.com/taoyafan/article/details/90745419</guid><author>taoyafan</author><pubDate>Mon, 03 Jun 2019 00:27:20 +0800</pubDate><description><![CDATA[1 废话

这篇论文就是介绍我们常说的 Dueling DQN，在我心中一直以为和 Double DQN 是平行的两种技术，所以也没怎么想就看这篇论文了，但是看了才发现，原来这篇论文中提到了 Double DQN，而且可以应用于 Double DQN，而且同时还用到的 Prioritized replay，所以正确的阅读顺序应该是先看 Double DQN 和Prioritized experi...]]></description><category></category></item><item><title><![CDATA[RL论文阅读【二】Human-level control through deep reinforcement learning]]></title><link>https://blog.youkuaiyun.com/taoyafan/article/details/90680690</link><guid>https://blog.youkuaiyun.com/taoyafan/article/details/90680690</guid><author>taoyafan</author><pubDate>Wed, 29 May 2019 23:52:32 +0800</pubDate><description><![CDATA[1废话

这篇论文和上一篇其实都差不多，都是DQN，都是 DeepMind 的，作者也都一样，不过还是有一些改进的，下面就直说改进了，不说背景了。

2 算法改进

有两个比较大的改进：

（1）加了一个 target Q，每个 C step 将当前的 Q 网络的参数赋值给 target Q。作用是在训练过程中，固定目标值，也就是，防止divergence 或oscillations的发生。
...]]></description><category></category></item><item><title><![CDATA[强化学习关键论文]]></title><link>https://blog.youkuaiyun.com/taoyafan/article/details/90614093</link><guid>https://blog.youkuaiyun.com/taoyafan/article/details/90614093</guid><author>taoyafan</author><pubDate>Mon, 27 May 2019 23:24:33 +0800</pubDate><description><![CDATA[我就不再复制了，直接移步参考链接吧，这个博客的目的只是为了方便大家搜索。

参考 OpenAI 的 Spinning UP 中的Key Papers in Deep RL
]]></description><category></category></item><item><title><![CDATA[RL论文阅读【一】Playing Atari with Deep Reinforcement Learning]]></title><link>https://blog.youkuaiyun.com/taoyafan/article/details/90582030</link><guid>https://blog.youkuaiyun.com/taoyafan/article/details/90582030</guid><author>taoyafan</author><pubDate>Sun, 26 May 2019 23:06:30 +0800</pubDate><description><![CDATA[1 废话

开始要认真的读论文的，计划每天晚上回宿舍看一半，两天看完一篇，第三天写博客总结，虽然有点慢吧，但是积少成多嘛~

今天先介绍第一篇，也是深度强化学习的开山之作。

2 动机

一般把这篇论文称作深度强化学习的第一篇论文，该论文发表与2013年，受到2012年Hitton和学生Alex在image net获得冠军的影响，第一次将深度学习和强化学习结合，其实就是用了CNN做观测的处理。

...]]></description><category></category></item><item><title><![CDATA[深度剖析 OpenAI Gym（持续更新）]]></title><link>https://blog.youkuaiyun.com/taoyafan/article/details/90267248</link><guid>https://blog.youkuaiyun.com/taoyafan/article/details/90267248</guid><author>taoyafan</author><pubDate>Mon, 20 May 2019 14:48:26 +0800</pubDate><description><![CDATA[1 废话

最近用到 OpenAI Gym，相关的介绍比较少，为了用着方便点，翻了翻底层，下边记录下我的理解，包括两部分，一个是gym 的结构和说明，还有一个是在执行我们程序时，底层程序的执行顺序。

注意：我只介绍我知道的部分，随着理解的深入介绍的会更多，个人理解可能有误，若有问题请评论，谢谢。

OpenAI 的官网为：https://gym.openai.com/

github为：http...]]></description><category></category></item><item><title><![CDATA[ubuntu16.04 安装 gym、mujoco、mujoco-py]]></title><link>https://blog.youkuaiyun.com/taoyafan/article/details/89555913</link><guid>https://blog.youkuaiyun.com/taoyafan/article/details/89555913</guid><author>taoyafan</author><pubDate>Mon, 20 May 2019 08:55:37 +0800</pubDate><description><![CDATA[废话：

好久没更新博客了，这几个月找实习，投了20多家一个都没过，还是太菜了，专心搞毕设吧。。下边记录安装 gym、mujoco。



1 Mujoco

首先 Mujoco 部分参考博客：强化学习环境配置（Ubuntu16.04）—gym、mujoco、mujoco-py、baselines安装与测试



几个需要补充的地方：

（1）关于 Mujoco 的 License，试用的可以...]]></description><category></category></item><item><title><![CDATA[彻底清除 git 中的大文件]]></title><link>https://blog.youkuaiyun.com/taoyafan/article/details/86716280</link><guid>https://blog.youkuaiyun.com/taoyafan/article/details/86716280</guid><author>taoyafan</author><pubDate>Thu, 31 Jan 2019 16:17:31 +0800</pubDate><description><![CDATA[本来很少的代码，2MB左右，传 github 提示超过 100MB，我的天，吓一跳。。。后来发现是之前误传了大文件，虽然删除，但是git 中一直保存这记录，于是谷歌一番找到解决办法。

 

首先，一定用 git status 查看当前的状态，保证没有需要增加、修改或删除的文件。

然后就可以按照这个博客一步一步来了：

https://kyriejoshua.github.io/jo.githu...]]></description><category></category></item><item><title><![CDATA[ubuntu出现 dpkg: error processingpackage linux-generic 或 linux-image-xxxx-generic]]></title><link>https://blog.youkuaiyun.com/taoyafan/article/details/86223811</link><guid>https://blog.youkuaiyun.com/taoyafan/article/details/86223811</guid><author>taoyafan</author><pubDate>Thu, 10 Jan 2019 12:16:13 +0800</pubDate><description><![CDATA[apt-get install 的时候出现的这个问题，尝试了好多好多方法，最后终于使用下面这个链接中的方法成功了：

https://blog.youkuaiyun.com/blackmanren/article/details/78167752

其中有一个命令是


sudo mv ./info/*./info.bak

这里面少了个空格，所以应该是：


sudo mv ./info/* ./info....]]></description><category></category></item><item><title><![CDATA[ubuntu16.4 如何成功安装python3.6和pip3]]></title><link>https://blog.youkuaiyun.com/taoyafan/article/details/86223578</link><guid>https://blog.youkuaiyun.com/taoyafan/article/details/86223578</guid><author>taoyafan</author><pubDate>Thu, 10 Jan 2019 12:07:32 +0800</pubDate><description><![CDATA[由于用到 AutoML 的一些库，要求 python3.6，于是安装了3.6，试来试去还是这个博文最靠谱，不复制了，直接上连接：

https://blog.youkuaiyun.com/gzh8579/article/details/79530144...]]></description><category></category></item><item><title><![CDATA[总结 of 字节跳动的比赛（Bute Cup2018）——新闻标题生成]]></title><link>https://blog.youkuaiyun.com/taoyafan/article/details/84879285</link><guid>https://blog.youkuaiyun.com/taoyafan/article/details/84879285</guid><author>taoyafan</author><pubDate>Fri, 07 Dec 2018 19:19:44 +0800</pubDate><description><![CDATA[目录

0、废话

1、我们的模型介绍

0. 数据预处理

1. Seq2Seq + Attention

2. + pointer network + coverage

3. + temporary attention + policy gradient

4. + dropout

2、出现的问题

1. 分数据集

2. 模型保存

3. 测试时控制变量

3、别人很多值得学习的部分

...]]></description><category></category></item></channel></rss>