weixin_47675950的博客

强化学习基础入门

强化学习笔记1：强化学习特点目录强化学习与监督学习的区别强化学习的特征总结目录强化学习与监督学习的区别1.强化学习处理的大多数是序列数据，其很难像监督学习的样本一样满足独立同分布2.学习器并没有告诉我们每一步正确的动作应该是什么，学习器需要自己去发现哪些动作可以带来的最多奖励，只能通过不停地尝试来发现最有利的动作。3.智能体获得自己能力的过程，其实是不停地试错探索的过程。探索和利用是强化学习中非常关心的问题，其中，探索指尝试一些新的动作，这些新的动作有可能会使我们得到更多的奖励，也有可能使我们一无

一、原理简介除了RNN能用于时间序列的处理，CNN（Convolutional Neural Networks,卷积神经网络），也能够处理文本分类问题。卷积神经网络一般用于处理图像数据，从开始时最简单的卷积层，到后面加入了池化、BN、drop_out、padding等层后，网络变得更加精细。随着时间的发展，人们相继提出了Google net,Alex net，以及后来在图像识别领域最为著名的ResNet网络，这一网络的出现使得神经网络对图像的分类准确率超过了人类水平。可见，卷积神经网络具有优越的特征提取和

一、写在前面本文在我的另一篇博文《一文看懂RNN》的基础上介绍RNN的改进版本——LSTM二、LSTM在RNN的实际运用中，我们发现，当时间步数较大或者时间步较小时，循环神经网络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸，但无法解决梯度衰减的问题。通常由于这个原因，循环神经网络在实际中较难捕捉时间序列中时间步距离较大的依赖关系。为了解决这一问题，学者们先后提出了GRU模型和LSTM模型。LSTM模型比GRU模型更为复杂，门控机制更多，所以一般来说相比之下效果也更好。2.1 输入门、遗忘

一、原理简介RNN能够记忆上下文信息，因此常常用来处理时间序列数据。虽然理论上RNN能够记忆无限长度的历史信息，但是由于梯度的累计导致计算量过大无法实际操作，因此在应用中实际上RNN只能记录前面若干个单词的信息。由此就延申出了GRU和LSTM的网络结构，主要是增加门控机制来控制信息的流动，从而提高对历史信息的记忆能力，摈弃冗余的无关信息。本文将使用较为简单的双向LSTM来完成情感分析。二、数据处理本文使用aclImdb数据集，包含了50000条评论数据及其标签，标签包含积极和消极两个类别。按1：1的比

一、写在前面本文将介绍RNN的详细构造和实战，并将三种方法手写实现，再将其应用到歌词创作上。二、RNN考虑输入数据存在时间相关性的情况。假设Xt∈Rn×d\boldsymbol{X}t \in \mathbb{R}^{n \times d}Xt∈Rn×d是序列中时间步ttt的小批量输入，Ht∈Rn×h\boldsymbol{H}t \in \mathbb{R}^{n \times h}Ht∈Rn×h是该时间步的隐藏变量。我们保存上一时间步的隐藏变量Ht−1\boldsymbol{H}{t-1}Ht−1

写在前面蚁群算法是一种求解NPC问题的启发式算法，属于仿生进化算法族的一员。仿生进化算法是受生物行为启发而发明的智能优化算法，往往是人们发现某种生物的个体虽然行为较为简单，但生物集群通过某种原理却能表现出智能行为。于是不同的人研究不同的生物行为原理，受到启发而发明出新的仿生进化算法。比如免疫优化算法，遗传算法，模拟退火算法等。遗传算法详解与Python实现在上一篇博客里已经介绍，蚁群算法与遗传算法等仿生进化算法均有共通之处，读者只需要明白透彻其中一种算法的原理和细节，便能触类旁通。因此，今天介绍的是蚁群算

写在前面遗传算法是一种求解NPC问题的启发式算法，属于仿生进化算法族的一员。仿生进化算法是受生物行为启发而发明的智能优化算法，往往是人们发现某种生物的个体虽然行为较为简单，但生物集群通过某种原理却能表现出智能行为。于是不同的人研究不同的生物行为原理，受到启发而发明出新的仿生进化算法。比如免疫优化算法，蚁群算法，模拟退火算法等，这些算法以后也会简单介绍。本文的主题是遗传算法，该算法也是受到生物行为启发。物竞天择，适者生存，优胜劣汰，是该优化算法的核心思想。笔者在业务中需要用到遗传算法求解TSP问题，但是网