城南花开的专栏

激活函数

转自：https://blog.youkuaiyun.com/shijing_0214/article/details/52081301 递归神经网络 在传统神经网络中，模型不会关注上一时刻的处理会有什么信息可以用于下一时刻，每一次都只会关注当前时刻的处理。举个例子来说，我们想对一部影片中每一刻出现的事件进行分类，如果我们知道电影...

转自https://blog.youkuaiyun.com/juanjuan1314/article/details/52020607 1.     循环神经网络（RNNs）人们并不是每一秒都重新开始新的思考的，就像你读这篇论文，你基于以前对词句的认知来理解每一个词，而不是丢掉以前所有的知识，重...

RNN首先来看一下经典的RRN的结构图，这里 xxx 是输入 WWW 是权重矩阵 (RNN的权重矩阵是共享的所以都是W) hhh 是隐藏状态 yyy是输出RNN简单公式定义ht=W∗f(ht−1)+W(hx)∗x[t]h_t = W*f(h_{t-1}) + W^{(hx)}*x_{[t]}ht​=W∗f(ht−1​)+W(hx)∗x[t]​yt=W(S)∗f(ht)y_{t} =...