递归神经网络 训练、推到、实现（网络资料整理）

参考：

RNN求解过程推导与实现

人人都能用Python写出LSTM-RNN的代码！[你的神经网络学习最佳起步]

Hinton 的课件

我的最佳学习法就是通过玩具代码，一边调试一边学习理论。这篇博客通过一个非常简单的python玩具代码来讲解循环神经网络。

[python] view plain copy

1. import copy, numpy as np  
2. np.random.seed(0)  
3.   
4. # compute sigmoid nonlinearity  
5. def sigmoid(x):  
6.     output = 1/(1+np.exp(-x))  
7.     return output  
8.   
9. # convert output of sigmoid function to its derivative  
10. def sigmoid_output_to_derivative(output):  
11.     return output*(1-output)  
12.   
13.   
14. # training dataset generation  
15. int2binary = {}  
16. binary_dim = 8  
17.   
18. largest_number = pow(2,binary_dim)  
19. binary = np.unpackbits(  
20.     np.array([range(largest_number)],dtype=np.uint8).T,axis=1)  
21. for i in range(largest_number):  
22.     int2binary[i] = binary[i]  
23.   
24.   
25. # input variables  
26. alpha = 0.1  
27. input_dim = 2  
28. hidden_dim = 16  
29. output_dim = 1  
30.   
31.   
32. # initialize neural network weights  
33. synapse_0 = 2*np.random.random((input_dim,hidden_dim)) - 1  
34. synapse_1 = 2*np.random.random((hidden_dim,output_dim)) - 1  
35. synapse_h = 2*np.random.random((hidden_dim,hidden_dim)) - 1  
36.   
37. synapse_0_update = np.zeros_like(synapse_0)  
38. synapse_1_update = np.zeros_like(synapse_1)  
39. synapse_h_update = np.zeros_like(synapse_h)  
40.   
41. # training logic  
42. for j in range(10000):  
43.       
44.     # generate a simple addition problem (a + b = c)  
45.     a_int = np.random.randint(largest_number/2) # int version  
46.     a = int2binary[a_int] # binary encoding  
47.   
48.     b_int = np.random.randint(largest_number/2) # int version  
49.     b = int2binary[b_int] # binary encoding  
50.   
51.