24、深度学习中的RNN、LSTM与联邦学习技术解析

深度学习中的RNN、LSTM与联邦学习技术解析

1. RNN反向传播示例

在深度学习中，梯度消失和梯度爆炸是常见的问题，我们可以通过一个简单的示例来直观地观察这两种现象。以下是一个关于循环神经网络（RNN）反向传播的示例代码：

import numpy as np

(sigmoid, relu) = (lambda x: 1 / (1 + np.exp(-x)), lambda x: (x > 0).astype(float) * x)
weights = np.array([[1, 4], [4, 1]])
activation = sigmoid(np.array([1, 0.01]))

print("Sigmoid Activations")
activations = list()
for iter in range(10):
    activation = sigmoid(activation.dot(weights))
    activations.append(activation)
    print(activation)

print("\nSigmoid Gradients")
gradient = np.ones_like(activation)
for activation in reversed(activations):
    gradient = (activation * (1 - activation) * gradient)
    gradient = gradient.dot(weights.transpose())
    print(gradient)

print("Relu