梯度裁剪tf.clip_by_norm and tf.clip_by_global_norm

(一)、为什么要进行梯度裁剪?
防止训练过程中，梯度回传的时候，梯度过大，导致模型振荡，不稳定，难以训练,即传说中的防止梯度爆炸。

(二)、什么是范数?
范数（norm）是数学中的一种基本概念，最常用的就是p-范数。假设一个向量为：$(x_1,x_2,\cdots ,x_n)$，则可得：

{ 1−范数：∣∣X∣∣1=∣x1∣+∣x2∣+⋯+∣xn∣2−范数：∣∣X∣∣2=∣x1∣2+∣x2∣2+⋯+∣xn∣2p−范数：∣∣X∣∣p=∣x1∣p+∣x2∣p+⋯+∣xn∣pp\begin{cases} 1-范数：||X||_1=|x_1|+|x_2|+\cdots+|x_n| \\ 2-范数：||X||_2=\sqrt{|x_1|^2+|x_2|^2+\cdots+|x_n|^2} \\ p-范数：||X||_p=\sqrt[p]{|x_1|^p+|x_2|^p+\cdots+|x_n|^p} \end{cases}⎩⎪⎨⎪⎧​