u012564409的专栏

tensorflow为防止神经网络因特征过去导致过拟合，给weight加上一个L2的loss，做一个L2正则化处理。tensorflow中的代码为：tf.nn.l2_loss(var): output = sum(t ** 2) / 2。增强神经网络泛化能力，tf.nn.lrn()。 LRN是针对RELU这种没上限边界的激活函数，可以使得神经元中响应比较大的值变得相对更大，响应比较小的得到抑制

tensorflow里面共享变量、name_scope, variable_scope等如何理解name_scope, variable_scope目的：1 减少训练参数的个数。 2 区别同名变量为什么要共享变量？我举个简单的例子：例如，当我们研究生成对抗网络GAN的时候，判别器的任务是，如果接收到的是生成器生成的图像，判别器就尝试优化自己的网络结构来使自己输出0，如果接收到的是来自真实数据的图