避免过拟合问题——正则化

正则化思想：在损失函数中加入刻画模型复杂度的指标。
优化对象： J(θ)+λR(w) 其中： J(θ)代表损失函数；λ代表模型复杂损失在总损失中的比例；R(w) 代表模型的复杂程度。
刻画模型复杂程度的函数：1.L1正则化 2.L2正则化
原则：通过限制权重的大小，使得模型不能任意拟合训练数据中的随机噪音。
例子：

import tensorflow as tf

weights=tf.constant([[1.0,-2.0],[-3.0,4.0]])

with tf.Session() as sess:
#    L1正则化计算
    print(sess.run(tf.contrib.layers.l1_regularizer(0.5)(weights)))
#    L2正则化计算
    print(sess.run(tf.contrib.layers.l2_regularizer(0.5)(weights)))

结果：
5.0
7.5