L2正则化—tensorflow实现

本文介绍了一种防止模型过拟合的方法——L2正则化,并详细展示了如何在TensorFlow中实现这一技术。通过在损失函数中加入正则项,可以有效地控制模型复杂度,提高泛化能力。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

L2正则化是一种减少过拟合的方法,在损失函数中加入刻画模型复杂程度的指标。假设损失函数是J(θ),则优化的是J(θ)+λR(w)R(w)=ni=0|w2i|

在tensorflow中的具体实现过程如下:

#coding:utf-8

import tensorflow as tf

def get_weight(shape,lambda):
    var = tf.Variable(tf.random_normal(shape),dtype=tf.float32)

    tf.add_to_collection("losses",tf.contrib.layers.l2_regularizer(lambda)(var))#把正则化加入集合losses里面

    return var

x = tf.placeholder(tf.float32,shape=(None,2))
y_ = tf.placeholder(tf.float32,shape=(none,1))#真值

batcg_size = 8

layer_dimension = [2,10,10,10,1]#神经网络层节点的个数

n_layers = len(layer_dimension)#神经网络的层数

cur_layer = x

in_dimension = layer_dimension[0]

for i in range (1,n_layers):
    out_dimension = layer_dimension[i]
    weight = get_weight([in_dimension,out_dimension],0.001)
    bias = tf.Variable(tf.constant(0.1,shape(out_dimension)))

    cur_layer = tf.nn.relu(tf.matmul(x,weight)) + bias)

    in_dimension = layer_dimension[i]


ses_loss = tf.reduce_mean(tf.square(y_ - cur_layer))#计算最终输出与标准之间的loss

tf.add_to_collenction("losses",ses_loss)#把均方误差也加入到集合里

loss = tf.add_n(tf.get_collection("losses"))
#tf.get_collection返回一个列表,内容是这个集合的所有元素
#add_n()把输入按照元素相加
评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值