tensorflow代价敏感因子、增加正则化项、学习率衰减

最新推荐文章于 2024-11-03 22:33:35 发布

原创最新推荐文章于 2024-11-03 22:33:35 发布 · 2.5k 阅读

3 ·

CC 4.0 BY-SA版权

DeepLearning 专栏收录该内容

16 篇文章

订阅专栏

本文介绍了在深度学习模型训练过程中采用的几种关键技巧，包括代价敏感的交叉熵损失、权重衰减的正则化项以及学习率的指数衰减策略。这些方法能够帮助提升模型的泛化能力和训练效率。

1.代价敏感：

    outputs, end_points = vgg.all_cnn(Xinputs,
                                          num_classes=num_classes,
                                          is_training=True,
                                          dropout_keep_prob=0.5,
                                          spatial_squeeze=True,
                                          scope='all_cnn'

    cross_entrys=tf.nn.softmax_cross_entropy_with_logits(logits=outputs, labels=Yinputs)
    # w_temp = tf.matmul(Yinputs, w_ls) #代价敏感因子w_ls=tf.Variable(np.array(w,dtype='float32')，name="w_ls",trainable=False)，w是权重项链表
    # loss=tf.reduce_mean(tf.multiply(cross_entrys,w_temp))  #代价敏感下的交叉熵损失

2. 正则化项:

    weights_norm=tf.reduce_sum(input_tensor=weight_dacay*tf.stack([tf.nn.l2_loss(i) for i in tf.get_collection('weights')]),name='weights_norm' )
    loss=tf.add(cross_entrys,weights_norm) #包含正则化项损失，对应于caffe里面的weight-decay因子λ，因为在梯度反向传递时'l2-正则化:1/2*λ*||W||^2'对应的更新值就是权重衰减因子，W-△w=w-(△w_分类损失部分+λ*w)=-△w_分类损失部分+(1-λ)*w。通常λ=0.001~0.0005

3. 学习率衰减:

global_step = tf.Variable(0, trainable=False)
add_g=global_step.assign_add(1)
starter_learning_rate = 0.001
decay_steps = 10

#tf.train.下面有多个衰减函数可用
learning_rate = tf.train.exponential_decay(starter_learning_rate, global_step, decay_steps, decay_rate=0.01)

#train_op = tf.train.MomentumOptimizer(learning_rate,0.9).minimize(loss) #用于优化损失
#decayed_learning_rate = learning_rate *  decay_rate ^ (global_step / decay_steps)
init = tf.initialize_all_variables()
# 启动图 (graph),查看衰减状态
with tf.Session() as sess:
    sess.run(init)
    for i in range(15):
        _,r=sess.run([add_g, learning_rate])
        print(_,"=",r)