Tensorflow tf.GradientTape() 查看每一次epoch参数更新

最新推荐文章于 2025-06-25 17:17:01 发布

原创

最新推荐文章于 2025-06-25 17:17:01 发布 · 3.1k 阅读

2 ·

CC 4.0 BY-SA版权

本文通过一个简单的线性模型演示如何利用Tensorflow的tf.GradientTape API来观察每次epoch中参数的变化，展示从初始损失到收敛过程，并最终得到优化后的权重W和偏置B。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这是一个非常简单的例子。

拟合 y = x * 3 + 2（其中x是一维，y是是实数）

import tensorflow as tf

tf.enable_eager_execution()
tf.executing_eagerly()
tfe = tf.contrib.eager

NUM_EAMPLES = 1000
training_inputs = tf.random_normal([NUM_EAMPLES])
noise = tf.random_normal([NUM_EAMPLES])
training_outputs = training_inputs*3 + 2 + noise

def prediction(input,weight,bias):
    return input * weight + bias

def loss(weights,biases):
    error = prediction(training_inputs,weights,biases) - training_outputs
    return tf.reduce_mean(tf.square(error))

def grad(weights,biases):
    with tf.GradientTape() as tape:
        loss_value = loss(weights,biases)
    return tape.gradient(loss_value,[weights,biases])

traing_steps = 200
learning_rate = 0.01
W = tf.Variable(0.)
B = tf.Variable(0.)

print("Initial loss: {:.3f}".format(loss(W,B)))
for i in range(traing_steps):
    dw,db = grad(W,B)
    W.assign_sub(dw*learning_rate)
    B.assign_sub(db*learning_rate)
    if i%20 == 0:
        pr