Tensorflow2.0 感知机梯度计算

最新推荐文章于 2022-03-28 18:10:17 发布

原创最新推荐文章于 2022-03-28 18:10:17 发布 · 230 阅读

0 ·

CC 4.0 BY-SA版权

TensorFlow 专栏收录该内容

70 篇文章

订阅专栏

本文介绍了使用TensorFlow实现单输出及多输出感知机的梯度计算过程。通过具体实例展示了如何利用GradientTape进行梯度追踪，并计算损失函数关于权重w和偏置b的梯度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

单输出感知机梯度计算

"""
    单一输出 单层感知机
"""
import tensorflow as tf

# 准备数据
x = tf.random.normal([1, 3])
w = tf.ones([3, 1])
b = tf.ones([1])
y = tf.constant([1])

# 计算梯度
with tf.GradientTape() as tape:
    tape.watch([w, b])
    # 前向传播
    y_prob = tf.sigmoid(x @ w + b)
    loss = tf.reduce_mean(tf.losses.MSE(y, y_prob))

    # 输出结果
    grads = tape.gradient(loss, [w, b])
    print("求导梯度结果 w:\n", grads[0].numpy())
    print("求导梯度结果 b:\n", grads[1].numpy())

在这里插入图片描述

多输出感知机梯度计算

"""
    多输出的单层感知机 梯度计算
"""
import tensorflow as tf

# 准备数据
x = tf.random.normal([2, 4])
w = tf.random.normal([4, 3])
b = tf.zeros([3])
y = tf.constant([2, 0])

# 计算梯度
with tf.GradientTape() as tape:
    tape.watch([w, b])
    # 正向传播
    y_prob = tf.nn.softmax(x @ w + b, axis=1)
    # loss计算
    loss = tf.reduce_mean(tf.losses.MSE(tf.one_hot(y,depth=3), y_prob))

    # 显示梯度结果
    grads = tape.gradient(loss, [w, b])
    print("求导梯度结果 w:\n", grads[0].numpy())
    print("求导梯度结果 b:\n", grads[1].numpy())