tf系列3——张量、变量和求导

最新推荐文章于 2024-01-12 22:39:30 发布

原创最新推荐文章于 2024-01-12 22:39:30 发布 · 501 阅读

0 ·

CC 4.0 BY-SA版权

tensorflow和pytorch 专栏收录该内容

22 篇文章

订阅专栏

本文深入探讨TensorFlow中的张量操作，包括张量类型、阶、固定值与随机值张量的创建、类型转换及其它操作。进一步讲解了TensorFlow变量的使用，并通过对比NumPy实现，详细阐述了TensorFlow下线性回归模型的求导过程，展示了自动求导的优势。

这里写目录标题

1 Tensorflow张量
2 Tensorflow变量（tf.Variable(initial_value=3.)
3 求导
- 3.1 普通NumPy 下的线性回归求导实现
- 3.2 TensorFlow 下的线性回归求导

1 Tensorflow张量

在这里插入图片描述

1.1 张量类型

在这里插入图片描述

1.2 张量的阶

在这里插入图片描述

1.3 张量操作

1.3.1 创建固定值张量

在这里插入图片描述

1.3.2 创建随机值张量

在这里插入图片描述

1.3.3 张量类型的变换

在这里插入图片描述

1.3.4 张量的其它操作

在这里插入图片描述
官网链接https://www.tensorflow.org/api_docs/python/tf/Tensor

2 Tensorflow变量（tf.Variable(initial_value=3.)

在这里插入图片描述

3 求导

在这里插入图片描述

3.1 普通NumPy 下的线性回归求导实现

在这里插入图片描述

import numpy as np

X_raw = np.array([2013, 2014, 2015, 2016, 2017], dtype=np.float32)
y_raw = np.array([12000, 14000, 15000, 16500, 17500], dtype=np.float32)

X = (X_raw - X_raw.min()) / (X_raw.max() - X_raw.min())
y = (y_raw - y_raw.min()) / (y_raw.max() - y_raw.min())

a, b = 0, 0
num_epoch = 10000
learning_rate = 1e-3
for e in range(num_epoch):
    # 手动计算损失函数关于自变量（模型参数）的梯度
    y_pred = a * X + b
    grad_a, grad_b = (y_pred - y).dot(X), (y_pred - y).sum()

    # 更新参数
    a, b = a - learning_rate * grad_a, b - learning_rate * grad_b
print(a, b)

3.2 TensorFlow 下的线性回归求导

在这里插入图片描述

import numpy as np

X_raw = np.array([2013, 2014, 2015, 2016, 2017], dtype=np.float32)
y_raw = np.array([12000, 14000, 15000, 16500, 17500], dtype=np.float32)

X = (X_raw - X_raw.min()) / (X_raw.max() - X_raw.min())
y = (y_raw - y_raw.min()) / (y_raw.max() - y_raw.min())


# 1、定义Tensor类型
X = tf.constant(X)
y = tf.constant(y)

# 2、参数使用变量初始化
a = tf.Variable(initial_value=0.)
b = tf.Variable(initial_value=0.)
variables = [a, b]

num_epoch = 10000
optimizer = tf.keras.optimizers.SGD(learning_rate=1e-3)
for e in range(num_epoch):
    # 使用tf.GradientTape()记录损失函数的梯度信息
    with tf.GradientTape() as tape:
        y_pred = a * X + b
        loss = 0.5 * tf.reduce_sum(tf.square(y_pred - y))
    # TensorFlow自动计算损失函数关于自变量（模型参数）的梯度
    grads = tape.gradient(loss, variables)
    # TensorFlow自动根据梯度更新参数
    optimizer.apply_gradients(grads_and_vars=zip(grads, variables))

print(a, b)