笔记 - 梯度下降：基于tensorflow的三种实现

最新推荐文章于 2022-05-05 16:59:30 发布

原创最新推荐文章于 2022-05-05 16:59:30 发布 · 383 阅读

0 ·

CC 4.0 BY-SA版权

编程同时被 3 个专栏收录

73 篇文章

订阅专栏

57 篇文章

订阅专栏

梯度下降

2 篇文章

订阅专栏

本文详细介绍了在机器学习中使用线性回归算法的三种不同实现方法：原生实现，利用自动求导，以及使用优化器。每种方法都通过具体的代码示例进行了说明，帮助读者理解线性回归背后的数学原理及其实现细节。

以线性回归为例

原生实现

...
theta = tf.Variable(tf.random_uniform([n + 1, 1], -1.0, 1.0), name='theta')
y_pred = tf.matmul(X, theta, name="predictions")
error = y_pred - y
rmse = tf.sqrt(tf.reduce_mean(tf.square(error), name="rmse"))
# 梯度的公式：(y_pred - y) * xj
gradients = 2/m * tf.matmul(tf.transpose(X), error)
# 赋值函数对于BGD来说就是 theta_new = theta - (learning_rate * gradients)
training_op = tf.assign(theta, theta - learning_rate * gradients)
...

2.自动求导

theta = tf.Variable(tf.random_uniform([n + 1, 1], -1.0, 1.0), name='theta')
y_pred = tf.matmul(X, theta, name="predictions")
error = y_pred - y
mse = tf.reduce_mean(tf.square(error), name="mse")
# 梯度的公式：(y_pred - y) * xj
# gradients = 2/m * tf.matmul(tf.transpose(X), error)
gradients = tf.gradients(mse, [theta])[0]
# 赋值函数对于BGD来说就是 theta_new = theta - (learning_rate * gradients)
training_op = tf.assign(theta, theta - learning_rate * gradients)

3.优化器

theta = tf.Variable(tf.random_uniform([n + 1, 1], -1.0, 1.0), name='theta')
y_pred = tf.matmul(X, theta, name="predictions")
error = y_pred - y
mse = tf.reduce_mean(tf.square(error), name="mse")
# 梯度的公式：(y_pred - y) * xj
training_op = tf.train.GradientDescentOptimizer(learning_rate=learning_rate).minimize(mse)