一、线性回归原理
根据数据建立回归模型,w1x1+w2x2+……+wnxn+b = y,通过真实值与预测值之间建立误差,使用梯度下降优化得到损失最小对应的权重和偏置。最终确定模型的权重和偏置参数。最后可以用这些参数进行预测。
二、实现方式
该部分采用python编程语言实现线性回归,用pycharm导入tensorflow环境,编写完成后,并执行代码,用anaconda prompt命窗口,用activate tensorflow启动tensorflow环境,并使用cd命令进入到训练的event文件的目录,并执行tensorboard –logdir=“event文件所在目录”***(注意一定要全英的路径)***,用chrom打开tensorboard观察训练后数据的变化。
运行一次后的数据:
运行四次后的数据:
代码结构:
程序部分说明:
1、准备数据
使用API:matmul矩阵运算、random_normal生成随机数
x = tf.random_normal([100, 1], mean=1.75, stddev=0.5, name=“x_data”)
y_true = tf.matmul(x, [[0.7]]) + 0.8
2、建立线性回归模型
随机给一个权重和偏置的值,让它去计算损失,然后在当前状态下优化
代码实现:
weight = tf.Variable(tf.random_normal([1, 1], mean=0.0, stddev=1.0), name=“w”)
bais = tf.Variable(0.0, name=“b”)
y_predict = tf.matmul(x, weight) + bais
3、建立损失函数,均方误差
公式:(y1-y2)2+(y2-y3)2+……+(y100-y101)^2/100
使用API:reduce_mean 均值
代码实现:
loss = tf.reduce_mean(tf.square(y_true - y_predict))
4、梯度下降,去优化损失
梯度下降API: tf.train.GradientDescentOptimizer
代码实现:
train_op=tf.train.GradientDescentOptimizer(learning_rate=0.1).minimize(loss)
5、使数据更加接近目标值
(1)为了数据更进一步的接近目标值,收集tensor,合并变量写入事件文件
使用API:
tf.summary.scalar收集对于损失函数和准确率等单值变量
tf.summary.histogram收集高维度的变量参数
实现代码:
tf.summary.scalar(“losses”, loss)
tf.summary.histogram(“weights”, weight)
(2)加载模型,覆盖模型当中随机定义的参数,从上次训练的参数结果开始
使用API:
模型的保存saver.save
模型的加载saver.restore
代码实现:
saver = tf.train.Saver()
saver.save(sess, “./ckpt/model”)
if os.path.exists("./ckpt/model/checkpoint"):saver.restore(sess, “./ckpt/model”)
import tensorflow as tf
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
# 实现一个线性回归预测
# variable_scope定义变量作用率
def myregression():
with tf.variable_scope("data"):
# 1、准备数据,x特征量[100,1]y目标值[100]
# matmul矩阵运算
x = tf.random_normal([100, 1], mean=1.75, stddev=0.5, name="x_data")
y_true = tf.matmul(x, [[0.7]]) + 0.8
with tf.variable_scope("model"):
# 2、建立线性回归模型,1个特征,1个权重,1个偏置y = wx +b random_normal生成随机数
# 随机给一个权重和偏置的值,让她去计算损失,然后在当前状态下优化
# 用变量定义才能优化
# trainable参数:指定这个变量能跟着梯度下降一起优化
weight = tf.Variable(tf.random_normal([1, 1], mean=0.0, stddev=1.0), name="w")
bais = tf.Variable(0.0, name="b")
y_predict = tf.matmul(x, weight) + bais
with tf.variable_scope("loss"):
# 3、建立损失函数,均方误差
# reduce_mean 均值
loss = tf.reduce_mean(tf.square(y_true - y_predict))
with tf.variable_scope("optimizer"):
# 4、梯度下降,优化损失,learning_rate 0~1
# 梯度下降 tf.train.GradientDescentOptimizer
train_op = tf.train.GradientDescentOptimizer(learning_rate=0.1).minimize(loss)
# 收集tensor,合并变量写入事件文件
# tf.summary.scalar收集对于损失函数和准确率等单值变量
# tf.summary.histogram收集高维度的变量参数
tf.summary.scalar("losses", loss)
tf.summary.histogram("weights", weight)
# 定义合并tensor的op,每次迭代都需要运行
merged = tf.summary.merge_all()
# 定义一个初始化的op,通过会话运行程序
init_op = tf.global_variables_initializer()
# 定义一个保存模型的实例
# 模型的保存saver.save
# 模型的加载saver.restore
saver = tf.train.Saver()
with tf.Session() as sess:
# 初始化变量
sess.run(init_op)
# 打印随机最先初始化的权重和偏置
print("随机初始化的参数权重为:%f,偏置为:%f" % (weight.eval(), bais.eval()))
# 建立事件文件
filewriter = tf.summary.FileWriter("./test/", graph=sess.graph)
# 加载模型,覆盖模型当中随机定义的参数,从上次训练的参数结果开始
if os.path.exists("./ckpt/model/checkpoint"):
saver.restore(sess, "./ckpt/model")
# 循环训练优化
for i in range(500):
# 运行优化
sess.run(train_op)
# 运行合并的tensor
summary = sess.run(merged)
filewriter.add_summary(summary, i)
print("第%d次优化的参数权重为:%f,偏置为:%f" % (i, weight.eval(), bais.eval()))
saver.save(sess, "./ckpt/model")
return None
if __name__ == '__main__':
myregression()