走进tensorflow第五步——一个小例子探究权重和学习率

最新推荐文章于 2024-06-24 16:20:40 发布

beyond_LH

最新推荐文章于 2024-06-24 16:20:40 发布

阅读量5.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： AI 文章标签：学习率权重 loss

本文链接：https://blog.youkuaiyun.com/beyond9305/article/details/88902616

AI 专栏收录该内容

26 篇文章 ¥9.90 ¥99.00

订阅专栏

通过一个TensorFlow实例，探讨了学习率和权重对模型训练的影响。实验发现，学习率增大虽能提高精度，但也导致训练时间增加。在迭代次数固定时，适度增加学习率能显著提升精度；当迭代次数增加，学习率再增大，精度不再提升。这一观察挑战了传统认知，暗示特定场景下，适当高的学习率可能有益。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

来一次从零开始的tensorflow实战吧……

从简至繁吧，代码注释比较详细，来看：

# -*- coding: utf-8 -*-
import numpy as np
import tensorflow as tf
import time

x_0=np.array([[1],[2],[1]]) #生成一个损失函数系数数组
x=tf.placeholder(tf.float32,[3,1])  #占位符，第一个参数为类型，第二个为形状
w=tf.Variable([0],dtype=tf.float32)  #定义变量w，初始值为0.0

loss=x[0]*w**2+x[1]*w+x[2] #定义损失函数
train=tf.train.GradientDescentOptimizer(0.001).minimize(loss) #梯度下降优化，学习率为0.001
init=tf.global_variables_initializer()  #初始化变量

#启动图
sess=tf.Session()
sess.run(init)
print(sess.run(w))  #显示w初值

go=time.time()  #开始执行的时间
for i in range(1000):  #迭代1000次
    sess.run(train,feed_dict={x:x_0})  #用feed_dict给x传值
over=time.time() #结束时间 

print(sess.run(w))    #打印训练之后的w，-1为最优
print(str(1000*(over-go))+'ms')   #显示训练时间，单位为s，转化为毫秒更直观

动态地给损失函数

了解本专栏