神经网络搭建的一般过程为:
1.准备数据:采集大量“特征/标签”数据
2.搭建网络:搭建神经网络结构
3.优化参数:训练网络获取最佳参数(反向传播)
4.应用网络:将网络保存为模型,输入新数据,输出分类或预测结果
loss=,导数为2*(w+1),w初始值为5,第一次迭代导数grads=2*(5+1)=12,
之后以此类推,最终让loss最小,则w趋近于-1
,代码实现:
import tensorflow as tf
# tf.Variable(initializer,name),参数initializer是初始化参数,name是可自定义的变量名称
# tf.constant生成常量5,类型为float32
w = tf.Variable(tf.constant(5, dtype=tf.float32))
# 设置学习率0.2
lr = 0.2
# 设置迭代次数
epoch = 40
for epoch in range(epoch):
# tape为一个上下文管理器来连接需要计算梯度的函数和变量,方便求解同时也提升效率。
with tf.GradientTape() as tape:
# 损失函数loss定义为(w+1)**2
loss = tf.square(w + 1)
# 让loss对参数w求梯度
grads = tape.gradient(loss, w)
# assign_sub自减,即w-=lr*grads
w.assign_sub(lr * grads)
print(f'after {epoch} ,w is {w.numpy()} ,loss is {loss}')