完整神经网络：计算前向传播结果+通过损失函数利用反向传播算法来调参

本文链接：https://blog.youkuaiyun.com/william_hehe/article/details/79438262

本文介绍了一个简单的神经网络实现过程，包括使用TensorFlow搭建两层神经网络，并通过随机生成的数据集进行训练，展示了如何定义网络结构、损失函数及优化方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言：作为入门神经网络，该代码的基本流程，值得学习。

import tensorflow as tf
from numpy.random import RandomState

# batch_size为每次训练样本个数；迭代次数=样本总数/批尺寸
batch_size=8

#定义神经网络参数
w1=tf.Variable(tf.random_normal([2,3],stddev=1,seed=1))
w2=tf.Variable(tf.random_normal([3,1],stddev=1,seed=1))

x=tf.placeholder(tf.float32,shape=(None,2),name='x-input')
y_=tf.placeholder(tf.float32,shape=(None),name='y-input')

#定义神经网络前向传播的过程
a=tf.matmul(x,w1)
y=tf.matmul(a,w2)

#定义损失函数
cross_entropy=-tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-10,1.0)))

#反向传播的优化方法
train_step=tf.train.AdadeltaOptimizer(learning_rate=0.001).minimize(loss=cross_entropy)

#通过随机数生成一个模拟数据集
rdm=RandomState(1)
dataset_size=128

X=rdm.rand(dataset_size,2)
#所有x1+x2<1的样本被认为是正样本，其余为负样本。
Y=[[int(x1+x2<1)] for (x1,x2) in X]

with tf.Session() as sess:
    init_op=tf.global_variables_initializer()
    sess.run(init_op)
    print(sess.run(w1))
    print(sess.run(w2))

    STEPS=5000#训练轮数
    for i in range(STEPS):
        start=(i*batch_size)
        end=min(start+batch_size,dataset_size)
        sess.run(train_step,feed_dict={x:X[start:end],y_:Y[start:end]})
        if i % 1000 ==0:
            total_cross_entropy=sess.run(cross_entropy,feed_dict={x:X,y_:Y})
            print("After %d training step(s),cross entropy on all data is %g"%(i,total_cross_entropy))
    print(sess.run(w1))
    print(sess.run(w2))

结果如下：