Tensorflow（二十九） —— 卷积神经网络（CNN）

最新推荐文章于 2024-08-01 12:28:11 发布

原创最新推荐文章于 2024-08-01 12:28:11 发布 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #深度学习 #tensorflow #人工智能 #算法

深度学习（神经网络）专题专栏收录该内容

46 篇文章

订阅专栏

本文介绍了TensorFlow中BatchNormalization层的基本用法，包括参数设置、维度处理，并通过实战演示了如何在不同场景下使用，以及如何配合优化器进行梯度更新。

部署运行你感兴趣的模型镜像

Tensorflow（二十九） —— 卷积神经网络（CNN）

1. layers.BatchNormalization
2. 实战

1. layers.BatchNormalization

import tensorflow as tf
from tensorflow.keras import layers,optimizers
import matplotlib.pyplot as plt
# ************************ layers.BatchNormalization
x = tf.random.normal([784,10],mean = 1,stddev=0.5)
net = layers.BatchNormalization(axis = -1,\
                               center = True,\
                               scale = True,\
                               trainable = True)
net(x,training = False).shape

2. 实战

x = tf.random.normal([2,3])
net = layers.BatchNormalization()

out = net(x)
print(out.shape)

print(net.trainable_variables)
print(net.variables)

x = tf.random.normal([2,4,4,3],mean = 1,stddev=0.5)
net = layers.BatchNormalization(axis = -1)

out = net(x,training = False)
print(net.variables)

out1 = net(x,training = True)
print(net.variables)

for i in range(100):
    net(x,training = True)
print(net.variables)

# backward update
optimizer = optimizers.Adam(lr = 1e-3)
for i in range(10):
    with tf.GradientTape() as tape:
        out = net(x,training = True)
        loss = tf.reduce_mean(out**2)
    grads = tape.gradient(loss,net.trainable_variables)
    optimizer.apply_gradients(zip(grads,net.trainable_variables))

print(net.trainable_variables)