tensorflow函数学习（二）--正则和规范化

最新推荐文章于 2022-07-08 16:00:02 发布

原创最新推荐文章于 2022-07-08 16:00:02 发布 · 471 阅读

0 ·

CC 4.0 BY-SA版权

tensorflow函数专栏收录该内容

5 篇文章

订阅专栏

本文详细介绍了在TensorFlow中如何使用tf.nn.l2_normalize进行L2正则化，分别展示了按列和按行进行l2范化的实例及计算过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考https://blog.youkuaiyun.com/abiggg/article/details/79368982

1.L2正则 tf.nn.l2_normalize的使用

tf.nn.l2_normalize(x, dim, epsilon=1e-12, name=None)
其中参数分别表示为：
x为输入的向量；
dim为l2范化的维数，dim取值为0或0或1；
epsilon的范化的最小值边界；

按列计算（dim=0）

例1:

import tensorflow as tf
input_data = tf.constant([[1.0,2,3],[4.0,5,6],[7.0,8,9]])

output = tf.nn.l2_normalize(input_data, dim = 0)
with tf.Session() as sess:
print sess.run(input_data)
print sess.run(output)

结果

[[1. 2. 3.]
[4. 5. 6.]
[7. 8. 9.]]
[[0.12309149 0.20739034 0.26726127]
[0.49236596 0.51847583 0.53452253]
[0.86164045 0.82956135 0.80178374]]

计算方法：

dim = 0, 为按列进行l2范化

$norm(1)=\sqrt{1^2+4^2+7^2}=\sqrt{66}$

$norm(2)=\sqrt{2^2+5^2+8^2}=\sqrt{93}$

$norm(3)=\sqrt{3^2+6^2+9^2}=\sqrt{126}$

[[1./norm(1), 2./norm(2) , 3./norm(3) ]
[4./norm(1) , 5./norm(2) , 6./norm(3) ] =
[7./norm(1) , 8./norm(2) , 9./norm(3) ]]
[[0.12309149 0.20739034 0.26726127]
[0.49236596 0.51847583 0.53452253]
[0.86164045 0.82956135 0.80178374]]

按行计算

例2:

import tensorflow as tf
input_data = tf.constant([[1.0,2,3],[4.0,5,6],[7.0,8,9]])

output = tf.nn.l2_normalize(input_data, dim = 1)
with tf.Session() as sess:
print sess.run(input_data)
print sess.run(output)

结果：

[[1. 2. 3.]
[4. 5. 6.]
[7. 8. 9.]]
[[0.26726124 0.5345225 0.8017837 ]
[0.45584232 0.5698029 0.6837635 ]
[0.5025707 0.5743665 0.64616233]]

计算过程：

dim = 1, 为按行进行l2范化

$norm(1)=\sqrt{1^2+2^2+3^2}=\sqrt{14}$

$norm(2)=\sqrt{4^2+5^2+6^2}=\sqrt{77}$

$norm(3)=\sqrt{7^2+8^2+9^2}=\sqrt{194}$

[[1./norm(1), 2./norm(1) , 3./norm(1) ]
[4./norm(2) , 5./norm(2) , 6./norm(2) ] =
[7./norm(3) , 8..norm(3) , 9./norm(3) ]]
[[0.12309149 0.20739034 0.26726127]
[0.49236596 0.51847583 0.53452253]
[0.86164045 0.82956135 0.80178374]]