TensorFlow入门-08.激活函数

最新推荐文章于 2024-10-23 21:30:46 发布

原创最新推荐文章于 2024-10-23 21:30:46 发布 · 212 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#TensorFlow #AI #Python #神经网络 #深度学习

机器智能专栏收录该内容

15 篇文章

订阅专栏

本文深入探讨了激活函数在神经网络中的核心作用，解释了其如何通过引入非线性转换，使模型能够拟合复杂的函数关系。文章详细介绍了ReLU、sigmoid及tanh等常见激活函数，并提供了TensorFlow实现示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.激活函数

作用：激活函数的作用是实现线性函数的去线性

原理：将神经网络最后一层隐藏层的输出都经过一个非线性函数，那么整个神经网络就是一个非线性函数了。

用法：特征矩阵*权重矩阵+偏置矩阵

数学定义：

$A_{1}=\begin{bmatrix} a_{11}, &a_{12}, &a_{13} \end{bmatrix}=f(xW^{(1)}+b) \\ = f([x_{1},x_{2}]\begin{bmatrix} W_{1,1} ^{1} &W_{1,2} ^{1} & W_{1,3} ^{1}\\ W_{2,1} ^{1} &W_{2,2} ^{1} & W_{2,3} ^{1} \end{bmatrix}+\begin{bmatrix} b_{1} &b_{2} & b_{3} \end{bmatrix})\\ =f([ W_{1,1} ^{(1)}x_{1}+W_{2,1} ^{(1)}x_{2}+b_{1}, W_{1,2} ^{(1)}x_{1}+W_{2,2} ^{(1)}x_{2}+b_{2} ,W_{1,3} ^{(1)}x_{1}+W_{2,3} ^{(1)}x_{2}+b_{3}])\\ =[f(W_{1,1} ^{(1)}x_{1}+W_{2,1} ^{(1)}x_{2}+b_{1}) ,f( W_{1,2} ^{(1)}x_{1}+W_{2,2} ^{(1)}x_{2}+b_{2}) ,f( W_{1,3} ^{(1)}x_{1}+W_{2,3} ^{(1)}x_{2}+b_{3}) ]$

TensorFlow实现：

a = tf.nn.relu(tf.matmul(x, x1) + biases1)
y = tf.nn.relu(tf.matmul(a, x2) + biases2)

2.常见非线性函数：

ReLU函数：
$f(x)=max(x,0)$

sigmoid函数：

$f(x)=\frac{1}{1+e^{-x}}$

tanh函数：

$f(x)=\frac{1-e^{-2x}}{1+e^{-2x}}$