TensorFlow入门-08.激活函数

最新推荐文章于 2019-08-04 15:45:22 发布

原创最新推荐文章于 2019-08-04 15:45:22 发布 · 212 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#TensorFlow #AI #Python #神经网络 #深度学习

机器智能专栏收录该内容

15 篇文章

订阅专栏

本文深入探讨了激活函数在神经网络中的核心作用，解释了其如何通过引入非线性转换，使模型能够拟合复杂的函数关系。文章详细介绍了ReLU、sigmoid及tanh等常见激活函数，并提供了TensorFlow实现示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.激活函数

作用：激活函数的作用是实现线性函数的去线性

原理：将神经网络最后一层隐藏层的输出都经过一个非线性函数，那么整个神经网络就是一个非线性函数了。

用法：特征矩阵*权重矩阵+偏置矩阵

数学定义：

$A_{1}=\begin{bmatrix} a_{11}, &a_{12}, &a_{13} \end{bmatrix}=f(xW^{(1)}+b) \\ = f([x_{1},x_{2}]\begin{bmatrix} W_{1,1} ^{1} &W_{1,2} ^{1} & W_{1,3} ^{1}\\ W_{2,1} ^{1} &W_{2,2} ^{1} & W_{2,3} ^{1} \end{bmatrix}+\begin{bmatrix} b_{1} &b_{2} & b_{3} \end{bmatrix})\\ =f([ W_{1,1} ^{(1)}x_{1}+W_{2,1} ^{(1)}x_{2}+b_{1}, W_{1,2} ^{(1)}x_{1}+W_{2,2} ^{(1)}x_{2}+b_{2} ,W_{1,3} ^{(1)}x_{1}+W_{2,3} ^{(1)}x_{2}+b_{3}])\\ =[f(W_{1,1} ^{(1)}x_{1}+W_{2,1} ^{(1)}x_{2}+b_{1}) ,f( W_{1,2} ^{(1)}x_{1}+W_{2,2} ^{(1)}x_{2}+b_{2}) ,f( W_{1,3} ^{(1)}x_{1}+W_{2,3} ^{(1)}x_{2}+b_{3}) ]$

TensorFlow实现：

a = tf.nn.relu(tf.matmul(x, x1) + biases1)
y = tf.nn.relu(tf.matmul(a, x2) + biases2)

2.常见非线性函数：

ReLU函数：
$f(x)=max(x,0)$

sigmoid函数：

$f(x)=\frac{1}{1+e^{-x}}$

tanh函数：

$f(x)=\frac{1-e^{-2x}}{1+e^{-2x}}$

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

明日江郎

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

TensorFlow入门--构建神经网络

Junds0的博客

02-09

529

第1关：神经元与激活函数 本关任务：编写一个能模拟神经元工作过程的函数。 # -*- coding: utf-8 -*- import tensorflow as tf # 模拟一个 M-P 神经元的工作原理 # input_value 是输入值，类型为一维的tf.constant # weight 是这个神经元的权重，类型为一维的tf.constant # threshold 是这个神经元的阈值，类型为零维的tf.constant # 返回值是一个浮点数 def neuron(input_valu

TensorFlow学习记录：激活函数

weixin_41137655的博客

08-19

520

激活函数的主要作用就是用来加入非线性因素的，以解决线性模型不能进行多分类的问题，在整个神经网络里起到非常重要的作用。因为神经网络的数学基础是处处可微的，所以选取的激活函数要能保证数据输入与输出也是可微的。 神经网络中常用的激活函数有Sigmoid、Tanh和Relu等。 1.Sigmoid函数 Sigmoid函数的数学公式为 f(x)=11+e−xf(x)=\tfrac{1}{1+e^{-x}}...

参与评论您还未登录，请先登录后发表或查看评论

TensorFlow神经网络中的激活函数

JasonStudy

01-18

622

激活函数是人工神经网络的一个极其重要的特征。它决定一个神经元是否应该被激活，激活代表神经元接收的信息与给定的信息有关。激活函数对输入信息进行非线性变换。然后将变换后的输出信息作为输入信息传给下一层神经元。激活函数的作用当我们不用激活函数时，权重和偏差只会进行线性变换。线性方程很简单，但解决复杂问题的能力有限。没有激活函数的神经网络实质上只是一个线性回归模型。激活函数对输入进行非线性变换...

TensorFlow中的激活函数

weixin_42974146的博客

08-04

535

点击这里你可以看到官网中提供的激活函数 首先介绍几种常见的激活函数 sigmoid函数也叫Logistic函数，它可以将一个实数映射到(0,1)的区间。根据求导σ '(x)=σ(x)(1-σ(x))，在x=0时梯度最大。缺点：在误差反向传播时，容易造成梯度消失。 Relu函数 relu函数又称线性修正单元，一般用于回归中输出层神经元。形状如上，公式：f(x)=max(0,x) 参考：h...

Tensorflow深度学习之五：激活函数

DaVinciL的博客

07-18

6841

激活函数的作用在神经网络中，激活函数的作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。我们尝试引入非线性的因素，对样本进行分类。在神经网络中也类似，我们需要引入一些非线性的因素，来更好地解决复杂的问题。而激活函数恰好就是那个能够帮助我们引入非线性因素的存在，使得我们的神经网络能够更好地解决较为复杂的问题。常见的激活函数有Sigmoid，Relu，tanh等。

tensorflow中激活函数详解

鲲鹏望舒

05-05

1226

1.激活函数原理 2. 函数解析 2.1 tf.nn.relu （1）函数功能描述：（2）函数原型：（3）函数参数介绍：（4）函数使用示例： 2.1 tf.nn.sigmoid （1）函数功能描述：（2）函数原型：（3）函数参数介绍：（4）函数使用示例： 2.1 tf.nn.tanh （1）函数功能描述：（2）函数原型：（3...

tensorflow2-tutorial.pdf

02-28

激活函数在神经网络中起着至关重要的作用，手册中特别介绍了Sigmoid、ReLU、LeakyReLU的使用方法。同时，也详细说明了如何使用各种损失函数，如均方误差（MSE）、平均绝对误差（MAE）、交叉熵等，并提供了一些优化...

最完整的TensorFlow教程 - 副本.zip

06-18

深度学习是现代机器学习的重要分支，斯坦福大学的深度学习教程可能涵盖了反向传播、损失函数、激活函数、优化算法等基础知识，对于理解 TensorFlow 的工作原理非常有帮助。 6. **图像识别应用** 郑泽宇的 PPT ...

tensorflow-2.15.0-cp310-cp310-manylinux-2-17-x86-64.zip

11-17

TensorFlow 2.15.0版本的全面功能远不止这些，它还包含了丰富的数学运算、数据流图构建、神经网络层、损失函数、优化器、回调、模型保存和恢复等多种工具，能够满足复杂深度学习项目的各种需求。

tensorflow-MNIST-nn.rar_MNIST_tensorflow

09-23

隐藏层可能包含全连接层（Dense Layer）和激活函数，如ReLU。输出层通常使用Softmax激活函数，确保输出是概率分布。 4. **损失函数**：多分类问题常使用交叉熵（Cross-Entropy）损失函数，尤其是对数似然损失。 5....

激活函数作用

BangGui02

01-08

2289

激活函数作用在神经网络结构中，通过激活函数将非线性的特性引入到神经网络中，从而让神经网络可以理解、处理复杂的数据及问题。

激活函数的作用

王尚权 qq:2515162716

03-11

349

参考：https://www.zhihu.com/question/22334626

TensorFlow入门--实现多层感知机

最新发布

06-06

### TensorFlow 实现多层感知机（MLP）入门教程多层感知机（Multilayer Perceptron, MLP）是一种经典的前馈神经网络模型，能够通过多层的神经元和激活函数学习并逼近复杂的非线性函数[^2]。在深度学习领域，MLP 是理解神经网络基本原理的重要工具之一。以下是一个使用 TensorFlow 框架实现 MLP 的完整教程。 --- #### 1. 环境准备与数据加载首先需要安装 TensorFlow，并加载 MNIST 数据集作为训练和测试数据。MNIST 数据集包含手写数字的灰度图像，每张图片为 28x28 像素，标签为 0-9 的数字类别。 ```python import tensorflow as tf from tensorflow.keras import layers, models import numpy as np # 加载 MNIST 数据集 (x_train, y_train), (x_test, y_test) = tf.keras.datasets.mnist.load_data() # 数据预处理：将像素值归一化到 [0, 1] 范围，并调整形状 x_train = x_train.astype('float32') / 255.0 x_test = x_test.astype('float32') / 255.0 x_train = np.expand_dims(x_train, -1) # 添加通道维度，形状变为 (batch_size, 28, 28, 1) x_test = np.expand_dims(x_test, -1) # 将标签转换为 one-hot 编码 y_train = tf.keras.utils.to_categorical(y_train, 10) y_test = tf.keras.utils.to_categorical(y_test, 10) ``` --- #### 2. 搭建模型定义一个 MLP 模型，包含输入层、隐藏层和输出层。隐藏层通常使用 ReLU 激活函数，而输出层使用 Softmax 激活函数进行分类。 ```python class MLP(models.Model): def __init__(self): super(MLP, self).__init__() self.flatten = layers.Flatten() # 将输入展平为一维向量 self.dense1 = layers.Dense(128, activation='relu') # 第一层全连接层，128 个神经元 self.dense2 = layers.Dense(64, activation='relu') # 第二层全连接层，64 个神经元 self.output_layer = layers.Dense(10, activation='softmax') # 输出层，10 个神经元对应 10 类 def call(self, inputs): x = self.flatten(inputs) x = self.dense1(x) x = self.dense2(x) return self.output_layer(x) model = MLP() ``` --- #### 3. 配置模型配置模型的优化器、损失函数和评估指标。对于分类任务，常用的损失函数是交叉熵损失。 ```python # 使用 Adam 优化器，学习率设为 0.001 optimizer = tf.keras.optimizers.Adam(learning_rate=0.001) # 定义损失函数为分类交叉熵 loss_function = tf.keras.losses.CategoricalCrossentropy() # 配置模型 model.compile(optimizer=optimizer, loss=loss_function, metrics=['accuracy']) ``` --- #### 4. 训练模型使用 `fit` 方法对模型进行训练，指定训练轮数（epochs）和批量大小（batch size）。 ```python # 训练模型 history = model.fit(x_train, y_train, epochs=10, batch_size=32, validation_split=0.2) ``` --- #### 5. 验证模型在测试集上评估模型性能，并绘制训练过程中的损失和准确率变化曲线。 ```python # 在测试集上评估模型 test_loss, test_accuracy = model.evaluate(x_test, y_test) print(f"Test Loss: {test_loss}, Test Accuracy: {test_accuracy}") # 绘制训练曲线 import matplotlib.pyplot as plt plt.plot(history.history['loss'], label='Train Loss') plt.plot(history.history['val_loss'], label='Validation Loss') plt.legend() plt.show() plt.plot(history.history['accuracy'], label='Train Accuracy') plt.plot(history.history['val_accuracy'], label='Validation Accuracy') plt.legend() plt.show() ``` --- #### 6. 总结通过上述步骤，可以成功构建并训练一个基于 TensorFlow 的多层感知机模型。该模型可以用于 MNIST 手写数字识别任务，同时也可以扩展到其他分类问题中[^1]。 ---