相关-10. 万能近似定理(universal approximation theorem)

已于 2023-05-08 12:19:38 修改
阅读量2k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 动手学深度学习pytorch 文章标签： 深度学习 神经网络 pytorch
于 2021-10-11 13:21:24 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/Castlehe/article/details/120699072
万能近似定理表明，具有足够隐藏单元的单层神经网络理论上可以近似任何函数，但在实践中，优化算法可能无法找到目标函数或因过拟合而失败。深度学习模型比浅层网络更容易训练，避免过拟合，且研究表明，深度模型的简化版（影子模型）有时能取得更好效果。当前趋势倾向于深度神经网络，因其从简单到复杂的渐进学习方式有助于找到更好的解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

1. 万能近似定理

李沐老师在课上大概描述过：一层的感知机，理论上可以拟合任何一个函数，但是实际上无法实现，因为优化函数接不住

用官方的语言描述：

万能近似定理(universal approximation theorem)，是深度学习最根本的理论依据。它声明了在给定网络具有足够多的隐藏单元的条件下，配备一个线性输出层和一个带有任何“挤压”性质的激活函数(如logistic sigmoid激活函数)的隐藏层的前馈神经网络，能够以任何想要的误差量近似任何从一个有限维度的空间映射到到另一个有限维度空间的Borel可测的函数。

万能近似定理其实说明了理论上神经网络可以近似任何函数。

  • 但实践上我们不能保证学习算法一定能学习到目标函数。
  • 即使网络可以表示这个函数，学习也可能因为两个不同的原因而失败。
    • 第一，训练算法可能无法找到目标函数的参数值；
    • 第二，训练算法可能由于过拟合而选择了错的函数。
  • 斯坦福的cs231n中提到，更深的模型更容易让目前的优化算法学习到
    • 和直觉不太符合的是，该课程中进一步提出， bigger neural networks更容易学习到最优解
    • 有意思的是，如果我们先用deep模型学习完，再用一个shadow去模拟这个模型，效果有可能比deep模型还好，但直接用shadow模型去学习原始样本却会表现很差。Do Deep Nets Really Need to
了解本专栏 订阅专栏 解锁全文 超级会员免费看
解释神经网络的普适逼近定理（面试题200合集，中频、实用）
qq_38334677的博客
05-19 783
一个具有足够多神经元的单隐层前馈神经网络，可以使用某种“良好”的激活函数，以任意精度逼近定义在输入空间有界闭集（紧致集）上的任何连续函数。换句话说，无论一个连续函数多么复杂，只要它定义在一个封闭且有界的区域内（例如，输入的所有特征值都在一个特定的范围内，比如0到1之间），我们总能找到一个（可能非常宽的）单隐层神经网络，其输出可以无限接近这个目标函数。为什么这个定理如此重要？理论支撑。
Transformer——Q73 证明FFN的万能近似定理（Universal Approximation Theorem）
墨顿随笔
05-12 1111
在数学领域，我们常考虑定义在紧致集上的连续函数空间C(K)。对于该空间中的函数，我们使用上确界范数来度量函数间的差异。这一范数为后续讨论函数近似提供了量化标准，使我们能够清晰地判断近似效果的优劣。FFN 的万能近似定理可表述为：对于任意连续函数和任意，都存在一个 FFN，使得。这意味着，无论目标函数多么复杂，只要 FFN 的结构足够合理，就能够无限接近该函数，为神经网络在函数逼近任务中的应用提供了理论保障。
（初稿）通用近似定理（universal approximation theorem）——多层感知机为什么能够解决非线性分类问题的本质原因
Charlie_Dog_sj的博客
08-19 1593
首先来看，对于第二个分类问题，必须要用一条曲线边界，也就是一个非线性函数才能把这两类点区分开，我所知道的，单层感知机是线性分类器，但是多层感知机却可以解决这个分类问题，所以我猜测，多层感知机肯定具备了非线性特征，才能支持它完成这个分类任务的，接下来的问题就是：多层感知机做了什么才具备了非线性特征？这是基于什么原理的？答：它其实是在规划不同的决策边界，决策边界可以理解为不同的取值区域，我们要划分出来一个非线性的区域，使得区域内外的取值不同，多层感知机完成了这一任务，它本质上就是一个函数。
万能近似定理（universal approximation theorrm）
热门推荐
郭云飞的专栏
10-19 4万+
神经网络的架构（architecture）指网络的整体结构。大多数神经网络被组织成称为层的单元组，然后将这些层布置成链式结构，其中每一层都是前一层的函数。在这种结构中，第一层由下式给出： 第二层： 可以看出，每一层的主体都是线性模型。线性模型，通过矩阵乘法将特征映射到输出，顾名思义，仅能表示线性函数。它具有易于训练的优点，因为当使用线性模型时，许多损失函数会导出凸优化问题。不幸
万能近似定理(Universal Approximation Theorem)
多头注意力探索Now
08-30 2966
神经网络架构假设理论
直观理解万能近似定理(Universal Approximation theorem)
Jie Qiao的专栏
12-09 2615
文本是教程"The Universal Approximation Theorem for neural networks" by Michael Nielsen 的笔记。 Universal approximation theorem 为什么MLP可以拟合任意的函数？ 我们考虑一个最简单的神经网络，最后一层是sigmoid函数： 事实上这就是一个线性函数，然后经过sigmoid扭曲为一条曲线，显然，b决定了不同截距，从而导致sigmoid位置发生了平移。类似的，w决定了线的斜率，从而影响sigmo.
万能近似定理（universal approximation theorem）
syz201558503103的博客
11-27 1174
只要人工神经网络中的神经元的个数足够多，神经元之间的连接关系足够复杂，我们就可以非常精确的模拟任意的输入/输出关系。
花书阅读笔记：卷积神经网络
ArchibaldChain的博客
07-22 348
Convolution Notes 万能近似定理 万能近似定理（universal approximation theorem）(Hornik et al., 1989; Cybenko, 1989) 表明，一个前馈神经网络如果具有线性输出层和至少一层具有任何一种 ‘‘挤压’’ 性质的激活函数（例如logistic sigmoid激活函数）的隐藏层，只要给予网络足够数量的隐藏单元，它可以以任意的精度来近似任何从一个有限维空间到另一个有限维空间的 Borel 可测函数 动机 卷积运算通过三个重要的思想来帮助改
通用近似定理理解
最新发布
07-24
关键点是解释通用近似定理（Universal Approximation Theorem），包括其概念、应用场景以及如何理解它。 通用近似定理是神经网络理论中的一个重要定理，它指出，一个具有单隐层的前馈神经网络（feedforward neural ...
万能近似定理
Steve Wang's blog
06-10 8550
universal approximation theorem *万能近似定理*(universal approximation theorem)，是深度学习最根本的理论依据。它声明了在给定网络具有足够多的隐藏单元的条件下，配备一个线性输出层和一个带有任何“挤压”性质的激活函数(如logistic sigmoid激活函数)的隐藏层的前馈神经网络，能够以任何想要的误差量近似任何从一个有限维度的空间...
TensorFlow学习系列（四）：利用神经网络实现泛逼近器（universal approximator）
CoderPai的博客
04-02 3229
这篇教程是翻译Morgan写的TensorFlow教程，作者已经授权翻译，这是原文。 目录TensorFlow学习系列（一）：初识TensorFlowTensorFlow学习系列（二）：形状和动态维度TensorFlow学习系列（三）：保存/恢复和混合多个模型TensorFlow学习系列（四）：利用神经网络实现泛逼近器（universal approximator）TensorFlow学习系列（五）
Multilayer feedforward networks are universal approximators
02-02
Multilayer feedforward networks are universal approximators
万能近似定力_通用近似定理
weixin_39864387的博客
12-20 1288
在人工神经网络领域的数学观点中，「通用近似定理 (Universal approximation theorem，一译万能逼近定理)」指的是：如果一个前馈神经网络具有线性输出层和至少一层隐藏层，只要给予网络足够数量的神经元，便可以实现以足够高精度来逼近任意一个在 ℝn 的紧子集 (Compact subset) 上的连续函数。这一定理表明，只要给予了适当的参数，我们便可以通过简单的神经网络架构去拟...
深度学习：神经网络的万能近似定理
m0_46135173的博客
08-29 756
神经网络的万能近似定理
希尔伯特第 13 问题，Kolmogorov–Arnold representation theorem 和通用近似定理（Universal approximation theorem）
qq_32515081的博客
03-17 8523
关于这个方程，希尔伯特问它的解xxx，作为三个变量aaabbb和ccc的函数，是否可以表示为有限数量的二元函数的组合。
DeepLearning学习笔记——万能近似定理
oklahomawestbrook的博客
06-10 3604
谈谈为什么要把上一层的输出经过激活函数后再作为下一层的输入呢？ 首先谈谈万能近似性质。 线性模型，通过矩阵乘法将特征映射到输出()，顾名思义，仅能表示线性函数。线性函数具有易于训练的优点，当使用线性函数时，许多损失函数会导出凸优化问题。但是，我们往往希望我们的系统学习的是非线性函数。 那么我们如何要为非线性函数设计模型呢，万幸，具有隐藏层的前馈网络提供了一种万能近似框架。具体来说，万能近似定...
MLP-Net
03-25
### Multilayer Perceptron (MLP) 网络架构及其使用 #### 定义与基本结构 多层感知器（Multilayer Perceptron, MLP）是一种前馈人工神经网络模型，它由多个层次组成，通常包括输入层、一个或多个隐藏层以及输出层。每一层中的神经元通过加权连接到下一层的神经元，并且不具有反馈连接或跨层连接[^2]。 MLP 的核心特性在于其能够逼近任意复杂的函数关系的能力，这得益于通用近似定理（Universal Approximation Theorem），该理论表明，在某些条件下，单隐层的前馈网络可以以任意精度逼近任何连续函数[^1]。 #### 工作原理 在 MLP 中，数据从输入层传递至输出层的过程中会经历一系列线性和非线性变换。具体来说： - **输入层**接收原始特征向量作为输入。 - **隐藏层**执行计算操作，其中每个神经元应用激活函数 \( f \)，例如 Sigmoid 函数、ReLU 或 Tanh 来引入非线性： \[ y_j = f\left(\sum_{i=1}^{n} w_{ij}x_i + b_j\right) \] 这里 \( x_i \) 是输入变量，\( w_{ij} \) 表示权重矩阵中的元素，而 \( b_j \) 则表示偏置项。 - **输出层**提供最终预测结果，形式取决于任务需求——分类问题可能采用 Softmax 激活函数；回归问题则常用线性激活函数。 #### 训练过程 为了调整网络参数使其更好地拟合目标分布，需定义损失函数并利用优化算法最小化之。常见做法是以梯度下降法为基础更新权重和偏差值。反向传播技术被广泛应用于高效计算误差相对于各参数的部分导数，从而指导后续迭代方向[^3]。 以下是基于 TensorFlow/Keras 实现的一个简单例子展示如何构建及训练一个用于解决二分类问题的小型 MLP 模型: ```python from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense model = Sequential([ Dense(64, activation='relu', input_shape=(input_dim,)), Dense(32, activation='relu'), Dense(1, activation='sigmoid') ]) model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy']) history = model.fit(X_train, y_train, epochs=50, batch_size=32, validation_split=0.2) ``` 此脚本首先创建了一个顺序堆叠三层全连接层组成的序列模型对象 `Sequential` ，接着配置好编译选项指定使用的优化器类型为 Adam 和评估标准包含准确率指标之后便调用了 fit 方法启动实际的学习流程。 #### 应用领域 由于具备强大的表达能力，MLPs 被成功部署于众多应用场景之中，比如但不限于图像识别、自然语言处理、时间序列分析等领域内的模式匹配任务当中[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

吨吨不打野

解决了问题，觉得还行就给点

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值