为什么两层网络能够拟合任意函数

最新推荐文章于 2024-12-07 15:23:37 发布
最新推荐文章于 2024-12-07 15:23:37 发布
阅读量1.4k 收藏
点赞数 2
CC 4.0 BY-SA版权
文章标签： 机器学习 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiadimichen14908/article/details/127009248
本文详细探讨了两层神经网络的强大拟合能力，通过1D函数示例，解释了如何通过密集采样和分段线性函数实现对连续函数的无限逼近。重点介绍了ReLU的引入如何使得网络具备非线性，从而适应复杂函数的拟合。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近在上CMU深度学习系统算法与实现的在线课程，里面有一页PPT讲解了为什么两层网络能够拟合任意函数。

神经网络由于强大的拟合能力以及数据驱动的方式，被广泛运用到不同的领域。但是为什么神经网络有这么强的拟合能力，我还一直没有深究过，只知道是线性和非线性的叠加。闲话不多说

 首先这个问题在1D情况，如图所示。对于任意的平滑函数，在封闭集合D范围内，我们都可以构建两层网络,让D内任意的数据的误差小于\epsilon,显然如果误差越小，网络的节点就需要越高

简单证明如下

 在封闭集合D中采样密集的数据点。我们能够构造2层网络通过所有的这些数据点（后面会详细证明），并且网络是分段的线性函数，同时被拟合的函数是连续函数，通过采样尽量多的点实现无线的逼近。

 首先说明网络为什么是分段线性。2层网络结构如下图所示，其中x是一维向量，W1,W2是网络权重，这里非线性函数选择RELU, h_\theta(x)=ReLU(XW_1)W_2=\sum_{i,j} w_{2j}max(0,w_{1i}x+b_i)+b_j

可以简化为

 函数可以由\pm max(0,w_ix+b),线性组合叠加，\pm max(0,w_ix+b)，

形状如图所示 

 

由于relu存在引入了非线性，当你尝试用分段函数去表示的时候，你就会发现，我们实现下面的效果，

 

 

 每个数据点可以拟合一个分段，从而实现对所有集合的拟合

 

xpc_buaa
关注
KAN神经网络 | KAN函数拟合附代码
天天酷科研的博客
06-16 1263
KAN神经网络 | KAN函数拟合附代码
2020deep learning on Graphs:a survey被200
baozhiqiangjava的博客
11-06 297
摘要 深度学习已被证明在从声学，图像到自然语言处理的许多领域都取得了成功。但是，由于图的独特特性，将深度学习应用于普适的图数据并非易事。最近，大量研究工作致力于将深度学习方法应用于图形，从而在图形分析技术方面取得了有益的进步。在本次调查中，我们全面回顾了图上不同类型的深度学习方法。基于现有模型的模型架构和训练策略，我们将其分为五类：图形递归神经网络，图形卷积网络，图形自动编码器，图形强化学习和图形对抗方法。我们 然后主要通过遵循它们的发展历史，以系统的方式对这些方法进行全面的概述。我们还分析了不同方法的差
TensorFlow入门基础：双层神经网络进行函数拟合
06-12 2268
以一个简单实例，介绍在TensorFlow中以双层人工神经网络进行函数拟合的过程。
神经网络为什么可以（理论上）拟合任何函数？
Antai_ZHU的博客
03-13 3261
你知道y=kx+b，你就知道了为什么神经网络可以（理论上）拟合任何函数。
【神经网络和深度学习】笔记 - 第四章 神经网络可以实现任意函数的直观解释【转】...
09-18 507
本文转载自： 文章导读： 1. 两个前提 2. 单输入单输出的情况 3. 一般情形：多输入多输出情况 4. 使用sigmoid以外的神经元 5. 修正阶跃函数 6.总结 神经网络最令人激动的一个性质，就是它可以实现任意功能的函数。而且是即使对于只有一个隐藏层的神经网络，这个结论依然成立。 大部分神经网络的使用者都知道这个性质，但是并不理解为什么神经网络会有这样的...
手写两层神经网络来拟合函数y = x1^2 + x2 + 100 (2)
Iswayzw的博客
06-22 836
手写两层神经网络来拟合函数y = x1^2 + x2 + 100 (2)，添加激活函数，讨论预测效果差的原因。
神经网络拟合函数表达式,神经网络拟合函数matlab
aifans_bert的博客
10-22 3319
二、隐层节点数在BP 网络中，隐层节点数的选择非常重要，它不仅对建立的神经网络模型的性能影响很大，而且是训练时出现“过拟合”的直接原因，但是目前理论上还没有一种科学的和普遍的确定方法。在表达拟合函数的时候，我们只要要列出它的参数取值及拟合模型即可，例如BP中的losig模型，隐层神经元个数，下降速率采用的方法traindx,学习速率0.05，训练最小误差0.001等等。我是做这个方向的，神经网络拟合出的曲线是没有相应的函数的，他是根据许多的权重值，阀值和偏置值的训练确定的曲线。
BP神经网络在非线性系统建模与函数拟合中的应用研究
最新发布
06-04
其强大的非线性映射能力使其能够逼近任意复杂的非线性函数，为解决传统线性模型难以处理的复杂非线性关系提供了有效解决方案。本文将从计算机专业角度深入探讨BP神经网络在非线性系统建模与函数拟合中的关键技术、...
深度神经网络的激活函数,神经网络模拟任意函数
super339的博客
09-18 734
当然，人的聪明才智是无穷无尽的，浅层的神经网络啥都达不到：==============================我是分割线============================1.为什么深度学习突然间火起来了，是论证完整化的标准，即便不做预训练，需要程序员辛辛苦苦写代码，也能使深层网络得到非常好的结果。二、隐层节点数在BP 网络中，隐层节点数的选择非常重要，它不仅对建立的神经网络模型的性能影响很大，而且是训练时出现“过拟合”的直接原因，但是目前理论上还没有一种科学的和普遍的确定方法。
1.6、基于神经网络拟合函数的体脂估计(matlab)
XU157303764的博客
06-20 1271
基于神经网络拟合函数的体脂估计(matlab)
深度学习代码实践（六）- 使用神经网络来逼近任意函数
千里之行
11-07 6053
问题提出 在前面 “深度学习代码实践（四）- 从0搭建一个神经网络：感知机与激活函数”的博文分享中，提到，神经网络的本质是：通过参数与激活函数来拟合特征与目标之间的真实函数关系。单层网络只能做线性分类任务，两层神经网络可以无限逼近任意连续函数。 这里提到的“用两层神经网络可以无限逼近任意连续函数”。 那么神经网络是不是真的能够逼近任何函数。 我用 Tensorflow 做了一个实验， 以一个已知函数 z = x^2 + y*2 的 80000个随机的 (x,y) 点作为输入，计算得到函数的 z 值.
通用近似原理及证明-为什么神经网络可以拟合任意函数
Jeffrey_oWang的博客
12-07 1569
通用近似原理及证明
为什么说神经网络可以逼近任意函数？
热门推荐
deephub
07-22 2万+
本文主要介绍神经网络万能逼近理论，并且通过PyTorch展示了两个案例来说明神经网络的函数逼近功能。 大多数人理解“函数”为高等代数中形如“f(x)=2x”的表达式，但是实际上，函数只是输入到输出的映射关系，其形式是多样的。 拿个人衣服尺寸预测来说，我们用机器学习来实现这个功能，就是将个人身高、体重、年龄作为输入，将衣服尺寸作为输出，实现输入-输出映射。 具体来说，需要以下几个步骤: 收集关键数据（大量人口的身高/体重/年龄，已经对应的实际服装尺寸）。 训练模型来实现输入-输出的映射逼近。 对未知数据进
手写两层神经网络来拟合函数y = x1^2 + x2 + 100 (1)
Iswayzw的博客
10-04 1621
手写神经网络来拟合函数y = x1^2 + x2 + 100 摘要 本文首先生成数据，然后搭建包含一层隐藏层的神经网络训练数据，最后利用测试数据评价模型的拟合效果。本文没有讲神经网络的原理以及推导过程，适合读过神经网络原理，想要动手实现的同学参考。 数据生成 import numpy as np from matplotlib import pyplot as plt from mpl_toolkits.mplot3d import Axes3D # y = x1^2 + x2 + 100 # 生成训练
神经网络是如何拟合任意函数的
m0_37536194的博客
06-09 5220
神经网络是如何拟合任意函数的 一个最原始粗暴的拟合任意函数的思路，是将函数切成很多段线性函数，之后用逻辑门控制当x在哪一个区间时，某些逻辑门被激活，对应的线性函数的权重w与偏移量b在逻辑门的包裹下变成非0，计算出y在这一段的输出值。 需要推导出拟合函数y=f(x)需要哪些逻辑门，以及如何使用神经网络构建这些逻辑门。 开关函数 s： 当u>0时s(u)=1，否则s(u)=0。右上标数字代表第几层开关。 首先最基础的是大于小于开关门： s(1)(x>0)∋t=Relu(1−...
【神经网络系列（初级）】神经网络拟合任何函数的数学原理
神经美学_茂森的博客
07-26 1855
神经网络之所以理论上可以拟合任何函数，其核心在于其多层的结构和非线性的激活函数。通过增加层数和神经元数量，神经网络可以逼近复杂的函数关系。这一过程可以通过万能近似定理（Universal Approximation Theorem）来描述，该定理表明，具有一个隐藏层并包含足够多神经元的神经网络可以逼近任何闭区间内的连续函数。具体来说，设有一个连续函数fabn→Ryi1∑m​αi​σwi​⋅xbi​其中，x∈abn是输入向量，wi​。
神经网络可以计算任何函数以及难以训练原因
xu_aml的博客
07-11 1228
《Neural Networks and Deep Learning》(五)笔记 神经网络可以计算任何函数的可视化证明 神经网络的一个最显著的事实就是它可以计算任何的函数，也就是说对定某种复杂而奇特的函数f(x)f(x)f(x)，不管这个函数是什么样的，总会确保有一个神经网络能够对任何可能的输入xxx，其值f(x)f(x)f(x)是网络的输出。 神经网络具有一种普遍性，不论我们想要...
《深度学习》————NN网络是否可以拟合任何一种函数
墨门
08-27 1400
1 前言 今天在学习K-means算法~ 自从接触深度学习开始，我一直在思考一个问题，NN网络是否可以拟合任何一种函数，我想答案是肯定的，DenseNet的出现就说明了这一点。 2 NN网络是否可以拟合任何一种函数 从理论上来说，是肯定的，首先我们的理论基础就是泰勒公式， ​ （听田老师说，泰勒公式是有条件的，这个我之前的确不太记得了，现在我们也再来复习一下）， 我们查阅了一下来自同济大学的高等数...
神经网络为什么能拟合任意空间
02-20
### 神经网络拟合任意空间的原理 神经网络之所以能够拟合任意的空间函数，主要依赖于其内部多层结构以及激活函数的存在。通过组合多个简单的数学运算单元——即神经元，神经网络能够在输入和输出之间建立复杂的映射关系。 #### 多层感知器的作用 多层感知器（MLP），作为最基础的一种前馈型人工神经网络形式，由若干个全连接层组成。每一层都包含了数量不等的节点或称为神经元，相邻两层之间的每一个节点都会相互连接并传递信号[^1]。当层数足够深时，这种架构允许模型捕捉到数据分布中的细微特征，并且表达出高度复杂的数据模式。 #### 激活函数的重要性 为了使神经网络具备非线性的表征能力，每层后的输出会经过一个非线性变换操作—也就是所谓的激活函数处理。常见的激活函数有Sigmoid、ReLU及其变体等。正是由于这些非线性组件的存在，才使得整个网络不仅仅局限于线性回归这样的简单任务上；相反，它可以通过调整权重参数来逼近几乎所有的连续函数，无论该目标函数多么曲折离奇[^2]。 #### 万能逼近定理的支持 理论层面来看，《Cybenko》等人提出的“Universal Approximation Theorem”，即通用近似定理指出：只要给定了适当宽度与深度的隐藏层，则单隐含层的前向传播网络便足以以任意精度去逼近定义域内任一闭区间上的任何Borel可测实值函数。这意味着即使是最基本类型的ANN也能完成对各种形状各异曲面的有效建模工作[^3]。 ```python import torch from torch import nn, optim import numpy as np import matplotlib.pyplot as plt class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.fc = nn.Sequential( nn.Linear(1, 50), nn.ReLU(), nn.Linear(50, 100), nn.ReLU(), nn.Linear(100, 50), nn.ReLU(), nn.Linear(50, 1) ) def forward(self, x): out = self.fc(x) return out def train_model(model, criterion, optimizer, epochs=10000): model.train() losses = [] for epoch in range(epochs): pred_y = model(X_train_tensor).squeeze(-1) loss = criterion(pred_y, y_train_tensor) optimizer.zero_grad() loss.backward() optimizer.step() if (epoch+1) % 100 == 0: print(f'Epoch [{epoch+1}/{epochs}], Loss: {loss.item():.4f}') losses.append(loss.item()) plt.plot(range(len(losses)), losses) X = np.linspace(-np.pi*2, np.pi*2, 1000) Y = np.sin(X)*np.exp(-abs(X)/8)+0.7*np.random.randn(*X.shape)*(1/(1+abs(X))) X_train_tensor = torch.tensor(X.reshape((-1, 1))).float() y_train_tensor = torch.tensor(Y).float() net = Net() criterion = nn.MSELoss() optimizer = optim.Adam(net.parameters(), lr=0.01) train_model(net, criterion, optimizer) plt.figure(figsize=(10,6)) predicted_values = net(X_train_tensor).detach().numpy() plt.scatter(X,Y,label='Original Data') plt.plot(X,predicted_values,'r',label='Fitted Curve by Neural Network') plt.legend(loc="upper right") plt.show() ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值