第4章 前馈神经网络

前馈神经网络(Feedforward neural network) 前馈神经网络,是一种最简单的神经网络,各神经元分层排列,每个神经元只与前一层的神经元相连。接收前一层的输出,并输出给下一层,各层间没有反馈。是应用最广泛、发展最迅速的人工神经网络之一。研究从20世纪60年代开始,理论研究和实际应用达到了很高的水平。 阅读详情

第4章 前馈神经网络

前馈神经网络(也常叫多层感知器)是深度学习的基础模型,核心是通过“多层神经元的非线性组合”,实现对复杂数据的拟合和特征提取。简单说,它就像一个“复杂的函数转换器”——输入原始数据(比如图像像素、文本特征),经过多层处理后,输出预测结果(比如类别、连续值)。

本章会从最基本的“神经元”入手,逐步讲解网络结构、工作原理、参数学习方法,帮你搞懂前馈神经网络的核心逻辑。

4.1 神经元:神经网络的“基本单元”

神经元是构成神经网络的最小单位,灵感来自人脑神经元——接收多个输入信号,经过处理后输出一个信号。

4.1.1 神经元的结构与工作流程

一个典型的神经元有5个核心部分,工作流程就像“信息加工流水线”:

  1. 输入:接收多个输入信号 x1,x2,...,xDx_1, x_2, ..., x_Dx1​,x2​,...,xD​(比如前一层神经元的输出、原始数据特征);
  2. 权重(w):每个输入都对应一个权重 w1,w2,...,wDw_1, w_2, ..., w_Dw1​,w2​,...,wD​,表示这个输入的“重要程度”(权重越大,输入对输出的影响越大);
  3. 偏置(b):调整信号的“基准线”(比如即使所有输入为0,偏置也能让神经元产生输出);
  4. 净输入(z):把输入和权重加权求和,再加上偏置,公式为:
    z=w1x1+w2x2+...+wDxD+b=w⊤x+bz = w_1x_1 + w_2x_2 + ... + w_Dx_D + b = w^{\top}x + bz=w1​x1​+w2​x2​+...+wD​xD​+b=w⊤x+b
  5. 激活函数(f):对净输入做“非线性转换”,输出神经元的最终活性值 a=f(z)a = f(z)a=f(z)(关键!没有激活函数,多层网络和单层线性模型没区别)。

简单总结:神经元的输出 = 激活函数(输入×权重 + 偏置)。

4.1.2 激活函数:让神经元“学会非线性”

激活函数是神经网络能拟合复杂数据的核心,必须满足“连续可导、简单、导数值域合适”的特点(方便参数学习)。下面介绍几种常用的激活函数:

(1)Sigmoid型函数(S形曲线)

核心是“两端饱和”——输入太大或太小时,输出趋于固定值,导数趋近于0。

  • Logistic函数:
    σ(x)=11+exp⁡(−x)\sigma(x) = \frac{1}{1 + \exp(-x)}σ(x)=1+exp(−x)1​
    特点:输出在(0,1)之间,可直接表示概率;缺点:导数最大值仅0.25,容易导致梯度消失(深层网络中梯度越传越小)。
  • Tanh函数:
    tanh⁡(x)=exp⁡(x)−exp⁡(−x)exp⁡(x)+exp⁡(−x)\tanh(x) = \frac{\exp(x) - \exp(-x)}{\exp(x) + \exp(-x)}tanh(x)=exp(x)+exp(−x)exp(x)−exp(−x)​
    特点:输出在(-1,1)之间,零中心化(避免梯度偏移),导数最大值1,比Logistic函数更稳定;缺点:依然存在两端饱和问题。
  • 简化版(Hard-Logistic/Hard-Tanh):用分段函数近似,计算更快,适合对速度有要求的场景。
(2)ReLU函数(修正线性单元)

目前最常用的激活函数,结构简单、效果好。
ReLU(x)=max⁡(0,x)\text{ReLU}(x) = \max(0, x)ReLU(x)=max(0,x)

  • 特点:输入>0时输出=x(导数=1,避免梯度消失),输入≤0时输出=0(稀疏激活,模拟人脑神经元“部分活跃”);
  • 优点:计算快、梯度稳定、不易过拟合;
  • 缺点:输入≤0时导数=0,可能导致“死亡ReLU”(部分神经元永远不激活,参数无法更新)。
(3)ReLU的改进变种

为了解决ReLU的缺点,衍生出几种变种:

  • Leaky ReLU:输入≤0时输出=γx(γ是很小的常数,比如0.01),保证梯度非零;
  • PReLU:γ是可学习参数,不同神经元可以有不同γ,灵活性更高;
  • ELU:输入≤0时用指数函数,输出更接近零中心,鲁棒性更强;
  • Softplus:ReLU的平滑版,导数是Logistic函数,但没有稀疏激活特性。
(4)自门控激活函数
  • Swish函数:Swish(x)=x⋅σ(βx)\text{Swish}(x) = x \cdot \sigma(\beta x)Swish(x)=x⋅σ(βx)
    特点:融合线性和非线性,β可学习,在深层网络中效果优于ReLU;
  • GELU函数:GELU(x)=x⋅P(X≤x)\text{GELU}(x) = x \cdot P(X \leq x)GELU(x)=x⋅P(X≤x)(P是高斯分布累积分布)
    特点:类似Swish,更符合自然语言处理等任务的特性,被Transformer广泛使用。
(5)Maxout单元

和上面的激活函数不同,Maxout是“基于竞争的激活”:

  • 原理:每个Maxout单元接收前一层的所有输出,用K个权重向量计算K个净输入,输出其中最大值;
  • 特点:可近似任意凸函数,天然避免梯度消失,但参数数量会增加(K倍)。

4.1.3 激活函数对比表

激活函数核心公式优点缺点
Logistic1/(1+exp⁡(−x))1/(1+\exp(-x))1/(1+exp(−x))输出可表示概率,平滑连续梯度消失,非零中心
Tanh(exp⁡(x)−exp⁡(−x))/(exp⁡(x)+exp⁡(−x))(\exp(x)-\exp(-x))/(\exp(x)+\exp(-x))(exp(x)−exp(−x))/(exp(x)+exp(−x))零中心,梯度比Logistic大依然存在梯度消失
ReLUmax⁡(0,x)\max(0, x)max(0,x)计算快,梯度稳定,稀疏激活死亡ReLU问题
Leaky ReLUmax⁡(x,γx)\max(x, \gamma x)max(x,γx)解决死亡ReLU,梯度非零γ需手动调整
Swishx⋅σ(βx)x \cdot \sigma(\beta x)x⋅σ(βx)深层网络效果好,融合线性与非线性计算略复杂
GELUx⋅P(X≤x)x \cdot P(X \leq x)x⋅P(X≤x)适合NLP任务,鲁棒性强近似计算需额外开销

4.2 网络结构:神经元如何“组队工作”

单个神经元的能力有限,神经网络的核心是“神经元按特定结构连接”,形成强大的拟合能力。目前常用的网络结构分三类:

4.2.1 前馈网络(本章重点)

  • 核心特点:信息单向传播,没有环路(输入层→隐藏层→输出层),可用“有向无环图”表示;
  • 结构组成:
    • 输入层:接收原始数据(比如图像的像素向量、文本的特征向量),无激活函数;
    • 隐藏层:位于输入层和输出层之间,可多层,每层用非线性激活函数(提取高层特征);
    • 输出层:输出预测结果(分类任务用Softmax,回归任务用线性激活);
  • 核心作用:通过多层非线性转换,把原始数据映射到目标空间(比如从像素向量映射到“猫/狗”类别概率)。

4.2.2 记忆网络(反馈网络)

  • 核心特点:神经元可以接收自身的历史信息(有反馈环路),具有“记忆能力”;
  • 典型例子:循环神经网络(RNN)、Hopfield网络、玻尔兹曼机;
  • 核心作用:处理时序数据(比如语音、文本),因为需要依赖历史信息(比如理解“他”指代前文的“小明”)。

4.2.3 图网络

  • 核心特点:输入是图结构数据(比如社交网络、知识图谱),每个节点对应一个神经元,节点之间的连接对应图的边;
  • 典型例子:图卷积网络(GCN)、图注意力网络(GAT);
  • 核心作用:处理不规则结构数据(比如分子结构、交通网络),传统前馈网络无法直接处理。

4.3 前馈神经网络:多层神经元的“协同工作”

前馈神经网络(FNN)是最基础的深层模型,也叫“多层感知器(MLP)”——注意:它不是“多层感知器算法”,而是“多层带非线性激活的神经元网络”。

4.3.1 网络的数学表达

假设网络有 L 层(隐藏层+输出层),各层的记号和信息传播过程如下:

  • 记号定义:
    • MlM_lMl​:第 l 层的神经元数量;
    • W(l)W^{(l)}W(l):第 l−1l-1l−1 层到第 l 层的权重矩阵(大小 Ml×Ml−1M_l \times M_{l-1}Ml​×Ml−1​);
    • b(l)b^{(l)}b(l):第 l 层的偏置向量(大小 MlM_lMl​);
    • z(l)z^{(l)}z(l):第 l 层的净输入(未激活的输出);
    • a(l)a^{(l)}a(l):第 l 层的活性值(激活后的输出),a(0)=xa^{(0)} = xa(0)=x(输入层)。
  • 信息传播公式(前馈过程):
    z(l)=W(l)a(l−1)+b(l)z^{(l)} = W^{(l)}a^{(l-1)} + b^{(l)}z(l)=W(l)a(l−1)+b(l)
    a(l)=fl(z(l))a^{(l)} = f_l(z^{(l)})a(l)=fl​(z(l))
    (flf_lfl​ 是第 l 层的激活函数,比如隐藏层用ReLU,输出层用Softmax)

简单说:每一层都是“加权求和+非线性激活”的组合,多层叠加后形成复杂的函数映射。

4.3.2 通用近似定理:为什么深层网络这么强?

通用近似定理是前馈神经网络的理论基础,核心结论:

只要隐藏层的神经元数量足够多,并且使用“挤压型激活函数”(比如Sigmoid、ReLU),前馈神经网络可以以任意精度近似定义在有界闭集上的连续函数。

通俗理解:不管数据的真实规律多复杂(比如图像分类、语音识别的底层映射),只要网络的隐藏层足够宽(神经元足够多),就能“模仿”这个规律。

  • 注意事项:
    1. 定理只保证“存在这样的网络”,不告诉我们“怎么找到这个网络”(需要通过参数学习);
    2. 网络太宽容易过拟合(死记硬背训练数据,泛化能力差),需要正则化。

4.3.3 前馈网络的应用:机器学习任务

前馈网络本质是“非线性特征转换器+分类/回归器”,应用流程:

  1. 输入原始数据 x(比如图像像素向量);
  2. 经过多层隐藏层,自动学习高层特征 a(L−1)a^{(L-1)}a(L−1)(比如图像的边缘→纹理→物体部件);
  3. 输出层根据任务类型输出结果:
    • 二分类:1个神经元+Sigmoid激活,输出概率 p(y=1∣x)p(y=1|x)p(y=1∣x);
    • 多分类:C 个神经元+Softmax激活,输出各类别概率;
    • 回归:1个神经元+线性激活,输出连续值。

4.4 反向传播算法:如何“教会”网络学习?

前馈网络的参数(权重W(l)W^{(l)}W(l)、偏置 b(l)b^{(l)}b(l)需要通过“学习”得到,核心方法是反向传播算法(BP算法) ——利用链式法则,从输出层反向计算损失函数对每层参数的梯度,再用梯度下降法更新参数。

4.4.1 核心思想:误差反向传播

  1. 前馈计算:从输入层到输出层,计算每层的 z(l)z^{(l)}z(l) 和 a(l)a^{(l)}a(l),得到最终输出 y^\hat{y}y^​;
  2. 计算损失:用损失函数(比如交叉熵)衡量 y^\hat{y}y^​ 与真实标签 yyy的差距;
  3. 反向传播误差:从输出层开始,计算每层的“误差项”δ(l)=∂L∂z(l)\delta^{(l)} = \frac{\partial \mathcal{L}}{\partial z^{(l)}}δ(l)=∂z(l)∂L​(损失对该层净输入的梯度),误差项通过下一层的误差项推导得到;
  4. 计算梯度:用误差项计算损失对权重 W(l)W^{(l)}W(l) 和偏置 b(l)b^{(l)}b(l)的梯度;
  5. 更新参数:用梯度下降法调整参数,减小损失。

4.4.2 关键公式(简化版)

假设损失函数为 L(y,y^)\mathcal{L}(y, \hat{y})L(y,y^​),核心公式如下:

  1. 误差项传播:
    输出层(l=Ll=Ll=L):δ(L)=∂L∂z(L)\delta^{(L)} = \frac{\partial \mathcal{L}}{\partial z^{(L)}}δ(L)=∂z(L)∂L​(直接由损失函数和输出层激活函数推导,比如Softmax+交叉熵时,δ(L)=y^−y\delta^{(L)} = \hat{y} - yδ(L)=y^​−y);
    隐藏层(l<Ll < Ll<L):δ(l)=fl′(z(l))⊙(W(l+1))⊤δ(l+1)\delta^{(l)} = f_l'(z^{(l)}) \odot (W^{(l+1)})^{\top}\delta^{(l+1)}δ(l)=fl′​(z(l))⊙(W(l+1))⊤δ(l+1);
    (⊙\odot⊙) 是元素-wise乘法,fl′(z(l))f_l'(z^{(l)})fl′​(z(l))是激活函数的导数)
  2. 参数梯度:
    权重梯度:∂L∂W(l)=δ(l)(a(l−1))⊤\frac{\partial \mathcal{L}}{\partial W^{(l)}} = \delta^{(l)}(a^{(l-1)})^{\top}∂W(l)∂L​=δ(l)(a(l−1))⊤;
    偏置梯度:∂L∂b(l)=δ(l)\frac{\partial \mathcal{L}}{\partial b^{(l)}} = \delta^{(l)}∂b(l)∂L​=δ(l);
  3. 参数更新:
    W(l)←W(l)−α(1N∑n=1Nδ(l)(a(l−1))⊤+λW(l))W^{(l)} \leftarrow W^{(l)} - \alpha \left( \frac{1}{N}\sum_{n=1}^N \delta^{(l)}(a^{(l-1)})^{\top} + \lambda W^{(l)} \right)W(l)←W(l)−α(N1​∑n=1N​δ(l)(a(l−1))⊤+λW(l));
    b(l)←b(l)−α⋅1N∑n=1Nδ(l)b^{(l)} \leftarrow b^{(l)} - \alpha \cdot \frac{1}{N}\sum_{n=1}^N \delta^{(l)}b(l)←b(l)−α⋅N1​∑n=1N​δ(l);
    (α\alphaα) 是学习率,λ\lambdaλ 是正则化系数,避免过拟合)

4.4.3 反向传播的直观理解

误差项 δ(l)\delta^{(l)}δ(l) 可以理解为“第 lll 层神经元对最终损失的贡献程度”——输出层的误差直接由预测错误决定,隐藏层的误差由下一层的误差“反向传递”而来。

反向传播算法的核心价值:高效计算梯度,避免了对每个参数单独求导的巨大开销(复杂度从 (O(N2)O(N^2)O(N2)) 降到 O(N)O(N)O(N)),让深层网络的训练成为可能。

4.5 自动梯度计算:不用手动推公式

手动推导反向传播的梯度公式繁琐且容易出错,深度学习框架(比如PyTorch、TensorFlow)的核心功能之一就是“自动梯度计算”——只需定义网络结构和损失函数,框架自动计算参数梯度。

自动梯度计算的方法分三类:

4.5.1 数值微分:最简单但最不准

  • 原理:用“微小扰动法”近似梯度,比如 f′(x)≈f(x+Δx)−f(x−Δx)2Δxf'(x) \approx \frac{f(x+\Delta x) - f(x-\Delta x)}{2\Delta x}f′(x)≈2Δxf(x+Δx)−f(x−Δx)​;
  • 优点:实现简单,不用懂链式法则;
  • 缺点:精度低(Δx\Delta xΔx) 太小导致舍入误差,太大导致截断误差),计算量大(参数多时有 (O(N2)O(N^2)O(N2)) 复杂度),仅用于验证梯度是否正确。

4.5.2 符号微分:基于数学表达式推导

  • 原理:对数学表达式直接应用求导规则,比如 f(x)=x2+sin⁡(x)f(x) = x^2 + \sin(x)f(x)=x2+sin(x),导数为 2x+cos⁡(x)2x + \cos(x)2x+cos(x);
  • 优点:精度高,可得到解析解;
  • 缺点:编译时间长,不支持复杂程序逻辑(比如循环、条件判断),调试困难。

4.5.3 自动微分:深度学习框架的核心

  • 原理:结合数值微分和符号微分的优点,把复合函数拆成“基本运算”(+、-、×、/、exp、log等),在“前向计算时记录运算图”,“反向计算时沿运算图用链式法则自动累积梯度”;
  • 两种模式:
    • 前向模式:按计算顺序累积梯度,适合输入维度低、输出维度高的场景;
    • 反向模式:按计算逆序累积梯度,适合输入维度高、输出维度低的场景(比如神经网络,损失函数是标量);
  • 优点:精度高、计算高效、支持复杂程序逻辑,是目前最主流的梯度计算方法。

静态计算图vs动态计算图

  • 静态计算图(TensorFlow 1.x):先定义运算图,再执行计算,优化好但灵活性差;
  • 动态计算图(PyTorch、TensorFlow 2.x):边计算边构建运算图,灵活性高,适合科研和快速迭代。

4.6 前馈网络的优化难题

和线性模型不同,前馈网络的优化面临两个核心问题:

4.6.1 非凸优化问题

线性模型的损失函数是“凸函数”(只有一个全局最优解),而神经网络的损失函数是“非凸函数”(有很多局部最优解)。

  • 直观理解:损失函数的“地形”像山地,有很多小山峰(局部最优解)和一个最高峰(全局最优解);
  • 影响:梯度下降法可能陷入局部最优解,导致模型性能不佳;
  • 缓解方法:
    1. 随机初始化参数(多次初始化找较好的局部最优);
    2. 用随机梯度下降(SGD),噪声帮助逃离局部最优;
    3. 用动量、Adam等优化算法,加速收敛并避免陷入局部最优。

4.6.2 梯度消失问题

深层网络中,误差反向传播时,梯度会随着层数增加而不断衰减,甚至趋近于0——这就是“梯度消失”,导致浅层网络的参数几乎无法更新。

  • 原因:使用Sigmoid、Tanh等激活函数,它们的导数最大值≤1,多层相乘后梯度趋近于0;
  • 解决方法:
    1. 用ReLU及其变种(输入>0时导数=1,梯度不衰减);
    2. 批量归一化(BatchNorm),稳定每层的输入分布,缓解梯度消失;
    3. 残差连接(ResNet),直接把浅层特征传到深层,避免梯度衰减。

4.7 总结

前馈神经网络是深度学习的“基石”,核心是“多层非线性转换+反向传播训练”,能拟合复杂数据规律,是后续卷积网络、Transformer等模型的基础。

核心要点

  1. 神经元的核心是“激活函数”,选择合适的激活函数(比如ReLU)是网络训练成功的关键;
  2. 前馈网络的信息传播是“单向的”,参数学习依赖反向传播算法(高效计算梯度);
  3. 自动梯度计算让我们不用手动推公式,专注于网络结构设计;
  4. 优化难题(非凸、梯度消失)可通过“合适的激活函数+优化算法+正则化”缓解。

深入阅读推荐

  • 想系统学激活函数:《Searching for Activation Functions》(Ramachandran等);
  • 想深入反向传播和自动微分:《Automatic Differentiation in Machine Learning: A Survey》;
  • 想了解前馈网络的理论基础:《Pattern Recognition and Machine Learning》(Bishop)第5章。
前馈神经网络FNN(原理及实现) 前馈神经网络的python实现(分类和回归) 阅读详情

相关推荐

[深度学习] 前馈神经网络

每个神经元与前一层的所有神经元连接。

藓类少女的博客 3017

神经网络:前馈神经网络简介

它的主要功能是根据处理后的输入数据生成网络的最终输出。输出层将最后一个隐藏层的输出作为其输入,并通过对该数据应用一组最终的变换来生成网络的最终输出。输出层中的神经元数量取决于网络旨在解决的具体问题。例如,在。

新华编程特战队 3447

神经网络与深度学习——第4章 前馈神经网络

如果进行0均值化,那么输入的x\bm xx要么大于0要么小于0,在0附近,sigmoid函数的导数在0附近是最大的,所以收敛速度很快。当输入恒大于0的时候,均值肯定大于0,那么有可能就到了sigmoid函数的平缓部分,所以收敛速度更慢。XOR问题即异或问题,有0XOR000XOR000XOR110XOR111XOR011XOR011XOR101XOR10。

a_blade_of_grass的博客 1456

前馈神经网络

前馈神经网络(全连接神经网络) 1、 概念及组成 前馈神经网络:每层神经元与下层神经元相互连接,神经元之间不存在同层连接,也不存在跨层连接。 组成:输入层、隐藏层、输出层 常用神经元:M-P神经元 图中f函数为激活函数,θ\thetaθ为阈值,wTxw^TxwTx的值超过阈值,激活函数被激活,通过激活函数处理产生神经元的输出。 2、 常见的激活函数 Sigmoid函数、tanh函数、ReLu函数 激活函数常有的性质: 非线性 可微性 单调性 f(x)≈xf(x)\approx xf(x)≈x 输出值范

星星点灯 9368

第四章 前馈神经网络

第四章 前馈神经网络第四章 前馈神经网络神经元Sigmoid 型函数Logistic函数Tanh函数Hard-Logistic 函数和 Hard-Tanh 函数ReLU 函数带泄露的 ReLU带参数的 ReLUELU 函数Softplus 函数Swish 函数高斯误差线性单元Maxout 单元网络结构前馈网络记忆网络图网络前馈神经网络通用近似定理应用到机器学习参数学习反向传播算法使用误差反向传播算...

Avery123123的博客 4624

前馈神经网络求解XOR问题

摘要 前馈神经网络是一种最简单的神经网络,各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出,并输出给下一层.各层之间没有反馈。是目前应用最广泛、发展最迅速的人工神经网络之一。研究从20世纪60年代开始,目前理论研究和实际应用达到了很高的水平[1]。本节通过设计包含输入层、一个隐含层和输出层的前馈神经网络,实现XOR运算,并基于计算数据或实验数据分析隐含层决策面的特点,进而总结前馈神经网络隐含层的作用。1.1 神经网络结构设计 1.1.1 XOR问题描述 异或是对两个运算元的一种逻辑分析类

人工智能讲师团 7516

深度学习--前馈神经网络、反馈神经网络

这篇文章主要整理三部分内容,一是常见的三种神经网络结构:前馈神经网络、反馈神经网络和图网络;二是整理前馈神经网络中正向传播、误差反向传播和梯度下降的原理;三是梯度消失和梯度爆炸问题的原因及解决思路。 一、神经网络结构 目前比较常用的神经网络结构有如下三种: 1、前馈神经网络 前馈神经网络中,把每个神经元按接收信息的先后分为不同的组,每一组可以看做是一个神经层。每一层中的神经元接收前一层神经元的输出,并输出到下一层神经元。整个网络中的信息是朝着一个方向传播的,没有反向的信息传播(和误差反向传播不是一回

suibianshen2012的专栏 6万+

人大金仓数据库Kingbase FlySync同步程序安装

Kingbase FlySync同步程序(以下简称 KFS)是面向异地容灾、数据集中共享的场景推出的具备在异构数据平台间实现实时、增量数据同步的工具类产品,主要采用了物理日志解析技术,帮助用户解决不同数据平台的数据间可实现任意方向实时移动流转的问题,并保证此过程中数据不丢失,状态可监控,流转数据量可统计。KFS 需要安装的主要组件有 2 个,分别是后端同步程序和管理控制平台,另外KFS的部署方式也有2种,为分离部署何集中部署•集中部署:KFS与数据库部署在同一机器上。

weixin_44312518的博客 1181

第4章(上)前馈神经网络理论解读

虽然我们能够通过模块化的方式比较好地对神经网络进行组装,但是每个模块的梯度计算过程仍然十分繁琐且容易出错。在深度学习框架中,已经封装了自动梯度计算的功能,我们只需要聚焦模型架构,不再需要耗费精力进行计算梯度。飞桨提供了类,来方便快速的实现自己的层和模型。模型和层都可以基于扩充实现,模型只是一种特殊的层。继承了类的算子中,可以在内部直接调用其它继承类的算子,飞桨框架会自动识别算子中内嵌的类算子,并自动计算它们的梯度,并在优化时更新它们的参数。下面我们使用Paddle的预定义算子来重新实现二分类任务。

weixin_46227276的博客 1185

做量化没有实时数据怎么行?我找到一个超级好用的Python库,速度还贼快!

今天咱们介绍了 pytdx 这个神奇的库,重点包括:✅ 安装 pytdx✅ 连接 TDX 服务器✅ 获取实时行情数据✅ 获取 K 线数据✅ 获取分笔成交数据总之,pytdx 是一个速度快、免费、易用的量化利器,适合 A 股量化交易的同学们使用。如果你还在为数据发愁,赶紧试试吧!🚀顺手再看就是对花姐最大的支持,期待你的关注。

奔跑的蜗牛 5735

捷联惯导总结--初始对准,位置标定,INS姿态更新,GPS/INS组合

惯导及组合导航回顾  2018.09.16 今天和17系的同学一起把惯导的流程捋了一遍,为了加深自己的记忆,这里在前面把心得大致列出来。 我们这里只考虑捷联式惯导及松组合 首先拿到惯性传感器(加速度计和陀螺仪)需要对其进行标定,是为了求出零偏,比例因子,交轴耦合这些误差。这些误差有的虽然在出厂时会给出,但是考虑到实际环境不同,还是要做标定。一般采用的是六位置旋转法,针对加速度计和陀螺仪同时...

赤豆几维 5万+

第4章(下)基于前馈神经网络完成鸢尾花分类任务

由于这里使用随机梯度下降法对参数优化,所以数据以批次的形式输入到模型中进行训练,那么评价指标计算也是分别在每个批次进行的,要想获得每个epoch整体的评价结果,需要对历史评价结果进行累积。本章介绍前馈神经网络的基本概念、网络结构及代码实现,利用前馈神经网络完成一个分类任务,并通过两个简单的实验,观察前馈神经网络的梯度消失问题和死亡ReLU问题,以及对应的优化策略。为了减少每次迭代的计算复杂度,我们可以在每次迭代时只采集一小部分样本,计算在这组样本上损失函数的梯度并更新参数,这种优化方式称为。

weixin_46227276的博客 483

qupath再度更新:使用WSInfer进行深度学习

我们在下面提供了一个示例,说明如何使用 WSInfer 创建 WSI 中肿瘤和肿瘤浸润淋巴细胞 (TIL) 的空间图谱,这些图谱被认为在几种癌症中既有预后又有预测意义6,10,11,12.由于 WSI 非常大,因此它们通常被分解为补丁,以使分析变得可行。补丁分类的输出通常是空间分类地图,通常可以跨 WSI 集成,以创建表示该幻灯片的诊断、预测或“分数”的单个输出。在当前的实施中,我们专注于斑块分类的通用任务,该任务广泛用于广泛的病理学应用,具有促进诊断、预后或预测功能的深度学习模型。

hx2024的博客 2203

深度学习与神经网络-邱锡鹏 第4章 前馈神经网络

深度学习与神经网络-邱锡鹏 第4章 前馈神经网络

每天净瞎搞 732

手把手教你学Simulink——基于Simulink的PMSM MTPA + FW 全速域平滑切换策略

本文提出一种基于Simulink的PMSM全速域平滑切换控制策略,通过融合MTPA和弱磁控制(FW)实现基速附近的无冲击过渡。在过渡区采用加权融合电流给定方法,使电流超调<5%、转速波动<2%,全速域效率>90%。文章详细介绍了系统架构、核心算法及Simulink建模步骤,包括融合控制器设计、切换逻辑实现和参数优化。仿真结果表明,该方法相比传统硬切换显著改善了动态性能,并扩展了调速范围。同时提供了可直接复用的工程模板和MATLAB代码,为电机控制工程师提供了实用的全速域控制解决方案。

MHD0815的博客 81

微信小程序推广策略,打开小程序领域流量大门

本文旨在为小程序开发者、运营者和企业主提供一套完整的微信小程序推广策略体系,帮助他们在竞争激烈的小程序生态中获得更多流量和用户。内容涵盖从0到1的冷启动策略,到成熟期的增长技巧。本文将首先介绍小程序的基础推广设置,然后深入探讨各种流量获取渠道,接着分析数据驱动的优化方法,最后展望未来发展趋势。小程序:无需下载安装即可使用的应用,运行在微信生态内:独立访客数:页面浏览量转化率:完成目标行为的用户比例留存率:用户在一定时间后仍活跃的比例自然流量获取:通过优化搜索、完善资料等方式获得基础流量社交裂变。

小程序开发 1031

《神经网络与深度学习》第4章:前馈神经网络反向传播算法详解

你是否还在为多层神经网络的参数更新而困扰?反向传播算法(Backpropagation)作为训练前馈神经网络(Feedforward Neural Network)的核心技术,曾被《Nature》评为"深度学习的基石"。本文将用图解+实例的方式,带你彻底掌握这一算法的工作原理,读完你将能够: - 理解反向传播的数学本质 - 手动推导误差项的传递公式 - 掌握实际编程实现的关键技巧 - 解决梯度消失

gitblog_00217的博客 1160

YOLOv11改进策略【卷积层】| arXiv 2025 YOLO-Master中的稀疏混合专家ES-MoE 动态路由提适配 + 稀疏激活降延迟,突破精度-效率权衡

ES-MoE(Efficient Sparse Mixture-of-Experts)是为解决传统YOLO类实时目标检测器的静态计算冗余问题而提出的稀疏混合专家模块。现有YOLO架构对所有输入场景采用统一的密集计算模式,导致简单场景资源浪费、复杂场景(如密集小目标、遮挡场景)计算不足,难以平衡检测精度与推理速度。ES-MoE引入实例条件自适应计算,通过动态路由机制为不同复杂度的输入分配差异化计算资源,突破传统静态架构的精度-效率权衡限制,同时适配实时检测的轻量化需求。

Limiiiing的博客 465

神经网络与深度学习第4章:前馈神经网络 阅读提问

1.神经网络的主要特性是什么? 2.为什么要有激活函数?激活函数需要具备什么特点? 3.logistic函数和Tanh函数的异同点? 4.ReLU函数为什么能被广泛应用,它有什么优缺点? 5.根据通用近似定理,前馈神经网络能拟合任意函数,什么导致它达不到理想效果? 6.什么是特征抽取 7.推导一下MLP的反向传播 8.为什么会出现梯度消失和梯度爆炸?如何减轻? ...

Raki_J的博客 308

AIoT 在线工程实训平台案例——智能家居

AIoT 在线工程实训平台案例——智能家居的操作步骤

m0_53608652的博客 1434

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

第02章 前馈神经网络

本章介绍第一个深度学习算法-前馈神经网络,主要介绍前馈神经网络 (FNN) 模型的算法模型、数学推理、模型实现以及主流框架的实现。并能够把它应用于现实世界的数据集实现分类效果。前馈神经网络是一种最简单的神经网络,各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出,并输出给下一层.各层间没有反馈。是目前应用最广泛、发展最迅速的人工神经网络之一。研究从 20 世纪 60 年代开始,目前理论研究和实际应用达到了很高的水平。人工智能领域中,最早发明的简单人工神经网络类型。...

a1234556667的博客 3495

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

前馈神经网络解密:深入理解人工智能的基石

本文深入探讨了前馈神经网络(FNN)的核心原理、结构、训练方法和先进变体。通过Python和PyTorch的实战演示,揭示了FNN的多样化应用。

TechLead 8097

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

实验2_前馈神经网络实验

device = torch . device("cuda" if torch . cuda . is_available() else "cpu") # 如果有gpu则在gpu上计算 加快计算速度 print(f'当前使用的device为 {

yingzi的技术博客 8097

4、前馈神经网络

前馈神经网络 1、神经元 假设一个神经元接受 d个输入 x1, x2, · · · , xd,令向量x = [x1; x2; · · · ; xd]来表示这组输入,并用净输入(net input) z ∈ R表示一个神经元所获得的输入信号 x的加权和,则 净输入 z 在经过一个非线性函数后,得到神经元的活性值(activation) a,a = f(z) 下图展示了一个典型的神经元结构 ...

湾区小学生的博客 1519
上一篇: 第3章 线性模型
下一篇: 第5章 卷积神经网络
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值