第三十三课:LIF神经元模型与SNN实战解析

一文细谈SNN的基本数学原理,LIF模型,STDP与STBP学习方法 本文详细讲述了我在学习SNN网络是的许多困惑难点,如果你有对基本原理不明白的地方,相信你能所收获 阅读详情

1. 从生物神经元到LIF模型:理解脉冲的起点

要搞懂脉冲神经网络(SNN),咱们得先从它的基本单元——脉冲神经元说起。这玩意儿的设计灵感直接来源于我们大脑里的生物神经元。你可以把生物神经元想象成一个微小的、会“充电”和“放电”的信息处理单元。它通过树突接收来自其他神经元的电信号,这些信号在细胞体里累积(这就是“整合”过程),当累积的电位超过某个临界值(阈值)时,神经元就会猛地“放电”,沿着轴突向下一个神经元发送一个短暂而强烈的电脉冲,也就是“尖峰”或“脉冲”。放电之后,神经元的膜电位会迅速回落,进入一个短暂的不应期,准备下一次的整合。

LIF(Leaky Integrate-and-Fire,泄漏积分发放)模型,就是为了在数学和计算上模拟这个过程而被提出的一个经典且实用的简化模型。它抓住了生物神经元最核心的三个特性:整合、泄漏和发放。

  • 整合:神经元不断接收输入信号(电流),这些信号会累加到它的膜电位上。
  • 泄漏:细胞膜不是完美的绝缘体,膜电位会像漏电的电容一样,随着时间的推移缓慢衰减,向静息电位靠拢。这个“泄漏”特性是LIF模型名字的由来,也是它区别于最简单的IF(Integrate-and-Fire)模型的关键。
  • 发放:当膜电位累积并超过一个设定的阈值时,神经元就会产生一个脉冲输出,同时膜电位会被迅速重置(通常重置到静息电位或略低于静息电位),模拟放电后的恢复过程。

为什么LIF模型在SNN研究和应用中如此受欢迎?我总结下来主要是三个字:够用、好算。它用相对简单的数学方程(一个带有泄漏项的一阶线性微分方程)就描述了神经元动态的核心,计算开销远低于那些模拟离子通道的复杂生物物理模型(比如Hodgkin-Huxley模型)。这使得我们能够用计算机模拟成千上万个LIF神经元构成的网络,进行大规模的实验和算法验证。可以说,LIF模型是连接生物启发与工程实践的一座坚实桥梁,是进入SNN世界必须掌握的第一个关键模型。

2. LIF神经元的数学原理:拆解“充电-放电-重置”

光有概念不够,咱们得把LIF的数学外壳剥开,看看里面到底是怎么运转的。理解了这些方程,你才能真正把握SNN的时间驱动机制。整个过程可以用“充电-放电-重置”这三个步骤来概括,非常直观。

2.1 核心微分方程与差分近似

LIF神经元膜电位 (V(t)) 随时间演化的行为,最本质的描述是下面这个微分方程:

[ \tau_m \frac{dV(t)}{dt} = - (V(t) - V_{reset}) + R I(t) ]

别怕,我们一步步拆解:

  • (V(t)):时刻 (t) 神经元的膜电位。
  • (\tau_m):膜时间常数。这是LIF模型最重要的参数之一,它决定了膜电位泄漏的快慢。(\tau_m) 越大,电位泄漏越慢,神经元对历史输入的“记忆”越长;越小则泄漏越快,更像一个只关注近期输入的单元。
  • (V_{reset}):重置电位。神经元发放脉冲后,膜电位会被重置到的值。
  • (R):膜电阻,(I(t)) 是输入电流。通常我们把 (X(t) = R I(t)) 看作外源输入,代表其他神经元通过突触传递过来的信号强度。
  • 方程右边第一项 (-(V(t) - V_{reset})) 就是泄漏项,它驱使膜电位向 (V_{reset}) 衰减。第二项 (X(t)) 就是驱动项,代表外部输入在提升膜电位。

这个微分方程是连续的,但计算机模拟是离散时间步进行的。所以我们需要把它近似为差分方程。假设时间步长为 (\Delta t)(通常设为1),上一个时刻的膜电位是 (V[t-1]),当前时刻的输入是 (X[t]),那么当前时刻发放脉冲前的膜电位 (H[t]) 可以近似为:

[ H[t] = V[t-1] + \frac{1}{\tau_m} \left( - (V[t-1] - V_{reset}) + X[t] \right) ]

这个公式就是LIF神经元的充电(或状态更新)方程。它清楚地告诉我们:新电位 = 旧电位 + (泄漏效应 + 输入驱动)。你可以调整 (\tau_m) 来观察它对电位累积速度的影响,这在模型调优时非常有用。

2.2 脉冲发放与重置机制

充电完成后,我们就要判断神经元是否“点火”。这是一个判断过程:

[ S[t] = \Theta(H[t] - V_{th}) ]

这里 (\Theta(x)) 是阶跃函数(也叫Heaviside函数):如果 (x \ge 0),输出1(发放脉冲);否则输出0(不发放)。(V_{th}) 就是发放阈值。(S[t]) 就是神经元在时刻 (t) 的输出,非0即1,这正是脉冲的离散特性。

一旦发放了脉冲((S[t]=1)),膜电位就需要重置。重置通常有两种模式:

  1. 硬重置(Hard Reset):直接将膜电位设为重置电位。(V[t] = V_{reset})。
  2. 软重置(Soft Reset):从充电后的电位中减去阈值。(V[t] = H[t] - V_{th})。

硬重置更接近生物事实,脉冲后电位迅速回到基线。软重置则在数学处理上有时更便利,尤其是在某些训练算法中。在SpikingJelly等框架中,你可以通过参数 v_reset 来指定模式:设为具体数值(如1.0)是硬重置;设为 None 则是软重置。

2.3 梯度替代:解决脉冲不可微的“作弊”妙招

细心的你可能发现了一个大问题:阶跃函数 (\Theta(x)) 在 (x=0) 处是不可微的,它的导数几乎处处为零。这意味着我们没法直接用基于梯度下降的反向传播算法来训练SNN,因为梯度传不过这个“脉冲发放”的环节。

怎么办?研究人员想出了一个巧妙的办法——梯度替代(Gradient Surrogate)。它的思想是:前向传播时,我们依然使用不可微的阶跃函数,保证网络是真正的SNN,输出离散脉冲;但在反向传播计算梯度时,我们用一个形状相似的可微函数来“替代”阶跃函数的导数。

常用的替代函数有sigmoid函数的导数、arctan函数的导数等。例如,用sigmoid函数 (\sigma(x) = \frac{1}{1+e^{-x}}) 的导数 (\sigma‘(x) = \sigma(x)(1-\sigma(x))) 来近似阶跃函数在0点附近的梯度。虽然这是一种“作弊”,但实践证明它非常有效,是当前训练深度SNN的主流方法。在代码中,你只需要在定义神经元时指定 surrogate_function 参数即可。

3. 使用SpikingJelly实战:让LIF神经元“活”起来

理论说得再多,不如跑段代码看看。这里我们使用国内北京大学团队开源的优秀SNN框架——SpikingJelly(中文名“惊蜇”)来动手实验。它基于PyTorch,API设计友好,性能经过高度优化,是学习和研究SNN的绝佳工具。

3.1 环境搭建与初识LIF神经元

首先,安装SpikingJelly非常简单:

pip install spikingjelly

然后,我们导入必要的模块,并创建一个LIF神经元层:

import torch
import torch.nn as nn
from spikingjelly.clock_driven import neuron, functional
from spikingjelly import visualizing
import matplotlib.pyplot as plt
import numpy as np

# 创建一个LIF神经元层,这里我们指定膜时间常数tau=10.0
lif_neuron = neuron.LIFNode(tau=10.0, v_threshold=1.0, v_reset=0.0)

LIFNode 的主要参数包括:

  • tau: 膜时间常数,控制泄漏速度。
  • v_threshold: 发放阈值。
  • v_reset: 重置电位。如果为 None,则使用软重置模式。
  • surrogate_function: 指定反向传播时使用的梯度替代函数。

神经元层创建后,其膜电位初始为0。我们可以像使用PyTorch的普通层一样使用它,它接受张量输入,并输出脉冲张量。

3.2 单神经元动态可视化:观察电位升降与脉冲发放

让我们给单个LIF神经元一个持续的恒定输入,观察它的膜电位变化和脉冲发放序列。这是理解其动态最直观的方式。

# 重置神经元状态
functional.reset_net(lif_neuron)

# 准备输入:一个持续的正向电流,形状为[1],表示一个神经元
constant_input = torch.as_tensor([0.5])
num_steps = 100  # 模拟100个时间步

# 记录膜电位和输出脉冲
membrane_potentials = []
output_spikes = []

for t in range(num_steps):
    spike = lif_neuron(constant_input)  # 前向传播,得到当前时刻的脉冲
    output_spikes.append(spike.numpy())
    membrane_potentials.append(lif_neuron.v.numpy())  # lif_neuron.v 保存了当前膜电位

# 转换为numpy数组便于绘图
membrane_potentials = np.array(membrane_potentials).squeeze()
output_spikes = np.array(output_spikes).squeeze()

# 绘制结果
fig, axs = plt.subplots(2, 1, figsize=(10, 6), sharex=True)
axs[0].plot(membrane_potentials, label='Membrane Potential')
axs[0].axhline(y=lif_neuron.v_threshold, color='r', linestyle='--', label='Threshold')
axs[0].axhline(y=lif_neuron.v_reset, color='g', linestyle='--', label='Reset')
axs[0].set_ylabel('Voltage')
axs[0].set_title('LIF Neuron Dynamics (Constant Input)')
axs[0].legend()
axs[0].grid(True, linestyle=':')

axs[1].eventplot(np.where(output_spikes == 1)[0], lineoffsets=0.5, colors='black')
axs[1].set_xlabel('Time Step')
axs[1].set_ylabel('Spike')
axs[1].set_yticks([])
axs[1].set_ylim(0, 1)
axs[1].set_title('Output Spike Train')
plt.tight_layout()
plt.show()

运行这段代码,你会看到一张图。上半部分显示膜电位随时间步逐渐“充电”上升,当超过红色虚线(阈值)时,神经元发放脉冲,随后电位瞬间被重置到绿色虚线(重置电位),然后重新开始充电。下半部分的黑点就是发放的脉冲序列。通过调整 constant_input 的大小和 tau 的值,你可以直观地看到输入强度如何影响发放频率,以及 tau 如何影响电位上升的斜率。

3.3 多神经元并行仿真与热图分析

SNN的强大在于并行处理。一个LIF神经元层可以同时包含大量神经元。让我们仿真一个包含32个神经元的层,并给它们不同的随机输入,看看它们的群体行为。

# 重置神经元
functional.reset_net(lif_neuron)

# 准备输入:32个神经元,每个在50个时间步内接收随机输入
batch_size = 32
num_steps = 50
random_input = torch.rand(num_steps, batch_size) * 1.5  # 形状 [T, B]

# 用于记录所有神经元在所有时刻的电位和脉冲
all_potentials = []
all_spikes = []

for t in range(num_steps):
    input_t = random_input[t].unsqueeze(0)  # 当前时刻所有神经元的输入,形状[1, 32]
    spike_t = lif_neuron(input_t)  # 输出形状[1, 32]
    all_spikes.append(spike_t.numpy())
    all_potentials.append(lif_neuron.v.numpy())

all_spikes = np.concatenate(all_spikes, axis=0)  # [50, 32]
all_potentials = np.concatenate(all_potentials, axis=0)  # [50, 32]

# 绘制膜电位热图
plt.figure(figsize=(12, 4))
plt.subplot(1, 2, 1)
plt.imshow(all_potentials.T, aspect='auto', cmap='hot', interpolation='nearest')
plt.colorbar(label='Membrane Potential')
plt.xlabel('Simulation Time Step')
plt.ylabel('Neuron Index')
plt.title('Membrane Potentials Heatmap')

# 绘制脉冲发放栅格图
plt.subplot(1, 2, 2)
# 找出所有发放脉冲的位置
spike_times, neuron_indices = np.where(all_spikes.T == 1)
plt.scatter(spike_times, neuron_indices, color='black', s=5, marker='|')
plt.xlabel('Simulation Time Step')
plt.ylabel('Neuron Index')
plt.title('Spike Raster Plot')
plt.gca().invert_yaxis()  # 让神经元索引0在顶部
plt.tight_layout()
plt.show()

左边的热图直观展示了32个神经元在50个时间步内膜电位的“地形”。颜色越亮(黄/白),表示电位越高。你可以看到有些神经元的电位持续较高(亮的竖条纹),它们发放脉冲更频繁;有些则始终在低位。右边的栅格图则精确标出了每个脉冲发生的时刻和对应的神经元。这种时空模式正是SNN处理信息的基础。不同的输入模式会激发不同的神经元群体在不同的时间点发放脉冲,网络通过学习和调整神经元间的连接权重(突触权重),就能让这种脉冲模式与特定任务(如图像分类)关联起来。

4. 构建你的第一个SNN:从单层到深度网络

理解了单个神经元层,我们就可以尝试搭建一个简单的SNN了。一个完整的SNN通常包含突触层(线性全连接、卷积等)和神经元层交替组成。

4.1 搭建一个简单的全连接SNN

下面我们构建一个两层网络,用于处理简单的序列数据。第一层是线性突触,将输入维度映射到隐含层维度;第二层是LIF神经元,产生脉冲;然后再接一个线性突触层输出到类别。

class SimpleSNN(nn.Module):
    def __init__(self, input_dim, hidden_dim, output_dim, num_steps, tau=10.0):
        super().__init__()
        self.num_steps = num_steps
        # 第一层突触:线性变换
        self.fc1 = nn.Linear(input_dim, hidden_dim)
        # 第一层神经元:LIF
        self.lif1 = neuron.LIFNode(tau=tau, v_threshold=1.0, v_reset=0.0)
        # 第二层突触:线性变换到输出
        self.fc2 = nn.Linear(hidden_dim, output_dim)
        # 注意:输出层通常不需要脉冲神经元,我们直接对脉冲计数或取平均

    def forward(self, x):
        # x 的形状通常是 [batch_size, input_dim] 或 [batch_size, num_steps, input_dim]
        # 这里假设输入已经是多时间步展开的
        batch_size = x.shape[0]
        # 初始化膜电位等状态
        functional.reset_net(self)

        # 用于累积输出层的输入(来自lif1的脉冲)
        output_sum = torch.zeros(batch_size, self.fc2.out_features, device=x.device)

        # 时间驱动仿真循环
        for t in range(self.num_steps):
            x_t = x[:, t, :]  # 取当前时间步的输入
            # 第一层:突触 -> 神经元
            syn1_out = self.fc1(x_t)
            spike1 = self.lif1(syn1_out)  # lif1输出脉冲
            # 第二层:突触(使用脉冲作为输入)
            syn2_out = self.fc2(spike1)
            # 累积输出。对于分类任务,常对时间步取平均或求和
            output_sum += syn2_out

        # 返回整个时间窗口的平均输出
        output = output_sum / self.num_steps
        return output

# 示例:创建一个处理10维输入,20维隐藏层,5维输出的SNN,模拟50个时间步
snn_model = SimpleSNN(input_dim=10, hidden_dim=20, output_dim=5, num_steps=50)
print(snn_model)

# 生成一些随机测试数据
batch_size = 4
test_input = torch.randn(batch_size, 50, 10)  # [4, 50, 10]
output = snn_model(test_input)
print(f"Output shape: {output.shape}")  # 应该是 [4, 5]

这个简单的网络展示了SNN的基本架构:突触 -> 神经元 -> 突触 -> ...。前向传播在一个时间循环内进行。训练时,损失函数基于最终的 output 计算,然后通过梯度替代法进行反向传播,更新 fc1 和 fc2 的权重。

4.2 处理静态图像:编码与网络设计

SNN天生处理时序信号,那怎么用它处理MNIST这样的静态图像呢?这就需要编码。一个常见的方法是泊松编码:将图像的像素强度(0-1)视为该像素点在每个时间步发放脉冲的概率。例如,一个像素值为0.8,那么在每一个时间步,它都有80%的概率生成一个脉冲。这样,一张静态图片就被转换成了一个随时间变化的脉冲序列。

def poisson_encoding(images, num_steps):
    """
    对一批图像进行泊松编码。
    images: [batch_size, height, width] 或 [batch_size, channels, height, width],值在0-1之间
    num_steps: 编码的时间步数
    返回: [batch_size, num_steps, ...] 的脉冲序列
    """
    batch_size = images.shape[0]
    image_shape = images.shape[1:]
    # 扩展维度并重复,然后与随机数比较
    images_ = images.unsqueeze(1).repeat(1, num_steps, *([1]*len(image_shape)))  # [B, T, ...]
    spike_seq = torch.rand_like(images_) < images_  # 伯努利试验
    return spike_seq.float()  # 转换为浮点数

# 假设我们有一个MNIST数据加载器
# train_loader 每次提供 (images, labels), images形状为 [B, 1, 28, 28]
# 我们可以这样编码:
num_steps = 20
for images, labels in train_loader:
    images = images.view(images.size(0), -1)  # 展平为 [B, 784]
    images = images / 255.0  # 归一化到[0,1]
    # 进行泊松编码
    encoded_spike_train = poisson_encoding(images, num_steps)  # [B, 20, 784]
    # 现在 encoded_spike_train 可以作为上面 SimpleSNN 的输入
    # 注意调整 SimpleSNN 的 input_dim=784
    break  # 只演示第一个batch

编码之后,我们就可以用SNN来处理了。网络设计上,可以使用卷积层替代全连接层来提取空间特征,形成脉冲卷积神经网络(Spiking CNN),其结构与传统CNN类似,只是将激活函数替换为脉冲神经元。

4.3 训练技巧与参数调优心得

训练SNN比训练ANN需要更多耐心和技巧。这里分享几个我踩过坑后总结的经验:

  1. 学习率要小:由于梯度替代引入的近似误差,训练SNN通常需要使用更小的学习率,并且配合学习率衰减策略。一开始可以尝试 1e-3 或更小。
  2. 时间常数 tau 的选择:tau 控制着神经元的时间记忆。tau 太小(如2.0),神经元遗忘太快,可能难以整合信息;tau 太大(如100.0),电位变化缓慢,可能导致响应迟钝。对于图像分类等任务,tau 在2.0到10.0之间往往是不错的起点。可以将其设为可学习参数,让网络自己调整。
  3. 阈值与重置:阈值 v_threshold 不宜设得过高,否则神经元难以激活。通常从1.0开始调整。硬重置(v_reset=0.0)通常更稳定。软重置有时能带来更好的性能,但可能需要更精细的调参。
  4. 替代函数的选择:SpikingJelly提供了多种替代函数,如 surrogate.ATan、surrogate.Sigmoid 等。ATan 在经验上通常表现更鲁棒。可以通过尝试不同函数来找到最适合你任务的。
  5. 损失函数与输出解码:对于分类任务,我们通常对最后一个突触层在时间维上的输出进行平均或求和,然后计算交叉熵损失。也可以采用更复杂的方法,比如基于脉冲计数的损失。
  6. 使用ANN-to-SNN转换:这是一个非常实用的捷径。你可以先训练一个同结构的传统ANN(使用ReLU等激活函数),然后通过一套规则(主要是将激活值映射到脉冲发放率)将训练好的权重转换到SNN中。这种方法能快速得到高性能的SNN基线模型,SpikingJelly也提供了完善的转换工具。

5. 超越LIF:SNN的广阔天地与未来展望

LIF模型是SNN的基石,但绝不是终点。掌握了LIF,你就拿到了探索SNN更广阔天地的钥匙。

更复杂的神经元模型:如Izhikevich模型,它能用很少的参数产生丰富的发放模式(如连续发放、簇状发放等),模拟不同种类的神经元。还有Hodgkin-Huxley(HH)模型,它从离子通道层面建模,生物解释性最强,但计算成本极高。

事件驱动仿真:我们上面演示的是时间驱动,即每个时间步都更新所有神经元状态。而事件驱动仿真只在有脉冲事件发生时才进行更新,对于稀疏脉冲活动,理论上效率更高,特别适合在专用神经形态硬件上运行。

丰富的学习算法:除了基于梯度替代的反向传播,SNN领域还有其独特的学习规则,如脉冲时序依赖可塑性(STDP)。这是一种无监督或自监督的学习规则,根据突触前后神经元脉冲的先后顺序来调整连接强度,具有更强的生物合理性,在类脑计算和低功耗学习场景下潜力巨大。

应用前景:SNN的低功耗、事件驱动特性,使其在神经形态计算、边缘AI设备、动态视觉传感器(DVS)数据处理、脑机接口等领域具有天然优势。例如,基于事件的相机输出本身就是脉冲流,用SNN处理简直是天作之合。

我在实际项目中将SNN部署到资源受限的嵌入式设备上时,能明显感受到其能效优势。虽然训练过程可能比ANN更费时费力,但推理阶段的低功耗特性是实实在在的。随着SpikingJelly这类开源框架的成熟,以及英特尔Loihi、清华天机芯等神经形态硬件的不断发展,SNN正从实验室走向更广泛的应用场景。对于研究者或开发者来说,现在正是深入这个领域的好时机。从理解LIF开始,动手写代码,观察脉冲的动态,逐步构建更复杂的网络,你会发现这个仿照大脑工作原理的计算模型,充满了挑战与乐趣。

SNN学习(2):深入了解SNN及LIF神经元的原理和运行过程 脉冲神经网络的入门 阅读详情

相关推荐

snntorch:P2—【LIF神经元模型】手撕公式、代码实现与演示

LIF神经元模型是现阶段脉冲神经网络的搭建与训练过程中使用最多的神经元模型,既保留了HH模型中关于生物神经元的核心思想,具有一定的仿生型,也兼顾了普通人工神经元计算效率高的特点,所以本文就LIF神经元展开说明,包括了生物启发的模型建立、公式推导、离散化递归表示以用于代码实现,最后有snntorch框架中关于LIF神经元的相关代码。 ...

cyy0789的博客 9044

SNN系列|神经元模型篇(4) LIF

Leaky Intergrate and Fired Model 参考: [1] Neuron Dynamics [2] 早期的公众号 引言 SNN与ANN最主要的不同就是使用离散的脉冲信号替代ANN网络中传播的连续的模拟信号。为了在这种网络结构上产生脉冲信号,SNN使用了更加复杂也更加贴近于生物的神经元模型,目前使用最多的是**Leakyintegrity-Fire(LIF)**模型。对于这...

Tianlong Lee的博客 3万+

第三十三课:LIF神经元模型与SpikingJelly实战解析

本文深入解析了LIF神经元模型的数学原理及其在SpikingJelly框架中的实战应用。通过详细的代码示例和实验对比,展示了脉冲神经网络(SNN)在时序信息处理和能效比方面的优势,并提供了常见问题的解决方案和优化技巧。

weixin_28740299的博客 451

SNN学习笔记(一): LIF模型

SNN学习笔记(一): LIF模型 核心思想 LIF模型的提出旨在模拟生物神经元模型的工作过程(生物神经元结构如图1所示)。回顾生物知识可知,生物神经元只有在获得外界刺激并且超过一定阈值时才会向与其相连的其他神经元传递刺激,进而实现信息交流。同理,LIF的工作过程可被简化描述为:“当膜电位达到阈值Vth 时神经元将激发脉冲,同时膜电位回落至静息值Vreset”。 名称理解 LIF模型全称——Leaky Intergrate and Fired Model,其中: Leaky(泄露): 表示如果神经元输入

Jaggie_Yan的博客 1万+

从电路到智能:揭秘IF/LIF神经元模型如何驱动高效SNN

本文深入解析了IF/LIF神经元模型在脉冲神经网络(SNN)中的核心作用,从RC电路类比到硬件实现挑战。通过Python代码示例和实测数据,展示了IF模型的简单高效与LIF模型的记忆衰减特性,揭示了它们在边缘计算和神经形态芯片中的低功耗优势。特别探讨了LIF模型在动态视觉传感器数据处理中的卓越表现,为高效SNN设计提供实践指导。

weixin_30369041的博客 422

从电路到神经元:LIF模型的生物物理基础与工程启示

本文深入探讨了LIF(Leaky Integrate-and-Fire)神经元的生物物理基础与工程应用,揭示了其与电路模型的深层数学同构性。通过详细的数学推导和脉冲神经网络(SNN)实现案例,展示了LIF模型在神经形态计算中的独特优势,包括低功耗、并行处理等特性,为边缘计算和实时处理提供了新思路。

weixin_30772105的博客 502

第三十二课.脉冲神经网络SNN

目录时间驱动与事件驱动时间驱动 时间驱动与事件驱动 时间驱动 为了便于理解,我们可以将SNN(spiking neuron network)看作是一种RNN,它的输入是电压增量(电流与膜电阻的乘积),隐藏状态是膜电压,输出是脉冲。这样的SNN神经元具有马尔可夫性:当前时刻的输出只与当前时刻的输入,神经元自身的状态有关。 可以用充电,放电,重置3个方程描述脉冲神经元:H(t)=f(V(t−1),X(t))H(t)=f(V(t-1),X(t))H(t)=f(V(t−1),X(t))S(t)=g(H(t)−Vth

白景屹的博客 4638

脉冲神经网络SNN实战指南:从LIF模型到Loihi硬件部署

脉冲神经网络(SNN)是一种以生物神经元脉冲发放为计算基础的类脑AI范式,其核心在于用时间编码替代传统ANN的连续激活值,实现事件驱动、低功耗、高实时性的感知与决策。原理上依赖Leaky Integrate-and-Fire(LIF)等可微近似模型模拟膜电位动态,并通过脉冲编码(如潜伏期编码、群体编码)将图像、声音等信号转化为时序脉冲流。技术价值突出体现在边缘端极致能效比——实测功耗可降至GPU的1/200,且天然适配事件相机等异步传感器。典型应用场景包括电池供电的物联网节点、实时避障小车、工业振动监测及热

cunbei2644的博客 557

LIF神经元模型的显隐转换

LIF(Leaky Integrate-and-Fire)神经元模型是计算神经科学中一种经典的数学模型,用于描述生物神经元的动力学行为。它是脉冲神经网络(SNN)中的基础模型之一,简洁而高效。LIF模型通过一个电路方程模拟神经元的膜电位(membrane potential)变化,当膜电位超过某个阈值时,神经元发放一个脉冲(即“放电”),然后膜电位被重置为静息电位,随后进入一个短暂的“静默期”(也称不应期,Refractory)。

主要分享神经形态计算相关内容 1394

SpikingJelly核心:IF与LIF神经元原理解析与实战指南

人工神经网络通过连续激活值传递信息,而脉冲神经网络(SNN)以稀疏脉冲模拟生物神经元,更适合低功耗场景。SNN的基础在于神经元模型,其中积分发放(IF)与泄漏积分发放(LIF)是最核心的两类。IF只累积膜电位,无泄漏,只要有持续输入必然发放脉冲;LIF引入时间常数tau,膜电位自然衰减,更接近真实神经元动态。理解两者差异对设置时间步长、阈值和复位方式至关重要。SpikingJelly作为基于PyTorch的SNN框架,将膜电位累积、阈值触发与脉冲发放封装为可微分GPU算子,极大简化了SNN训练。通过恒定电流

weixin_26759093的博客 313

基于LIF模型的SNN脉冲神经网络的verilog程序开发

脉冲神经网络 (SNN) 被认为是计算中的大脑启发机制。它在许多领域都表现出卓越的效率。与人工神经网络 (ANN) 中大量获取计算资源和内存带宽相比,SNN 提供了一种将存储和计算集成在一起的便捷方式,有助于提高效率。然而,有两个因素限制了计算和功率的效率。一是片外存储器和片内存储器之间的高吞吐量数据传输。在 FPGA 上实现片上学习系统时,全局梯度的计算需要将大量的状态变量存储在寄存器中,这对于 FPGA 来说是非常奢侈的。

FPGA/MATLAB学习教程/源码/项目合作开发 4990

SpikingJelly脉冲神经元完全解析:从IF到LIF再到ParametricLIF

SpikingJelly是基于PyTorch的开源脉冲神经网络(SNN)深度学习框架,提供了丰富的脉冲神经元模型,帮助开发者轻松构建和训练SNN。本文将深入解析从简单的Integrate-and-Fire(IF)神经元到Leaky Integrate-and-Fire(LIF)神经元,再到参数化LIF(ParametricLIF)神经元的进化过程,揭示它们的工作原理、代码实现和应用场景。 ##

gitblog_00271的博客 370

深入解析:在Tensorflow框架中构建和实现SNN网络和LIF神经元模型

在我们深入代码实现之前,让我们先了解一下脉冲神经网络和LIF神经元模型的基本概念。项目下载脉冲神经网络(SNN)脉冲神经网络(SNN)是一种模拟生物神经网络行为的人工神经网络,被认为是第三代神经网络。它们试图更接近生物现象,与前两代网络相比,SNN更加复杂,因为神经元不仅仅在特定时间点激活,而是根据接收到的脉冲的时间和频率产生输出。这意味着,SNN对时间的编码方式非常重要。漏电积分火(LIF)神经元模型漏电积分火(LIF)神经元模型是一种简化的数学模型,用于描述神经元的主要特性和行为。

qq_38334677的博客 1638

snnTorch深度解析:10种脉冲神经元模型的完整对比

snnTorch是一个基于Python的脉冲神经网络(SNN)深度学习框架,提供了丰富的脉冲神经元模型,支持深度和在线学习。本文将全面对比snnTorch中的10种脉冲神经元模型,帮助你快速掌握不同模型的特性与适用场景。 ## 脉冲神经元模型概述 🧠 脉冲神经网络(SNN)通过模拟生物神经元的脉冲发放机制进行信息处理,具有低功耗、高时空效率的优势。snnTorch作为PyTorch生态系统的

gitblog_01021的博客 866

SNN癫痫检测:LIF神经元与多棘波发放机制解析

脉冲神经网络(SNN)作为第三代神经网络,以事件驱动和生物可解释性著称,在脑电信号分析中备受关注。LIF神经元模型是SNN的核心,通过膜电位累积与发放机制将连续信号编码为稀疏脉冲。在癫痫检测中,iEEG颅内脑电具有强时间上下文和突发放电特征,SNN能够天然捕捉这些模式。针对单棘波与多棘波两种发放策略,在8-30Hz频段癫痫特征上进行了分类性能比较,并探讨了不应期等参数的影响。实验表明,多棘波机制在AUC上优于单棘波和传统SVM,为边缘端癫痫实时监测提供了新思路。

weixin_29483277的博客 215

LIF神经元模型详解与MATLAB实现完整源码

真实神经元的工作机制极其复杂:钠钾泵、电压门控通道、突触延迟……如果每一步都精确建模,别说仿真一个网络,光是一个细胞就得烧掉整台超算 💥。于是科学家们开始思考:哪些特性是非保留不可的?哪些是可以牺牲的?答案浮出水面:✅必须保留:输入信号的时间累积效应(Integrate)✅必须保留:膜电位不会无限上升,而是会自然衰减(Leaky)✅必须保留:达到某个临界值后突然放电(Fire)而像动作电位的具体形状、复极化过程这些细节?

weixin_33557333的博客 482

第十八周-认识SNN

本文介绍了脉冲神经网络(SNN)的基本原理与典型模型。SNN通过脉冲序列传递信息,模仿生物神经元工作机制,具有动态响应和稀疏激活特性。重点解析了LIF神经元模型的数学公式、代码实现及参数影响,并探讨了两种典型学习算法:基于时序依赖性的无监督学习STDP规则,以及结合时空信息的监督学习STBP算法。STDP通过脉冲时间差调整突触权重,而STBP通过梯度下降实现时空维度上的监督学习。文章通过公式推导、参数说明和代码示例,系统阐述了SNN的核心数学模型和学习机制。

weixin_73859262的博客 845

【NLP】语言模型的发展历程 (1)

N-gram模型是一种基于统计语言模型的文本分析算法,它用于预测文本中下一个词出现的概率,基于前面出现的n-1个词的序列。这里的n代表序列中元素的数量,因此称为N-gram。Unigram:N=1,每个单词的出现概率独立计算,不考虑上下文。Bigram:N=2,基于前一个单词预测当前单词的联合概率模型。Trigram:N=3,考虑前两个单词来预测当前单词的联合概率模型,更复杂但可能更准确。

酒酿小圆子呀~ 1670

SpikingJelly单层SNN跑MNIST:LIF训练与调参实战

脉冲神经网络(SNN)以事件驱动、稀疏脉冲和时间累积为基本计算范式,核心单元LIF神经元通过膜电位积分、泄漏与阈值发放完成信息处理;由于脉冲不可导,替代梯度成为训练SNN的关键技术。它把离散发放的前向行为与光滑反向近似结合,使梯度能够回传到权重,从而在PyTorch等框架中完成端到端优化。其技术价值在于用较低计算开销建模时序与稀疏性,应用场景覆盖图像分类、事件相机视觉和边缘智能等。围绕SpikingJelly实现单层全连接SNN在MNIST上的最小可用实验,从直接编码、时间步T、tau与阈值设置到状态重置和

weixin_42548708的博客 326

UE5游戏逆向实战:用FModel提取.pak文件中的3D模型(附Dumper-7避坑指南)

本文详细介绍了在UE5游戏逆向工程中使用FModel提取.pak文件中3D模型的实战技巧,包括Dumper-7工具的深度配置与避坑指南。针对UE5特有的unversioned属性系统,提供了从源码编译到智能注入的全链路解决方案,帮助开发者高效获取游戏资产并优化处理流程。

weixin_30374009的博客 500

如何理解Apollo模型参考自适应控制MRAC

最近有了解到百度无人驾驶Apollo项目中的横向控制有用到MRAC(Model Reference Adaptive Control),于是便详细研究了一下这个控制方法,在此总结一下心得。 什么是MRAC MRAC控制系统的基本结构图如下所示: 它由两个环路组成,由控制器和受控对象组成内环,这一部分称之为可调系统,由参考模型和自适应机构组成外环。实际上,该系统是在常规的反馈控制回路上再附加一个参考模型和控制器参数的自动调节回路而形成。在该系统中,参考模型的输出或状态相当于给定一个动态性能指标,(通常,参考模

zmhzmhzm的博客 6480
上一篇: USB协议深度解析:握手包在批量传输中的关键作用与IN事务实战
下一篇: Weaviate生产级集群搭建指南:Kubernetes+Helm高可用配置全流程
code8
博客等级 码龄17年 65粉丝 1720原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值