- 博客(179)
- 收藏
- 关注
RSS订阅原创 SNN如何学会学习：从神经活动到突触可塑性
摘要：从区分神经元状态变化与突触连接变化入手，说明学习真正发生在突触可塑性上；随后由Hebbian学习的活动关联思想出发，指出其忽略时间顺序与权重失控的局限，进而引入STDP，用时间差与指数衰减窗口刻画增强与减弱；再借助脉冲痕迹把成对规则扩展为可在线计算的多脉冲算法，并加入权重裁剪保证数值稳定；在此基础上结合Winner-Take-All竞争机制，解释多个神经元如何形成差异化特征偏好；最后引入奖励调节信号与资格迹，构成三因素学习规则，并讨论局部学习在深层网络中的信用分配问题及与替代梯度方法的互补关系。
2026-10-26 11:40:03
223
原创 SNN脉冲神经网络：全连接、卷积与循环SNN
摘要：本文围绕脉冲神经网络（SNN）的网络结构设计展开，先回顾LIF神经元的脉冲发放与膜电位更新流程，再依次讲解全连接SNN、卷积SNN和循环SNN三种典型结构：全连接结构直观、组合灵活，但不显式利用局部空间结构且参数量随输入维度增长；卷积SNN保留局部连接与权重共享，同时叠加LIF状态更新，输出随时间变化的脉冲特征图；循环SNN通过反馈权重把历史脉冲重新送入当前层，与神经元自身的膜电位记忆形成两条不同的历史依赖路径。文章最后讨论SNN中使用池化、归一化和残差连接时需要明确的关键问题，包括处理对象、统计维度
2026-10-25 14:01:16
232
原创 SNN脉冲神经网络：网络结构与时空信息处理
本文围绕脉冲神经网络（SNN）的网络结构与时空信息处理展开，从单个 LIF 神经元出发，逐步讲解多层 SNN 的前向计算过程。文章首先说明多个神经元如何通过连接权重完成空间信息组合，以及膜电位如何沿时间步递推，形成时空结合的状态更新；随后介绍 SNN 沿时间展开的运行方式、参数共享与状态递推的关系，以及输入数据中时间维度的组织方法；最后对比脉冲计数、平均发放率、末时刻膜电位和首脉冲时间四种输出解码规则，帮助读者理解 SNN 从输入脉冲到最终分类结果的完整推理链路。
2026-10-24 13:02:24
153
原创 脉冲神经网络SNN：连续数值如何编码成脉冲序列？
本文系统讲解脉冲神经网络（SNN）中的编码与解码问题，围绕“如何把连续数值变成脉冲、又如何从脉冲恢复数值”这一主线展开。文章依次介绍神经脉冲序列的表示方法与离散时间步，发放率编码的映射、脉冲生成与解码，时间编码的基本思想及 TTFS、ISI 等具体形式，概率编码与伯努利采样，以及群体编码如何通过多通道冗余和调谐函数提升数值表示的稳定性，最后从编码方式、生成方式和通道组织三个维度对各类编码方法进行归纳总结。
2026-10-23 13:47:25
207
原创 脉冲神经网络SNN：脉冲神经元的四类基本模型
这一章我们要学习IF，LIF，Izhikevich ，Hodgkin–Huxley神经元模型，详细了解他们是如何用不同的思路建模真实的神经元的。这一章与之前有一个明显的不同：我们要从认识生物现象，转向建立能够在计算机上运行的数学模型。
2026-10-21 16:04:45
120
原创 卷积神经网络的反向传播细节
看见很多教学对于CNN的反向传播好像都是一笔带过，因为在反向传播首次出现一般在普通神经网络，讲解完普通神经网络之后，对于CNN的反向传播就忽略了，不过CNN的反向传播依旧有非常多的细节，今天我就带大家将这些细节一一梳理。
2026-10-21 10:05:44
225
原创 脉冲神经网络：SNN的生物学原理与脉冲信息处理
这一章我们将从生物学的角度去剖析SNN的原理以及他如何处理脉冲信息。为什么神经元需要膜电位？为什么它不是直接把输入转成输出，而是先积累，再达到阈值，然后发放 Spike？这些设计并非凭空出现，而是受到真实生物神经元电活动的启发。因此，第二章我们要暂时从人工智能走向神经科学，理解真实神经元究竟是怎样工作的。
2026-10-20 15:56:42
288
原创 脉冲神经网络：SNN 与传统 ANN 的区别和联系
ANN 和 SNN 并不是两套完全割裂的理论体系。它们共享神经网络的核心思想，但在神经元模型、信息表达和计算机制上选择了不同的实现方式。看完这节，我们就把SNN的顶部结构基本了解了，接下来我们就要进入真实的原理学习了。
2026-10-20 10:32:07
104
原创 脉冲神经网络:SNN 的信息传递与计算特点
本节课将带领大家深入理解脉冲神经网络（Spiking Neural Network，SNN）的基本组成与信息处理机制，探索神经元之间如何通过脉冲事件传递信息，以及多个神经元如何协同完成计算。我们将进一步分析 SNN 的三大计算特点：时序性、状态性与潜在稀疏性，理解脉冲发放时间、历史状态与事件驱动计算之间的关系，以及 SNN 在计算效率方面的潜力与限制。
2026-10-19 20:57:04
172
原创 脉冲神经网络：从ANN到SNN
ANN 可以处理时序信息，RNN 和 Transformer 都是例子。SNN 的特点不是“只有它能处理时间”，而是使用脉冲事件和神经元内部的时间动力学来组织计算。SNN 不一定比 ANN 更省电，它的实际效率受到网络、硬件和实现方式的影响。这里我们要学习神经网络不仅可以利用数值大小计算，还可以利用脉冲发生的时间计算。
2026-10-19 18:01:14
230
原创 脉冲神经网络：神经网络发展历史背景
很高兴看到大家对SNN脉冲神经网络的兴趣，于是我决定增加一个专题为大家从浅到深的完整学习SNN脉冲神经网络，今天我们要学的就是SNN的背景。
2026-10-19 17:33:04
256
原创 长文预警！从浅入深第三代神经网络：脉冲神经网络
这篇博客主要从浅入深讲解脉冲神经网络的最基本的IF与LIF模型。第三代神经网络是脉冲神经网络（SNN）”这个说法，源于计算神经科学家沃尔夫冈·马斯在1997年正式提出的代际划分框架。他依据神经元模型的信息处理方式，将人工神经网络的发展划分为三代。第一代（离散输出）：以早期的MP神经元和感知机为代表。第二代（连续激活）：这是当前深度学习的主流，以多层感知机（MLP）、CNN、Transformer等为代表第三代（脉冲通信）：即脉冲神经网络（SNN）。它回归了生物神经元的工作方式：使用离散的脉冲信号
2026-10-18 13:49:54
221
原创 从无解方程到空间平移：通透解析正交投影、Gram-Schmidt 与仿射空间
面对现实中大量无解的超定方程，本文自顶向下系统解构正交投影的最优妥协本质：从一维垂线推导高维正规方程，剖析 Gram-Schmidt 正交化与数值利器 QR 分解的消噪逻辑，并用“平移借位”突破原点约束
2026-09-21 17:57:29
120
原创 从点积到希尔伯特空间：向量内积的几何本质与大模型相似度度量
从离散代数相乘到连续希尔伯特空间积分：自顶向下系统解析向量内积的几何投影机制、余弦相似度与柯西-施瓦茨不等式，并深入探讨高维空间“近乎正交”特性下现代 AI 向量检索与注意力机制（Attention）的数学运行机理。
2026-09-20 16:38:38
227
原创 从浅入深范数：机器学习中正则化背后的几何直觉
当数据从单个标量变成成百上千维的向量，我们该如何度量它的大小？本文采用自顶向下的认知逻辑，带你从“重新发明一把尺子”出发，通俗拆解 范数的设计法则与几何本质。深入算法核心，文章通过二维单位球的形态演变与等高线切点动力学，直观揭示为什么 Lasso能精准剔除冗余特征、而 Ridge能平滑压制权重，并结合 ElasticNet 的折中演进、古德哈特定律与贝叶斯先验（高斯 vs 拉普拉斯）视角，彻底理清正则化
2026-09-20 11:10:35
309
原创 数据降维线性方法：机器学习中的数据降维
高维数据会引发维度灾难，包括计算复杂度上升、数据稀疏性和基于距离的算法性能下降。数据的内在结构往往由少数几个潜在因素决定，数据点实际上大致分布在一个嵌入高维空间的低维流形上；这个低维流形的维度被称为数据的内在维度。
2026-09-02 19:37:23
248
原创 强化学习与神经科学的殊途同归
硅基芯片与碳基神经元，在求解“未知环境中最大化累积回报”这一命题时，走向了相同的数学收敛。本文探讨强化学习与神经科学的汇流：从“享乐主义神经元”的哲学萌芽，到基于模型与无模型系统的动态仲裁。透过严谨的数学模型，我们不仅能看清AI进化的未来，更能透视自然演化赋予生命的智慧。
2026-08-16 13:29:09
318
原创 强化学习进阶：一文通透 On-policy 函数逼近与预测
本文系统梳理了强化学习中基于函数逼近的同轨策略（On-policy）价值预测全貌。基于函数逼近的同轨策略预测是强化学习（Reinforcement Learning）中的一个核心概念。简单来说，它的意思就是：用带有参数的模型（如神经网络或线性函数）去估计某个策略的长期收益（价值），而用于训练这个模型的数据，完全是由该策略亲自在环境中“边干边试”采集来的。
2026-07-27 18:06:36
253
原创 统计学习方法：PCA
19世纪末到20世纪初,统计学家(最典型的是Pearson那篇论文)遇到一个很具体的麻烦:他们手里有一批样本,每个样本身上量了好几个指标(比如同一批人的身高、体重、头围、坐高……),这些指标彼此并不独立——量了身高,某种程度上就能猜个大概体重。当时的困扰是:这些指标高度"重叠信息",但没人知道怎么用一个数学上站得住脚的办法,把重叠的部分"挤掉",只留下真正独立、有信息量的少数几个新指标。
2026-07-05 16:19:58
497
原创 长文预警！统计学习方法：从零理解聚类方法：基于 Iris 数据集的 K-means 与层次聚类实验
在机器学习中，很多任务都依赖已有标签。例如分类问题需要提前知道每个样本属于哪一类。然而在实际场景中，大量数据往往没有标签。此时，我们希望算法能够根据数据自身的结构，自动发现其中潜在的分组关系。聚类就是一种典型的无监督学习方法。它的目标是在没有类别标签的情况下，根据样本之间的相似性，将样本划分为若干个簇。本文以经典的 Iris 鸢尾花数据集为例，尝试使用 K-means 聚类和层次聚类方法，探索聚类算法是否能够在不使用真实标签的情况下，发现鸢尾花数据中的潜在类别结构。
2026-06-24 09:14:57
430
原创 统计学习方法第11期：条件随机场
学习条件随机场，不是为了停留在传统模型，而是为了理解“结构化预测”的核心思想。现在很多任务确实以深度学习、Transformer、BERT、LLM 为主。BERT 这类模型的核心优势是能从大规模文本中学习上下文表示，而不是依赖大量人工特征。但 CRF 仍然值得学，因为它解决的是另一个问题：输出不是一个独立标签，而是一整个有结构的标签序列。
2026-06-20 16:13:22
366
原创 统计学习方法第十章：隐马尔科夫模型
HMM 是一个教你用“猜天气”的故事，去理解世界如何由隐藏的原因驱动、并以此推理解码万物序列的思维模型——它本身是精巧的火箭模型，而你的任务是带着造火箭时学到的追因思维，去驾驭更强大的飞船。
2026-06-17 16:43:04
346
原创 统计学习方法第九章：EM算法从浅入深（扩散模型的前身，强烈建议学习）
在进入 EM 算法之前，我们必须先把脚下的土地踩实。这就意味着我们需要回到概率模型、极大似然估计这些最基本的概念，然后亲眼看看，为什么隐变量的出现会让原本优美的数学框架突然变得棘手。你将会发现，正是这个「和对数」的障碍，才催生了 EM 算法那巧妙的策略。
2026-06-08 17:08:22
282
原创 统计学习方法第八章：Boosting
Boosting 就是把简单模型依次串联，每一步都死死盯着上一步的短板（损失函数的负梯度方向），通过加权修正，最终累加出一个极其强大的集成模型。
2026-06-03 15:27:50
480
原创 统计学习方法第七章：支持向量机精讲（超硬核长文深入预警！）
SVM 代表了人类用纯粹的数学逻辑去对抗复杂数据的巅峰。懂了 SVM，你才算真正懂了什么是“分类边界”，什么是“优化目标”，什么是“高维映射”。带着这种严谨的数学直觉再去学深度学习的“黑盒子”，你的视野会比别人开阔得多。
2026-06-02 18:24:27
272
原创 统计学习方法第六章：从逻辑斯蒂回归到最大熵模型逐点精讲
辑斯蒂回归（Logistic Regression）和最大熵模型（Maximum Entropy Model）是机器学习中极其经典、优美且底层互通的两个模型。它们表面上看似起源不同——一个是基于统计学的几率模型，另一个是基于信息论的无偏见假设——但最终在数学的底层逻辑上却是殊途同归的。
2026-06-01 16:53:35
202
原创 统计学习方法第五章：从浅入深解析决策树
决策树（Decision Tree）是机器学习中最经典、最具解释性的模型之一，也是理解更高级集成模型（如随机森林、XGBoost）的绝对基石。
2026-06-01 14:38:20
603
原创 统计学习方法第四章：朴素贝叶斯
我们为什么要学朴素贝叶斯？不是因为它强，而是因为它是理解机器学习的地基。朴素贝叶斯帮我们提高几件核心能力：1. 懂什么叫“模型学习”它把学习过程讲得很清楚：从数据里估计概率，再用概率做预测。这是很多模型共同的套路。2. 懂“假设”的重要性朴素贝叶斯的条件独立假设很简单，但你会明白：模型不是魔法，模型 = 假设 + 参数 + 学习算法。3. 懂概率思维大模型也是在建模概率。你学朴素贝叶斯，相当于先学一个小而透明的概率模型，再去理解复杂模型。
2026-05-30 11:19:22
270
原创 统计学习方法第三章：K 近邻法-超深度解析讲解
学 KNN，不是因为它现在一定是最强算法，而是因为它特别适合建立机器学习的几个核心直觉。KNN 是最直观的机器学习模型之一。它的思想就是：跟你最像的人，大概率和你属于同一类。比如判断一个电影用户喜不喜欢某部电影，可以看和他兴趣最接近的用户怎么评价。判断一个新样本属于哪类，可以看它附近的样本属于哪类。这个思想非常朴素，但很多复杂方法背后也有类似的“相似性”思想。它不只是一个分类算法，更是后面很多机器学习、推荐系统、检索系统和向量搜索方法的基础直觉。
2026-05-28 17:56:16
420
原创 统计学习方法第二章：感知机-超深度解析讲解
感知机（Perceptron）是机器学习和神经网络领域中最基础的模型。你可以把它看作是现代深度学习中那些极其复杂的人工神经网络的“老祖宗”或基本构建块（即单个神经元）。现在的深度学习听起来很高大上（比如包含千亿参数的大语言模型），但如果你把它们拆开来看，它们的底层依然是密密麻麻的感知机。
2026-05-27 17:02:01
408
原创 统计学习方法第一章讲解：统计与监督学习概率
我们为什么还要学习统计学习方法？在如今深度学习（Deep Learning）和大语言模型（LLMs）“大杀四方”的时代，连几行代码就能调用强大的 AI，为什么我们还要回头去啃《统计学习方法》里那些看似“老旧”的传统算法（如 SVM、逻辑斯谛回归、决策树）？我们学习统计学习方法，是因为它是对人类“认知过程”和“世界运转规律”最严谨的数学抽象。它不仅是一门技术，更是一套底层世界观。
2026-05-22 20:33:51
467
原创 BOYD凸优化2.3：保凸运算
在实际应用中，当我们遇到一个非常复杂的集合时，直接用凸集的定义（即证明集合中任意两点的连线仍在集合内：）去推导往往极其困难。保凸运算提供了一种“搭积木”的思路：如果我们知道一些基础的“砖块”（如半空间、球体）是凸集，那么只要我们使用特定的“胶水”（即保凸运算）将它们组合或变形，得到的新集合就必然也是凸集。
2026-05-21 16:04:19
448
原创 BOYD凸优化2.2：超平面、多面体与半正定锥的几何本质
构建复杂优化模型的前提，是深刻理解其底层的几何可行域。Boyd 的《凸优化》第 2.2 节为我们提供了一整套描述凸集的数学工具，但如何在代数定义与几何直觉之间建立桥梁，是每个初学者的必经之路。本文系统梳理了仿射集与凸集的核心模块，从基础的超平面 (Hyperplanes) 与半空间 (Halfspaces) 出发，逐步延伸至欧几里得球、椭球以及不同度量下的范数锥，并深入剖析了最抽象的半正定锥 (PSD Cone) 的物理意义。希望能为你在探索凸优化算法的道路上，提供一份清晰的几何导航图。
2026-05-20 20:24:49
485
原创 伟大工作的诞生：理查德·哈明留给普通人的逆袭启示录
我们总是习惯把伟大的成就归结于“天赋异禀”或“运气爆棚”，以此来掩饰自己的不作为。但在天才云集的贝尔实验室，阅人无数的科学家理查德·哈明（Richard Hamming）却撕开了这层伪装。在他那场堪称经典的演讲《你和你的研究》（You and Your Research）中，哈明抛出了一个直击灵魂的拷问：“你所在领域最重要的问题是什么？如果它最重要，你为什么不去解决它？”
2026-05-19 12:30:11
412
原创 现代 LangChain 开发指南：从 LCEL 原理到企业级 RAG 与 Agent 实战
LangChain 是一个开源框架，专门用于帮助开发者更轻松、高效地构建基于大型语言模型（LLMs）（如 ChatGPT、Gemini、Claude 等）的应用程序。如果把大语言模型比作一个非常聪明但被关在房间里的大脑（它拥有海量的静态知识，但无法获取实时信息，也不能直接操作电脑），那么 LangChain 就是为这个大脑装上“眼睛”、“手脚”和“记忆”的工具箱。
2026-05-13 15:56:47
470
原创 硬核基石：Boyd凸优化 2.1 仿射集与凸集深度解析
凸优化是一门容不得半点模糊的学科。本教程专为渴望真正掌握 Stephen Boyd《Convex Optimization》精髓的学习者打造。我们拒绝使用“包饺子”、“切西瓜”等似是而非的生活比喻，而是完全回归最严谨的数学定义。通过极其冷酷的代数推导，为你建立起最强大的高维空间几何直觉。
2026-05-11 20:32:32
442
原创 从零入门领域大模型训练：SFT、Continue PreTrain、RAG、评测与训练排错全流程教程
这是一套面向初学者的领域大模型训练教程，围绕大模型从 Base Model 到 Chat Model、从通用模型到领域模型的完整训练流程展开。本教程不追求堆砌公式，而是从实际工程问题出发，帮助读者建立一套完整的大模型训练思维框架：知道什么时候该预训练，什么时候该微调，什么时候该检索增强，如何准备数据，如何设计评测，如何调参和排错。适合刚接触大模型训练、领域模型微调、LLM 应用落地和 AI 工程实践的同学阅读。
2026-05-11 15:29:49
613
原创 纯新手教程！一切的基石：存储器原理与层次结构，从入门到精通
为什么算法复杂度相同的两段代码，运行时间却相差十几倍？为什么你的程序总是被内存拖慢？本教程结合硬件物理定律与软件代码实战，带你从 CPU 内部的 L1 缓存一路探秘到主存。我们抛弃枯燥的教条，用大量真实代码和底层推演，深度解密“局部性原理”、“缓存块搬运机制”、“3C 不命中模型”以及“多维数组的物理布局”。这不仅是一份硬核底层教程，更是一场重塑编程思维的拉力赛。读完本书，你将告别“黑盒编程”，学会运用“循环重排”与“分块技术（Blocking）”
2026-05-11 12:05:46
396
原创 大模型面试：从字节到集群的大模型微调底层推演指南
告别模糊的“算力配置表”，本教程带你从底层的字节（Byte）出发，精确推演大模型全参数微调的真实显存消耗。不打比方，不走捷径，直接用严谨的数学公式为你彻底算清每一兆（MB）显卡的去向。
2026-05-08 16:58:42
503
原创 CSAPP第五章：优化系统性能
在真实世界中，一段逻辑正确的代码，和一段极致高效的代码之间，往往隔着一道叫做“底层硬件”的巨大鸿沟。同一段程序，仅仅因为几行代码的写法不同，或者改变了几个括号的位置，运行速度就可能相差 10 倍以上！本教程基于经典神书 《深入理解计算机系统》(CSAPP) 第五章，为你剥茧抽丝，揭示“代码跑得快”的真正秘密。我们将不谈空洞的理论，而是通过一行行真实的代码演进，带你亲历一次极致的性能压榨之旅。
2026-05-06 20:42:16
412
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人