AI_27中常见的神经网络模型

在这里插入图片描述
神经网络结构可视化图展示了 27 种不同类型的神经网络模型,并通过统一的图示语言清晰地表达了它们的连接方式单元类型信息流动结构。其核心分类逻辑是“拓扑结构 + 单元类型” 的混合体系,这张图不是简单地按“任务”或“时间”分类,而是基于两个关键维度进行系统化组织:
🔹 1. 连接方式(Topology)

前馈 vs 反馈 vs 图结构 vs 混合
是否存在循环、跳跃、记忆等

🔹 2. 神经元/单元类型(Cell Type)

使用了哪些特殊单元?
    输入层、隐藏层、输出层
    神经元(圆圈)、记忆单元(蓝色)、脉冲神经元(三角)、卷积核(粉色)等

一、图中模型的完整列表与分类(共27种)

编号	名称	类别	特点说明
1	Perceptron (P)	基础前馈	单层感知机,最原始形式
2	Feed Forward (FF)	前馈	多层全连接,BP训练基础
3	Radial Basis Network (RBF)	前馈	使用径向基函数作为激活函数
4	Deep Feed Forward (DFF)	前馈	更深的MLP,多层堆叠
5	Recurrent Neural Network (RNN)	循环	存在反馈连接,适合序列
6	Long / Short Term Memory (LSTM)	循环	带门控的记忆单元
7	Gated Recurrent Unit (GRU)	循环	LSTM简化版,计算更高效
8	Auto Encoder (AE)	编码器	输入→编码→重构,用于降维
9	Variational AE (VAE)	编码器	概率生成模型,带高斯分布假设
10	Denoising AE (DAE)	编码器	输入加噪后重构,增强鲁棒性
11	Sparse AE (SAE)	编码器	强制稀疏表示,防止过拟合
12	Markov Chain (MC)	图结构	节点间马尔可夫依赖
13	Hopfield Network (HN)	反馈/联想记忆	全连接反馈网络,用于模式识别
14	Boltzmann Machine (BM)	图结构	随机能量模型,学习概率分布
15	Restricted BM (RBM)	图结构	受限玻尔兹曼机,只允许可见层与隐层连接
16	Deep Belief Network (DBN)	图结构	多层RBM堆叠,预训练深度网络
17	Deep Convolutional Network (DCN)	卷积	CNN结构,含卷积+池化
18	Deconvolutional Network (DN)	卷积	反卷积网络,常用于图像生成
19	Deep Convolutional Inverse Graphics Network (DCIGN)	卷积	从图像反推3D场景结构
20	Generative Adversarial Network (GAN)	对抗	生成器 vs 判别器,博弈式训练
21	Liquid State Machine (LSM)	脉冲神经网络	用脉冲神经元模拟大脑动态
22	Extreme Learning Machine (ELM)	前馈	输入层到隐藏层随机初始化,仅调输出层
23	Echo State Network (ESN)	循环	固定随机递归结构,只训练输出层
24	Deep Residual Network (DRN)	前馈	含残差连接,解决深层退化问题
25	Kohonen Network (KN)	自组织	自组织映射(SOM),无监督聚类
26	Support Vector Machine (SVM)	传统机器学习	虽非神经网络,但图中列为对比项
27	Neural Turing Machine (NTM)	记忆增强	结合神经网络与外部记忆矩阵

⚠️ 注意:第26项 SVM 并不是神经网络,但它被列在图中作为对照,说明作者意图是展示“类似结构的模型”。

二、颜色图例详解(关键理解工具)

图左侧的颜色图例定义了不同节点的含义:
颜色	符号	含义
🟡 圆圈	Backfed Input Cell	反馈输入单元(如RNN中的历史状态)
🟡 圆圈	Input Cell	输入层
△ 黄色	Noisy Input Cell	加噪输入
🟢 圆圈	Hidden Cell	普通隐藏层神经元
🟢 圆圈	Probabilistic Hidden Cell	概率型隐藏单元(如VAE)
△ 绿色	Spiking Hidden Cell	脉冲神经元(Spiking Neuron)
🔴 圆圈	Output Cell	输出层
🔴 圆圈	Match Input Output Cell	输入输出匹配(如自编码器)
🔵 圆圈	Recurrent Cell	循环单元(RNN/LSTM/GRU)
🔵 圆圈	Memory Cell	记忆单元(LSTM中的cell state)
🔵 三角	Different Memory Cell	不同记忆单元(如多个记忆模块)
💜 圆圈	Kernel	卷积核或池化操作
💜 圆圈	Convolution or Pool	卷积层或池化层

🧩 这些符号让读者能“看图识结构”,非常直观!

三、收录对象分类策略和划分逻辑

📌 这不是严格的学术分类,而是一种“结构+功能”的教学式枚举,其划分依据是:

拓扑结构(前馈、循环、图、卷积)
单元类型(普通神经元、记忆单元、脉冲神经元、卷积核)
是否引入新机制(注意力未出现,因2016年尚未普及)
是否属于主流或代表性模型(如CNN、RNN、GAN、DBN)

这张图之所以能列出27种,是因为它覆盖了以下几类重要方向:

分类维度	包含模型
基础前馈网络	P, FF, RBF, DFF, ELM
循环/反馈网络	RNN, LSTM, GRU, ESN, HN, LSM
编码器/生成模型	AE, VAE, DAE, SAE, GAN
图结构/概率模型	MC, BM, RBM, DBN, KN
卷积网络	DCN, DN, DCIGN
结构创新	DRN(残差)、NTM(记忆增强)
传统对比项	SVM(非神经网络,但结构相似)

✅ 它是一个面向教育和认知的综合性图谱,目标是帮助初学者建立对神经网络多样性的整体认识。

四、隐藏的"大佬" Transformer

众所周知,该图来源于《A mostly complete chart of Neural Networks》(2016,Fjodor van Veen),是 对2016年前神经网络架构的一次全面盘点,其划分标准是:

✅ 以“连接方式”为核心(前馈、循环、图、卷积)

✅ 以“单元类型”为辅助(记忆、脉冲、卷积、概率)

✅ 以“代表性模型”为目标(涵盖经典、前沿、实验性结构)

✅ 兼顾教学直观性(通过颜色和符号快速识别结构)

它不是完美的科学分类,而 Transformer 是 2017 年才提出的论文(Attention is All You Need)。所以它不可能包含 Transformer 或 BERT/GPT 等后续大模型。Transformer = 前馈网络 + 自注意力机制,若加入“注意力单元”符号,也可画出其结构。其神经网络的结构拓扑图可表示如下:
在这里插入图片描述
在这里插入图片描述

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值