NN_神经网络不同依据的分类方式

神经网络分类方式比较多，此处分别以‘‘网络结构（Network Architecture）’’和‘数据结构&归纳偏置‘’’两种方式分类神经网络。

一、网络结构：归纳偏置（Inductive Bias）+ 连接拓扑（Topology）

网络数据结构或更具体地说，“信息在神经网络中的流动方式与连接拓扑(Connectivity Pattern / Inductive Bias)”来划分。

模型	数据假设	连接方式（拓扑）	核心归纳偏置
MLP	输入是无结构的向量（如表格数据）	全连接（Fully Connected）	无结构先验，通用函数逼近器
CNN	输入具有局部空间/时间结构（如图像、语音）	局部连接 + 权值共享 + 平移不变性	局部性 + 平移不变性
RNN	输入是序列，当前输出依赖历史	时间维度上的循环连接	时间顺序依赖 + 状态记忆
GNN	输入是图结构（节点+边）	按图邻接关系聚合邻居信息	图结构平滑性 + 邻居相似性
Transformer	输入是集合或序列，任意元素可交互	全局自注意力 + 前馈网络	全局依赖建模 + 并行计算
Capsule Network（胶囊网络）	物体由部分组成，姿态（位置、旋转等）重要	动态路由（Dynamic Routing）替代池化	姿态等变性（equivariance），保留空间层级关系，用途：小样本图像识别、对抗扰动鲁棒性
Neural ODE（神经常微分方程）	系统状态连续演化（如物理系统、生物过程）	用常微分方程描述隐藏状态连续变化	连续时间动态系统。用途：时间序列建模、内存高效的深度网络
Memory-Augmented Networks（记忆增强网络NTM \ DNC）	任务需要外部记忆存储与读写	神经网络控制器 + 可微分外部记忆矩阵	算法式推理 + 显式记忆。用途：排序、复制、图遍历等算法任务
Spiking Neural Networks（脉冲神经网络, SNN）	模拟生物神经元的时序脉冲信号	事件驱动（event-based），非连续激活	时间编码 + 能效优先。用途：类脑计算、低功耗边缘设备
Autoencoder Variants（自编码器家族）	虽然结构上类似 MLP，但训练目标和连接对称性构成特殊类别：Denoising AE：输入加噪 → 重构干净输入；Variational AE (VAE)：隐层为概率分布；Graph AE：用于图结构重建。		数据可压缩性 + 表示瓶颈
Hybrid / Multi-Modal Architectures（混合架构）	代表：Vision Transformer (ViT)：将图像分块后用 Transformer 处理 → CNN + Transformer；ConvLSTM：在 LSTM 中引入卷积 → CNN + RNN；Graph Transformer：将注意力机制用于图 → GNN + Transformer		融合多种结构先验

二、按照数据结构和归纳偏置的方式分类

这些模型共同构成了现代深度学习的架构动物园（Architecture Zoo），而选择哪种架构，最终取决于你的数据具有什么结构。