Mamba系列日积月累（一）：状态空间模型SSM的离散化过程推导

本文首发于： Mamba系列日积月累（一）：状态空间模型SSM的离散化过程推导

最近Mamba系列（Mamba、VMamba、Vision Mamba）比较火，在同样具备高效长距离建模能力的情况下，Transformer具有平方级计算复杂度，而Mamba架构则是线性级计算复杂度，并且推理速度更快。

秉承着公众号科研的思路扩展视野的思路，笔者觉得需要学习一下相关内容，于是挑选了目前较新的VMamba论文，准备开始学习。由于缺乏之前的基础知识储备，Preliminaries里面的状态空间模型及其离散化过程直接给我干蒙，想着不能出师未捷身先死，于是决定搜索相关资料，把这个过程弄明白，不过由于本人水平有限，如果内容存在错误，希望大家能给出指导进行纠正。

1. 背景基础知识

1.1 什么是状态空间模型（State Space Model，SSM）？

状态空间模型（State Space Model，简称SSM）是一种数学模型，用于描述和分析动态系统的行为。这种模型在多个领域都有应用，包括控制理论、信号处理、经济学和机器学习等。在深度学习领域，状态空间模型被用来处理序列数据，如时间序列分析、自然语言处理（NLP）和视频理解等。通过将序列数据映射到状态空间，可以更好地捕捉数据中的长期依赖关系。

状态空间模型的核心思想是将系统的当前状态（state）$x(t)\in {\mathbb{R}}^n$与输入（input）$u(t)\in {\mathbb{R}}^p$和输出（output）$y(t)\in {\mathbb{R}}^q$之间的关系用一组方程来表示：
$$\begin{array}{rl}& \dot{x}(t)=A(t)x(t)+B(t)u(t)\\ & y(t)=C(t)x(t)+D(t)u(t)\end{array}\text{\hspace{1em}(1)}$$

1. 状态方程（State Equation）：描述系统状态随时间的演变。状态方程通常包含当前状态和输入，以及可能的系统参数。数学上，状态方程可以表示为： $\dot{x}(t)=A(t)x(t)+B(t)u(t)$， 其中，$x(t)$是在时间步 $t$ 的系统状态，$\dot{x}(t)$是状态向量$x(t)$关于时间 $t$的导数，$u(t)$ 是在时间步 $t$的输入，$A(t)$是状态转移矩阵，$\dim [A(\cdot )]=n\times n$，$B$ 是输入矩阵，$\dim [B(\cdot )]=n\times p$。
2. 观测方程（Observation Equation）：描述系统输出与状态之间的关系。观测方程允许我们从系统的输出中观察到系统的状态。数学上，观测方程可以表示为： $y(t)=C(t)x(t)+D(t)u(t)$ 其中，$y(t)$ 是在时间步 $t$ 的系统输出，$C(t)$是观测矩阵，$\dim [C(\cdot )]=q\times n$，$D(t)$ 是前馈矩阵，$\dim [D(\cdot )]=q\times p$。

当式(1)中的所有矩阵均随着时间$t$而变化时，此时所表示的线性时变系统，而当所有矩阵都不随时间$t$​变化时，此时表示的是线性非时变系统，在Mamba系列中，实际上是线性非时变系统 经Shom指出，在Mamba之前的SSM才是线性非时变系统，后续在Mamba中，相关矩阵不再是固定不变的，从而变成线性时变系统，这里的推导过程主要还是基于线性非时变系统：
$$\begin{array}{rl}& \dot{x}(t)=Ax(t)+Bu(t)\\ & y(t)=Cx(t)+Du(t)\end{array}\text{\hspace{1em}(2)}$$

1.2 什么是离散化（Discretization）？

离散化（Discretization）是将连续的数学对象或过程转换为离散形式的过程。在不同的领域中，离散化有着不同的应用和含义，但核心思想是一致的：将连续的变量或函数映射到有限的、离散的集合中。这个过程在数学、工程、计算机科学和许多其他领域中都非常常见。

<