长文阅读】MAMBA作者博士论文＜MODELING SEQUENCES WITH STRUCTURED STATE SPACES＞-Chapter4 HIPPO

Chapter 4 HIPPO: Continuous Memory with Optimal Polynomial Projections

Gu A. Modeling Sequences with Structured State Spaces[D]. Stanford University, 2023.

本文是MAMBA作者的博士毕业论文，为了理清楚MAMBA专门花时间拜读这篇长达330页的博士论文，由于知识水平有限，只能尽自己所能概述记录，并适当补充一些相关数学背景，欢迎探讨与批评指正。内容多，分章节更新以免凌乱。

本章主要讨论了一种名为HIPPO（High-order Polynomial Projection Operators）的框架，用于处理序列数据中的记忆问题。HIPPO通过在线函数近似来处理记忆，将函数的最佳系数存储为基函数的形式。这种方法特别强调正交多项式的使用，因为它们的最佳系数可以闭式表示。此外，该框架利用不同的度量来生成适应不同时间尺度的序列数据处理方法，并提供理论保证。文章还展示了HIPPO框架在处理长期依赖性、计算效率、梯度流动和近似误差方面的理论和实验优势。总的来说，这部分内容深入探讨了记忆表示问题，并提出了一种新的方法来有效处理复杂的时间序列数据。

备注 ：为了强调与 SSM 的独立性，本章的材料使用不同的符号：使用 $f(t)$ 表示输入函数， 代替 $u(t)$ 表示输入。使用 $c(t)$表示“多项式系数”的状态，这是最初发表的 HIPPO 论文中的注释。

4.1 Introduction

本节讨论了顺序数据建模和学习的基本问题，这些问题包括语言建模、语音识别、视频处理和强化学习。核心是如何建立长期复杂时间依赖的模型，即如何存储和整合过去时间步骤的信息。传统方法是模拟随时间演变的状态。长距离依赖建模的核心问题是如何通过有限的memory来尽可能记住之前所有的历史信息。当前的主流序列建模模型（即Transformer和RNN) 存在着普遍的遗忘问题。

• fixed-size context windows: Transformer的window size通常是有限的，一般来说quadratic的attention最多建模到大约10k的token就到计算极限了
• vanishing gradient: RNN通过hidden state来存储历史信息，理论上能记住之前所有内容，但实际上的effective memory大概是<1k个token的level，可能的原因是gradient vanishing

4.2 High-order Polynomial Projection Operators

这部分内容其实就是NIPS’2020论文：HiPPO: Recurrent Memory with Optimal Polynomial Projections的一部分。

第4.2节“高阶多项式投影算子”（High-order Polynomial Projection Operators）中，介绍了在线函数近似问题的概念和HIPPO框架的总体思路。这一部分详细讨论了如何使用多项式基函数来近似一个函数，并在不同时间点维护这个近似的最优系数。文档描述了HIPPO框架的技术细节，包括如何选择适当的基函数集合和度量，以及如何使用这些基函数来优化近似过程。此外，还探讨了将这种连续时间的思想转化为实际应用中的离散时间版本的方法。最后，展示了如何将HIPPO框架应用于RNN中的记忆机制，提供了关于不同度量和优化策略的深入分析，并讨论了这种方法的理论保证和实际应用效果。

4.2.1 HIPPO Problem Setup

为了了解迄今为止所看到的输入并做出未来的预测，由于函数空间极其庞大，历史无法完美记忆，必须进行压缩；论文提出将其投影到有界维子空间的一般方法。因此，目标是（在线）维护历史的压缩表示。为了充分说明这个问题，需要两个要素：量化近似的方法和合适的子空间。

问题

考虑一个一维函数，我们能否用一个固定大小的representation $c(t)\in {\mathbb{R}}^N$ 来最优拟合 $f$ 在$[0,t]$(后面记作 $f_{\le t}$) 的曲线？ 并且随着$t$的增加，例如从 $t_1$ 到 $t_2$ ，我们可以在线的根据 $c\left(t_1\right)$ 求$c\left(t_2\right)$ 来拟合 $f_{\le t_2}$ ？

如何判断拟合的质量

我们需要一个测度(measure)来判定拟合出来的连续函数和原来的连续函数的相似度 （ in other words, how much we care about every time in the past，对不同的time step $x$有着一个权重 $\mu (x)$ ）。 每个measure都需要在函数空间里定义一个距离， 即定义函数的内积：$⟨f,g{⟩}_{\mu }={\int }_0^{\infty }f(x)g(x)\mathrm{d}\mu (x)$

如何用N维向量来编码 $f_{\le t}$

假设一组多项式正交基 G={ gn}n<N\mathcal{G}=\left\{g_{n}\right\}_{n<N}G={ gn​}n<N​ 满足${⟨g_i,g_j⟩}_{\mu }=0$（注意到正交基是由测度$\mu$决定的，不同的 $\mu$ 对应