37、原始递归函数下函数复杂度的不变性

原始递归函数下函数复杂度的不变性

在机器学习领域，我们常常致力于从采样数据点中学习潜在函数，以此对新的数据点进行预测。遗传编程（Genetic Programming，GP）作为一种搜索给定类型表示空间的方法，通常使用树结构来表示解决方案。但选择不同的函数集对 GP 的性能至关重要，下面我们来详细探讨相关内容。

1. 机器学习与函数表示

在众多机器学习任务中，我们的目标是根据采样数据点学习潜在函数，从而对新数据点进行预测。如果数据存在规律，就可以对其进行压缩，部分研究人员认为压缩观测数据等同于学习潜在函数。

为了实现函数回归，我们需要一种表示方式来表达目标函数，例如神经网络或多项式。模型的选择至关重要，通常会受到奥卡姆剃刀原则和最小描述长度等启发式方法的指导。选定表示方式后，还需确定模型的参数，如神经网络的权重或多项式的系数。在某些情况下，可以使用分析技术来完成这一任务，但当计算上难以处理时，就需要采用不同的方法。

2. 遗传编程与函数集选择

GP 是一种搜索给定类型表示空间的方法，解决方案通常以树结构表示，不过也会使用其他数据结构，如图形、森林等。函数集的选择对 GP 的性能有重要影响，例如我们可以选择不同的函数集，如 ${x, x^2, …x^n}$ 或 ${\sin(x), \sin(2x), …\sin(nx), … \cos(x), \cos(2x), …\cos(nx)}$。

下面我们分别介绍使用多项式和傅里叶级数来表示函数的情况：
- 多项式 ：给定一组数据点，我们可以用多项式来表示它们。$n$ 次多项式定义为 $f_{poly}^n(x) = a_0x^0 + a_1x^1 + … + a_{n - 1}x^{n - 1} + a_nx^n$，其中 $x$ 是变量，$a_i$ 是系数，部分系数可能为零。理想情况下，多项式应与数据紧密拟合，并能对未观测到的数据点提供良好的估计。但在拟合数据时，需要注意欠拟合和过拟合的问题。如果多项式过于简单，可能无法捕捉到潜在函数；如果过于灵活，则可能会过拟合数据并学习到噪声。一旦确定了多项式的类型，就需要计算 $a_0$ 和 $a_1$ 等系数，以使其最适合数据。然而，如何决定使用哪种模型来拟合数据仍是一个有待解决的问题。
- 傅里叶级数 ：除了使用多项式，我们还可以使用三角函数等不同的基来表示目标函数。在某些条件下，可以用三角函数多项式来近似函数 $f(x)$（假设周期为 $2\pi$），即 $f_{trig}^n(x) = a_0/2 + a_1\sin(1x) + b_1\cos(1x) + … + a_n\sin(nx) + b_n\cos(nx)$，其中 $\sin$ 和 $\cos$ 是三角函数，$x$ 是变量，$a_i$ 和 $b_i$ 是系数。这个和被称为 $n$ 次三角函数多项式。但使用不同的基来近似函数时，所需的系数数量可能会有很大差异，这会影响学习函数的难易程度。例如，使用三角函数基表示 $\sin$ 函数只需要一个系数，而使用多项式基则需要多个项，具体取决于近似的精度。

下面通过一个例子来说明不同基表示函数的差异：
假设我们要近似目标函数 $f(x) = 45\sin(x) + 67\cos(x)$，使用三角函数基时，这个函数很容易表达。但如果使用多项式基，则需要无限多项。我们可以将其展开为 $f(x) = 45(x - x^3/3! + x^5/5!…) + 67(1 - x^2/2! + x^4/4!…)$。在标准的基于树的 GP 中，我们无法表达这种规律性，需要引入递归才能表达。可以将其表示为：
$f(x) = 45s(x) + 67c(x)$，其中
$s(x) = \sum_{i = 0}^{n} x^{2i + 1}/(2i + 1)!$ 且 $c(x) = \sum_{i = 0}^{n} x^{2i}/(2i)!$
这样，我们就可以用有限大小的表达式在多项式基中表达函数 $f$，从而具备了表达迭代的能力。通过这种方式，一种基中能表达的任何规律性，在另一种基中也能以定义从一种基到另一种基转换函数的恒定成本来表达。

3. 递归表示的发展

一些研究人员已经将递归引入到他们的表示中，这些表示能够表达更广泛的函数类，例如原始递归函数（PRFs）。以下是一些相关的研究工作：
|研究者|研究内容|
| ---- | ---- |
|Cramer|开发了一种语言 PL，其中包含 INC、ZERO、LOOP 和 GOTO 等指令。去掉 GOTO 指令后的子集 PL - {GOTO} 等同于 PRFs，并且用这种语言编写的程序保证会终止。|
|Brave|使用 ADFs 和受限形式的递归演化程序，研究了 GP 在有和没有递归及 ADFs 的程序中的可扩展性。结果表明，随着问题规模的增加，使用带有递归的 ADFs 寻找解决方案的努力保持不变，而基本 GP 则呈线性增长。|
|Koza|使用 Do Until 运算符（DU (work) (predicate)）探索迭代，解决了一个块堆叠问题。|
|Yu|采用一种新颖的方法演化模块化递归程序，引入了隐式递归，将终止条件纳入表达式中，确保计算总是终止，并解决了偶数 $n$ 方问题。|
|Spector|引入了一种新语言，并认识到将重复代码收集到子程序中以便多次使用的重要性。为避免非终止递归代码的问题，对计算设置了最大运行时间。|

这些研究表明，对于用上述任何一种表示表示的函数，其复杂度的差异最多为一个常数，该常数取决于表示方式而非函数本身。

4. 递归函数的基础

递归函数是可计算函数的一类，理解递归函数理论有助于更好地理解图灵等价表示的演化。递归函数可以通过三个基本操作和三个元函数来表达：
- 基本操作 ：
- 后继操作 ：将数字 $n$ 映射到 $n + 1$，即 $S(n) = n + 1$。
- 零操作 ：将数字 $n$ 映射到 $0$，即 $Z(n) = 0$。
- 投影操作 ：给定 $n$ 个数字的列表和一个整数 $i$，返回列表中的第 $i$ 个数字，即 $P_i(x_1, …, x_n) = x_i$，其中 $1 \leq i \leq n$。
- 元函数 ：
- 组合 ：也称为替换，是创建新函数的一种方式。给定函数 $f(x)$ 和 $g(x)$，可以通过组合构造新函数 $h(x) = f(g(x))$。在 GP 中，组合对应于自动定义函数（ADFs）。需要注意的是，在标准 GP 中，每次需要函数 $h(x) = f(g(x))$ 时都必须重新定义，而如果有 ADFs，则可以定义一次并在需要时调用。
- 递归 ：给定函数 $f(x)$ 和 $g(x, y, z)$，可以构造新函数 $h(x, y)$，其中 $h(x, 0) = f(x)$ 为基本情况，$h(x, y + 1) = g(x, y, h(x, y))$ 为递归情况。递归总函数会得到总函数。
- 最小化 ：给定函数 $f(x, y)$，函数 $\mu y(f(x, y) = 0)$ 定义为最小的 $y$，使得对于所有 $z \leq y$，$f(x, z)$ 都有定义，且 $f(x, y) = 0$。否则，如果不存在这样的 $y$，则该函数无定义。最小化操作会导致部分函数，对应于非终止程序。

5. 相关定义

在证明函数复杂度的不变性之前，需要明确一些定义：
- 终端集 ：终端集 $t$ 是程序的输入集，通常是问题变量和/或常量。
- 函数集 ：函数集 $f$ 是 GP 用于构建更复杂函数的基本函数。在这个集合中，我们假设存在两个元函数：组合 $C$ 和递归 $R$。
- 原始集 ：原始集 $p$ 是函数集 $f$ 和终端集 $t$ 的并集，即 $p = t \cup f$。
- 大小 ：PRF 表示实例的大小是其包含的节点数。
- 等价表达性 ：如果两个原始集可以用有限大小表达相同的函数集，则它们是等价表达的。
- 字典 ：字典是一组 PRFs，用于用 $p_1$ 表达 $p_2$ 中的每个成员。字典的大小必须是有限的。
- 复杂度 ：函数相对于 PRF 表示的复杂度是能够表示该函数的最小 PRF 的大小。函数 $f$ 相对于 PRF 原始集 $p$ 的复杂度记为 $C_p(f)$。
- 字典复杂度 ：字典 $D_{p_1, p_2}$ 的复杂度是用原始集 $p_1$ 的 PRF 表达函数集 $p_2$ 的最小字典的大小，记为 $K_{p_1, p_2}$。一般来说，$K_{p_1, p_2} \neq K_{p_2, p_1}$。
- 原始集翻译 ：给定用一个原始集 $p_1$ 表达的函数，我们可以用第二个原始集 $p_2$ 表达相同的函数。将函数重新用 $p_2$ 表达的过程称为从 $p_1$ 到 $p_2$ 的原始集翻译。

下面是这些定义的关系图：

graph LR
    A[终端集 t] --> C[原始集 p]
    B[函数集 f] --> C[原始集 p]
    C --> D[大小]
    C --> E[等价表达性]
    E --> F[字典]
    C --> G[复杂度 Cp(f)]
    F --> H[字典复杂度 Kp1,p2]
    C --> I[原始集翻译]

6. 定理与证明

接下来我们将证明三个关于使用 PRF 表示时函数复杂度的定理：
- 定理 1（复杂度） ：在 PRF 表示下，函数的复杂度在原始集翻译时是不变的，误差在一个常数 $K_{p_1, p_2}$（字典 $D_{p_1, p_2}$ 的复杂度）范围内，前提是原始集是等价表达的。即 $C_{p_2}(f) \leq C_{p_1}(f) + K_{p_1, p_2}$。
- 证明 ：假设我们有两个原始集 $p_1 = {f_1, f_2, …f_n, C_1, R_1}$ 和 $p_2 = {g_1, g_2, …g_m, C_2, R_2}$，其中 $C_1$ 和 $C_2$ 是表达组合的方法，$R_1$ 和 $R_2$ 是表达递归的方法。如果 $p_1$ 和 $p_2$ 是等价表达的，那么字典 $D_{p_1, p_2}$ 和 $D_{p_2, p_1}$ 都存在。我们可以用一个原始集的函数模拟另一个原始集的函数。因此，${f_i}$ 中的每个函数都可以用原始集 $p_2$ 表示，${g_j}$ 中的每个函数都可以用原始集 $p_1$ 表示。只要组合是两个原始集的成员，我们就可以构造一个原始函数并在需要时引用它。
- 定理 2（最紧边界） ：$K_{p_1, p_2}$ 是我们可以在定理 1 中放置的常数的最小边界。
- 证明 ：某些函数可能不依赖于给定原始集中的所有原始函数，因此这些原始函数不需要翻译，也不需要包含在字典中。但在最坏的情况下，所有原始函数都需要翻译，并且需要完整的字典。因此，最小边界的大小是字典的复杂度（即翻译所有原始函数的最小字典的大小）。
- 定理 3（下界） ：定理 1 给出了一个上界，我们可以重新排列这个方程以得到复杂度的下界：$C_{p_2}(f) \geq C_{p_1}(f) - K_{p_2, p_1}$。
- 证明 ：考虑从原始集 $p_2$ 到原始集 $p_1$ 的翻译，得到方程 $C_{p_1}(f) \leq C_{p_2}(f) + K_{p_2, p_1}$。重新排列这个方程得到 $C_{p_1}(f) - K_{p_2, p_1} \leq C_{p_2}(f)$。通过与上述相同的论证，我们可以说这是最紧的下界。

可以将上述结果组合成一个表达式：$C_{p_1}(f) - K_{p_2, p_1} \leq C_{p_2}(f) \leq C_{p_1}(f) + K_{p_1, p_2}$，并表明这些边界是可以获得的最紧边界。

综上所述，在使用 PRF 表示时，函数的复杂度在原始集翻译时是不变的，误差在一个常数范围内。这一结果对于理解和应用 GP 以及递归函数具有重要意义。

原始递归函数下函数复杂度的不变性

7. 复杂度不变性的实际意义

函数复杂度在原始递归函数表示下的不变性具有重要的实际意义，它为我们在机器学习和遗传编程中选择合适的表示方式提供了理论支持。以下是几个具体的方面：
- 表示选择的灵活性 ：由于复杂度在等价表达的原始集之间是不变的，我们在选择函数集和终端集时具有更大的灵活性。可以根据具体问题的特点和需求，选择最适合的原始集，而不必担心函数复杂度会因为原始集的改变而发生显著变化。
- 算法的通用性 ：这种不变性使得基于原始递归函数的算法具有更好的通用性。无论使用哪种等价表达的原始集，算法都可以有效地处理函数的表示和计算，提高了算法的可移植性和适应性。
- 减少冗余计算 ：在进行函数表示和计算时，我们可以根据需要在不同的原始集之间进行转换，而不会增加过多的复杂度。这有助于减少冗余计算，提高计算效率。

为了更直观地理解这些意义，我们可以通过一个简单的流程图来展示函数在不同原始集之间的转换过程：

graph LR
    A[原始集 p1 表示的函数 f] --> B{是否需要转换}
    B -- 是 --> C[查找字典 Dp1,p2]
    C --> D[使用字典进行转换]
    D --> E[得到原始集 p2 表示的函数 f]
    B -- 否 --> A

8. 复杂度边界的应用

定理 1、定理 2 和定理 3 给出的复杂度边界在实际应用中也具有重要作用，以下是一些具体的应用场景：
- 复杂度估计 ：在进行函数表示和计算时，我们可以根据已知的复杂度边界来估计函数在不同原始集下的复杂度。这有助于我们在设计算法和选择表示方式时，对计算资源和时间成本进行合理的预估。
- 算法优化 ：通过了解复杂度的上下界，我们可以对算法进行优化。例如，在选择原始集时，我们可以尽量选择使得复杂度接近下界的原始集，从而减少计算量。
- 问题求解 ：在解决一些复杂的问题时，我们可以利用复杂度边界来判断问题的难度和可行性。如果问题的复杂度超出了我们的计算能力，我们可以考虑采用其他方法或对问题进行简化。

以下是一个简单的表格，总结了复杂度边界的应用场景：
|应用场景|具体操作|
| ---- | ---- |
|复杂度估计|根据已知的 Cp1(f)、Kp1,p2 和 Kp2,p1，估计 Cp2(f) 的范围。|
|算法优化|选择使得 Cp2(f) 接近下界的原始集 p2。|
|问题求解|判断问题的复杂度是否在可接受范围内，决定是否采用当前方法或简化问题。|

9. 递归与表示能力的提升

递归在函数表示中起着关键作用，它使得我们能够表达更复杂的函数和规律。通过引入递归，我们可以将原本需要无限多项才能表达的函数，用有限大小的表达式来表示。例如，在前面的例子中，我们将函数 $f(x) = 45\sin(x) + 67\cos(x)$ 用多项式基表示时，通过递归的方式将其表示为 $f(x) = 45s(x) + 67c(x)$，其中 $s(x) = \sum_{i = 0}^{n} x^{2i + 1}/(2i + 1)!$ 且 $c(x) = \sum_{i = 0}^{n} x^{2i}/(2i)!$，从而实现了在多项式基中对该函数的有限表达。

递归的引入还提升了不同基之间的表达能力。一种基中能表达的任何规律性，在另一种基中也能以定义从一种基到另一种基转换函数的恒定成本来表达。这使得我们在选择函数表示的基时更加灵活，能够根据具体问题的特点选择最合适的基。

为了更好地理解递归的作用，我们可以通过一个列表来总结递归带来的优势：
1. 表达复杂规律 ：能够表达原本需要无限多项才能表达的函数和规律。
2. 提升不同基之间的表达能力 ：使得不同基之间的转换更加容易，提高了表示的灵活性。
3. 减少表达复杂度 ：用有限大小的表达式表示复杂函数，减少了表达的复杂度。

10. 未来研究方向

虽然我们已经证明了在原始递归函数表示下函数复杂度的不变性和复杂度边界，但仍有许多研究方向值得探索：
- 更广泛的函数类 ：目前的研究主要集中在原始递归函数类，未来可以考虑将研究扩展到更广泛的函数类，如部分递归函数等。
- 动态环境下的复杂度 ：在实际应用中，数据和问题可能是动态变化的。未来的研究可以考虑在动态环境下函数复杂度的变化规律和处理方法。
- 与其他技术的结合 ：可以探索将原始递归函数与其他机器学习技术，如深度学习、强化学习等相结合，以提高算法的性能和应用范围。

以下是一个简单的流程图，展示了未来研究方向的探索过程：

graph LR
    A[现有研究成果] --> B{选择研究方向}
    B -- 更广泛的函数类 --> C[研究部分递归函数等]
    B -- 动态环境下的复杂度 --> D[分析动态环境下的复杂度变化]
    B -- 与其他技术的结合 --> E[探索与深度学习等技术的结合]
    C --> F[得出新的研究成果]
    D --> F
    E --> F

11. 总结

本文主要探讨了原始递归函数下函数复杂度的不变性，以及相关的定理和证明。我们首先介绍了机器学习和遗传编程中函数表示的重要性，以及不同函数集和基的选择对函数表达的影响。接着，我们回顾了递归表示的发展，以及递归函数的基础和相关定义。然后，我们证明了函数复杂度在等价表达的原始集之间是不变的，并给出了复杂度的上下界。最后，我们讨论了复杂度不变性和边界的实际意义和应用，以及未来的研究方向。

通过本文的研究，我们可以得出以下结论：
- 函数复杂度在原始递归函数表示下的不变性为我们在机器学习和遗传编程中选择合适的表示方式提供了理论支持。
- 复杂度边界的应用有助于我们进行复杂度估计、算法优化和问题求解。
- 递归的引入提升了函数的表达能力和不同基之间的转换能力。
- 未来的研究方向包括扩展到更广泛的函数类、研究动态环境下的复杂度和与其他技术的结合。

希望本文的研究能够为相关领域的研究和应用提供有益的参考和启示。