算法设计与分析是计算机科学的核心内容，旨在通过系统化的方法解决计算问题，并评估算法的时间和空间效率

算法设计与分析是计算机科学的核心内容，旨在通过系统化的方法解决计算问题，并评估算法的时间和空间效率。常见的经典算法设计策略包括分治法、动态规划、贪心算法、回溯法、分支限界等。以下是几种典型方法的原理、应用场景及示例。

---

1. 分治法（Divide and Conquer）

基本思想：将原问题分解为若干个规模较小的子问题，递归求解，再将子问题的解合并得到原问题的解。

三步过程：

• 分解：将问题划分为若干子问题。
• 解决：递归处理子问题（边界条件直接求解）。
• 合并：组合子问题结果。

经典应用：

• 快速排序：选择基准分割数组，递归排序两部分。
• 归并排序：将数组对半分，排序后合并有序序列。
• 二分查找：在有序数组中不断缩小搜索范围。
• 大整数乘法（如Karatsuba算法）

时间复杂度分析：常使用主定理（Master Theorem）求解递推式 $ T(n) = aT(n/b) + f(n) $

---

2. 动态规划（Dynamic Programming, DP）

基本思想：适用于具有重叠子问题和最优子结构的问题。通过保存子问题解避免重复计算，通常用表格存储中间结果。

关键特征：

• 最优子结构：全局最优包含局部最优。
• 重叠子问题：同一子问题多次出现。

两种实现方式：

• 自顶向下（记忆化搜索）
• 自底向上（填表法）

经典应用：

• 斐波那契数列（优化递归）
• 背包问题（0/1背包、完全背包）
• 最长公共子序列（LCS）
• 最短路径（Floyd-Warshall算法）
• 矩阵链乘法

# 示例：0/1背包问题（动态规划）
def knapsack(W, wt, val, n):
    dp = [[0 for _ in range(W + 1)] for _ in range(n + 1)]
    for i in range(1, n + 1):
        for w in range(1, W + 1):
            if wt[i - 1] <= w:
                dp[i][w] = max(val[i - 1] + dp[i - 1][w - wt[i - 1]], dp[i - 1][w])
            else:
                dp[i][w] = dp[i - 1][w]
    return dp[n][W]

---

3. 贪心算法（Greedy Algorithm）

基本思想：每一步都做出当前看起来最优的选择，希望最终得到全局最优解。

适用条件：

• 贪心选择性质：局部最优能导致全局最优。
• 最优子结构。

经典应用：

• 活动选择问题（按结束时间排序）
• 哈夫曼编码（构建最优前缀码）
• Prim 和 Kruskal 算法（最小生成树）
• Dijkstra 算法（单源最短路径）

⚠️ 注意：贪心不一定总能得到最优解（如0/1背包问题不适用贪心）。

---

4. 回溯法（Backtracking）

基本思想：系统地搜索所有可能解，尝试构造解路径，一旦发现当前路径无法成功则“回退”。

特点：深度优先搜索 + 剪枝优化。

经典应用：

• N皇后问题
• 图的着色问题
• 子集和问题
• 数独求解

---

5. 分支限界法（Branch and Bound）

类似回溯，但采用广度优先或优先队列方式探索状态空间，利用界限函数剪去不可能产生最优解的分支。

应用：

• 旅行商问题（TSP）
• 分配问题

---

算法分析重点：

• 时间复杂度：衡量执行时间随输入增长的变化（如 O(n), O(n²), O(log n)）
• 空间复杂度：所需内存大小
• 使用渐近符号：O（上界）、Ω（下界）、Θ（紧确界）

---

掌握这些算法设计范式有助于针对不同问题选择合适策略，并通过数学分析验证其效率与正确性。

主定理（Master Theorem）是用于快速分析分治算法递归式时间复杂度的重要工具，特别适用于形如以下形式的递推关系：

$$T(n)=aT\left(\frac{n}{b}\right)+f(n)$$

其中：

• $ n $：问题规模；
• $ a \geq 1 $：子问题个数（递归调用次数）；
• $ b > 1 $：每个子问题的规模缩小因子（即原问题被分成 $ n/b $ 大小的子问题）；
• $ f(n) $：分解问题和合并结果所需的代价（非递归部分）。

---

主定理的三种情况

根据 $ f(n) $ 与 $ n^{\log_b a} $ 的相对增长速度，分为以下三类：

情况 1：如果 $ f(n) = O(n^c) $，且 $ c < \log_b a $

即非递归部分的增长慢于子问题处理的总和。

则：
$$T(n)=\Theta (n^{{\log }_{b}a})$$

✅ 例子：归并排序

• $ T(n) = 2T(n/2) + O(n) $
• $ a=2, b=2 \Rightarrow \log_2 2 = 1 $
• $ f(n) = n = \Theta(n^1) $，正好等于 $ n^{\log_b a} $

⚠️ 不属于情况1（需看情况3或精确匹配），应使用情况2。

---

情况 2：如果 $ f(n) = \Theta(n^{\log_b a} \log^k n) $，通常 $ k=0 $ 时 $ f(n) = \Theta(n^{\log_b a}) $

即非递归代价与子问题处理代价相当。

则：
$$T(n)=\Theta (n^{{\log }_{b}a}{\log }^{k+1}n)$$
当 $ k=0 $，简化为：
$$T(n)=\Theta (n^{{\log }_{b}a}\log n)$$

✅ 例子：归并排序（再次分析）

• $ T(n) = 2T(n/2) + \Theta(n) $
• $ \log_2 2 = 1 $，$ f(n) = n = \Theta(n^1) $ → 符合情况2（$k=0$）
• 所以 $ T(n) = \Theta(n \log n) $

✅ 例子：快速幂（某些实现）

---

情况 3：如果 $ f(n) = \Omega(n^c) $，且 $ c > \log_b a $，并且满足正则条件（regularity condition）：

存在常数 $ \epsilon > 0 $，使得：
$$af\left(\frac{n}{b}\right)\le kf(n),\text{对某个 }k<1\text{ 且所有足够大的 }n$$

则：
$$T(n)=\Theta (f(n))$$

✅ 例子：Strassen矩阵乘法

• $ T(n) = 7T(n/2) + O(n^2) $
• $ a=7, b=2 \Rightarrow \log_2 7 \approx 2.807 $
• $ f(n)=n^2 $，而 $ 2 < 2.807 $ → 实际上不满足情况3！而是情况1！

❌ 常见误解：认为 Strassen 是情况3 —— 其实它是情况1，因为 $ f(n)=n^2 = O(n^{2.807 - \epsilon}) $

✅ 正确的情况3示例：

• $ T(n) = 2T(n/2) + n^2 $
• $ \log_2 2 = 1 $，$ f(n)=n^2 $，明显 $ n^2 $ 比 $ n^1 $ 增长得快
• 满足正则条件：$ 2(n/2)^2 = 2 \cdot n^2/4 = n^2/2 \leq 0.6n^2 $
• 所以 $ T(n) = \Theta(n^2) $

---

📌 总结表格

情况	条件	时间复杂度
1	$ f(n) = O(n^{\log_b a - \epsilon}) $，$ \epsilon > 0 $	$ \Theta(n^{\log_b a}) $
2	$ f(n) = \Theta(n^{\log_b a} \log^k n) $	$ \Theta(n^{\log_b a} \log^{k+1} n) $
3	$ f(n) = \Omega(n^{\log_b a + \epsilon}) $，且满足正则条件	$ \Theta(f(n)) $

---

注意事项：

• 主定理仅适用于上述标准形式的递推式。
• 若递推式不符合该形式（如 $ T(n) = T(n-1) + n $），不能使用主定理，需用代入法、递归树法等。
• 有些变体可用主方法扩展版本（如 Akra-Bazzi 方法）处理更一般情况。

掌握主定理可以极大提升对分治算法效率的分析能力，是算法设计中的必备技能。