数据结构与算法分析——数学基础(为之后的算法分析打基础)

✅ 参加夏令营做的笔记

个人简介：南京邮电大学，计算机科学与技术，2019级在读本科
兴趣领域：数据结构、计算机图形学、深度学习、图像处理

---

---

一、数学知识复习

1.1 指数

① 指数的乘法：$X^A{X}^B=X^{A+B}$

② 指数的除法：$\frac{X^A}{X^B}=X^{A-B}$

③ 指数的指数：$(X^A{)}^B=X^{AB}$

④ 指数的加法：$X^N+X^N=2X^N\ne X^{2N}$

---

1.2 对数

● 在计算机科学中，除非有特别的声明，所有的对数都是以 2 为底的。

● 定义： 当且仅当 $lo{g}_{X}B=A,X^A=B$

● 定理： $$lo{g}_{A}B=\frac{lo{g}_{C}B}{lo{g}_{C}A}$$

◆ 证明： 令 $X=lo{g}_{A}B$，$Y=lo{g}_{C}B$，$Z=lo{g}_{C}A$，那么根据 “对数的定义” 可知，$A^X=B,C^Y=B,C^Z=A$，显然 $(C^Z{)}^X=A^X=B=C^Y$，故 $ZX=Y$，这就代表 $X=\frac{Y}{Z}$，得证。

● 定理： $$logAB=logA+logB$$

◆ 证明： 令 $X=logAB,Y=logA,Z=logB$，那么根据 “对数的定义” 可知：$2^X=AB,2^Y=A,2^Z=B$，显然，$2^Y\times 2^Z=2^{Y+Z}=AB=2^X$，故 $X=Y+Z$，得证。

● 其他一些有用的公式如下，也可以用类似的方法推导：
  ① $logA/B=logA-logB$

  ② $log(A^B)=BlogA$

  ③ $logX<X$ (对所有 X>0 成立)

  ④ $log1=0,log2=1,log1024=10,log1048576=20$

● 虽然这些公式再基础不过了，都是高中所学的。但是对于以后复杂的数学推导，是和上面所用的推导方法类似的。

◆ 比如这里再证明一下第 ② 个公式：
  首先，我们需要先证明 <1> $X^{lo{g}_{X}Y}=Y$。令 <2> $lo{g}_{X}Y=A$ ，则 <3> $X^A=Y$，再将 <2> 带入 <3> 可得 $Y=X^A=X^{lo{g}_{X}Y}$，即 $Y=X^{lo{g}_{X}Y}$ (X>0)。
  接着就可以用 <1> 来证明 ② 了。令 <4> $X=A^B$，则 $X=(2^{logA}{)}^B$，变换一下 $X=2^{(logA\times B)}$，再变换一下 $X=2^{BlogA}$，两边去对数得 $logX=BlogA$，再把 <4> 代入得 $log(A^B)=BlogA$。

---

1.3 级数

● 在复习级数之前，可能大家对高中所学习的 “等差数列、等比数列” 所有遗忘了。

● 比如，你还记得 “等比数列的通项公式”、“等比数列的求和公式” 吗？

● 等差数列：是常见数列的一种，如果一个数列从第二项起，每一项与它的前一项的差等于同一个常数，这个数列就叫做等差数列，而这个常数叫做等差数列的公差，公差常用字母 $d$ 表示。例如：1,3,5,7,9……（2n-1)。等差数列 $a_n$ 的通项公式为：$a_n=a_1+(n-1)d$。前 $n$ 项和公式为：$S_n=n{a}_1+n(n-1)d/2$ 或 $S_n=n(a_1+a_n)/2$。注意：以上都是整数。

● 等比数列：是指从第二项起，每一项与它的前一项的比值等于同一个常数的一种数列。这个常数叫做等比数列的公比，公比通常用字母 $q$ 表示 $(q\ne 0)$，等比数列 $a_1\ne 0$。其中 $a_n$ 中的每一项均不为 $0$。注：$q=1$ 时，$a_n$ 为常数列。等比数列 $a_n$ 的通项公式为：$a_n=a_1{q}^{n-1}$。前 $n$ 项和公式为：$S_n=a_1\frac{1-q^n}{1-q}$。

● 对于等比数列的求和公式还记得是怎么推导的吗？

◆ 证明：假设 $S_n=a_1+a_{1}q+a_1{q}^2+...+a_1{q}^n-1$，那么 $q{S}_n=a_{1}q+a_1{q}^2+a_1{q}^3+...+a_1{q}^n$，后者减去前者可得 $(q-1)S_n=a_1{q}^n-a1$，变换一下可得：$S_n=a_1\frac{1-q^n}{1-q}$

● 几何级数公式：

● 关于级数，最容易记忆的公式：${\sum }_{i=0}^N{2}^i=2^{N+1}-1$ 和 ${\sum }_{i=0}^N{A}^i=\frac{A^{N+1}-1}{A-1}$。在第二个公式中，如果 0 < A < 1，则 ${\sum }_{i=0}^N{A}^i\le \frac{1}{1-A}$，当 $N$ 趋于 $\infty$ 时，该和趋向于 $\frac{1}{1-A}$，这些公式是基本的 “几何级数” 的公式。

● 如何推导关于 ${\sum }_{i=0}^{\infty }{A}^i(0＜A＜1)$ 的求和公式：

● 令 $S$ 表示和，则此时 $S=1+A+A^2+A^3+...$，显然 $AS=A+A^2+A^3+A^4+...$，将两式错位相减(这种运算只能对收敛级数进行)，等号右边所有项均消掉，只留下 1 ：$$S-AS=1$$于是乎：$$S=\frac{1}{1-A}$$

● 可以用相同的方法求 ${\sum }_{i=1}^{\infty }\frac{i}{2^i}(0＜A＜1)$，它是一个经常出现的和：$$S=\frac{1}{2}+\frac{2}{2^2}+\frac{3}{2^3}+\frac{4}{2^4}+...$$对其乘以一个2得：$$2S=1+\frac{2}{2}+\frac{3}{2^2}+\frac{4}{2^3}+...$$错位相减得：$$S=1+\frac{1}{2}+\frac{1}{2^2}+\frac{1}{2^3}+\frac{1}{2^4}+...$$显然 $S=2$。

● 分析中另一种常用类型的级数是算术级数。任何这样的级数都可以通过基本公式计算其值：$$\sum _{i=1}^{N}i=\frac{N(N+1)}{2}\approx \frac{N^2}{2}$$例如，为求出和 $2+5+8+...+(3k-1)$，就可以将其改写为 $3(1+2+3+...+k)-(1+1+1+...+1)$，注：后面的括号有 $k$ 个 $1$。

● 两个不常见但需要知道的公式：$$\sum _{i=1}^N{i}^2=\frac{N(N+1)(2N+1)}{6}\approx \frac{N^3}{3}$$$$\sum _{i=1}^N{i}^k=\frac{N^{k+1}}{|k+1|},k\ne -1$$

● 当 $k=-1$ 时，后面一个公式就不成立。此时我们需要下面的公式，这个公式再计算机科学中使用的远比在其他数学科目中的要多。数 $H_N$ 叫作调和数，其和叫作调和和。下面近似式中的误差趋向于 $\gamma \approx 0.57721566$，这个值称为 欧拉常数(Euler’s constant)。$$H_N=\sum _{i=1}^N\frac{1}{i}\approx lo{g}_{e}N$$

---

1.4 模运算

● 如果 N 能整除 A 或者 B，那么就说 A 与 B 模 N 同余(congrument)，记为 $A\equiv B(modN)$。例如，$71\equiv 51\equiv 1(mod10)$。

● 如同等号一样，若 $A\equiv B(modN)$，则有加法性质： $A+C\equiv B+C(modN)$ 以及乘法性质 $AD\equiv BD(modN)$。这个都易证明。还有一个指数性质：$A^C\equiv B^C(modN)$

◆ 要证明 “指数性质”，则要证明 “$A^C(modN)\equiv A(modN)$”，则首先要证明 $A\times A(modN)=A$，但是我经过我的努力，未成功，等学到后面再试试吧。

---

1.5 证明方法

● 证明数据结构分析中的结论，最常用的两个方法是：归纳法和反证法。其中证明一个定理不成立的最好方法是举出一个反例。

● 归纳法证明：【由归纳法进行的证明有两个标准的部分】
① 基准情形(base case)：确定定理对于某个(某些)小的(通常是退化的)值的正确性(这一步几乎总是简单的)。
② 归纳假设(inductive hypothesis)：假设定理对直到某个有限数 $k$ 的所有情况都是成立的。然后使用这个假设证明定理对于下一个值 (通常是 $k+1$) 也是成立的。至此定理得证(在 $k$ 有限的情形下)。

● 例如，证明斐波拉契数列 $F_0=1,F_1=1,F_2=2,F_3=3,F_4=5,...,F_i=F_{i-1}+F_{i-2}$，对于$i\ge 1$满足 $F_i\le (\frac{5}{3}{)}^i$

  证明：首先验证定理对基准情形成立。容易验证 $F_1=1<\frac{5}{3}$ 及 $F_2=2<\frac{25}{9}$。

  然后假设定理对于 $i=1,2,...,k$ 成立，这就是归纳假设。为了证明定理，我们需要证明 $F_{k+1}<(\frac{5}{3}{)}^{k+1}$，根据定义可得：$$F_{k+1}=F_k+F_{k-1}$$那么将归纳假设用于等号右边，可得：$$F_{k+1}<(\frac{5}{3}{)}^k+(\frac{5}{3}{)}^{k-1}=\frac{3}{5}(\frac{5}{3}{)}^{k+1}+\frac{9}{25}(\frac{5}{3}{)}^{k+1}=\frac{24}{25}(\frac{5}{3}{)}^{k+1}<(\frac{5}{3}{)}^{k+1}$$得证。

● 再证明一个例子：“如果 $N\ge 1$，则 ${\sum }_{i=1}^N{i}^2=\frac{N(N+1)(2N+1)}{6}$”

  证明：用数学归纳法证明。对于基准情形，容易看到，当 $N=1$ 的时候定理成立。对于归纳假设，我们设定定理对 $1\le k\le N$ 成立。接着在该假设下证明定理对于 $N+1$ 也是成立的。我们有$$\sum _{i=1}^{N+1}{i}^2=\sum _{i=1}^N{i}^2+(N+1{)}^2$$应用归纳假设，我们得到
$$\begin{array}{rl}\sum _{i=1}^{N+1}{i}^2& =\frac{N(N+1)(2N+1)}{6}+(N+1{)}^2\\ & =(N+1)\frac{N(2N+1)+6N+6}{6}\\ & =(N+1)\frac{2N^2+7N+6}{6}\\ & =(N+1)\frac{(N+2)(2N+3)}{6}\end{array}$$因此$$\sum _{i=1}^{N+1}{i}^2=\frac{(N+1)[(N+1)+1][2(N+1)+1]}{6}$$得证。

● 反证法证明： 通过假设定理不成立，然后证明假设导致某个已知的性质不成立，从而说明原假设是错误的。

◆ 一个典型的例子：证明存在无穷多个素数。

  证明：首先假设定理不成立：即只有有穷多个素数→即存在个最大的素数 $P_k$。令 $P_1,P_2,...,P_k$ 是依序排列的所有素数并考虑$$N=P_1\times P_2\times P_3\times ...\times P_4+1$$  显然，$N$ 是比 $P_k$ 更大的数，根据假设可知 “$N$ 不是素数，它是一个偶数”。可是 $P_1,P_2,...,P_k$ 都不能整除 $N$，因为除得的结果总有余数 $1$。因为每一个整数要么是素数，要么是素数的乘积，这就产生了一个矛盾。
  因此，$P_k$ 是最大的素数的原假设是不成立，这就意味着定理成立。

---

二、递归简论

● 关于递归，有几个重要但可能会被搞混的地方。
  ① 虽然我们定义一个函数用的是这个函数本身，但是我们并没有用函数本身定义该函数的一个特定的实例。换句话说，就是通过使用 $F(3)$ 来得到 $F(3)$ 的值才是循环的。通过使用 $F(4)$ 得到 $F(5)$ 的值不是循环的，除非 $F(4)$ 的求值又用到了 $F(5)$ 的计算。
  ② 第二个重要的问题：“如何做？” 和 “为什么要这样？”。这将在后面学习。

● 递归的前两个基本法则：
  1、基准情形(base case)：必须有某些基准的情形，它们不用递归就能求解。
  2、不断推进(making progress)：对于那些需要递归求解的情形，递归调用必须能够朝着基准情形的方向推进。

● 递归例子(打印输出数)：设我们有一个正整数 $N$，并希望把它打印出来。我们的例子程序的名字为 $PrintOut(N)$。程序如下：

void PrintOut(unsigned int N) {
	if ( N>= 10 ) {
		PrintOut( N / 10 );
	}
	printf("%d", N % 10);
}

◆ 注：我们并没有高效地编写程序。我们应该避免使用 $mod$ 操作，因为它的耗费是很大的，实质上它是 “$N\%10=N-\lfloor N/10\rfloor \ast 10$” 。

● 递归和归纳：我们使用归纳法对上述数字递归打印程序基于严格的证明：

  证明：首先，如果 $N$ 只有一位数字，那么程序显然是正确的，因为它只调用一次 $printf$。然后，假设 $PrintOut$ 对所有 $k$ 位或位数更少的数均能正常工作。$k+1$ 位的数字可以通过其前 $k$ 位数字和后面的最低一位数字来表示。前 $k$ 位数字形成的数恰好是 $\lfloor N/10\rfloor$，归纳假设它能够被正确地打印出来，而最后一位数字是 $Nmod10$，因此该程序能够正确打印出任意 $k+1$ 位数。于是得证。

◆ 这个证明看起来好像很 “没必要”，但是它的思想很重要。它阐述的是在设计递归程序时，同一个问题所有的较小实例均可以被假设运行正确，递归程序只需要把这些较小问题的解结合起来而形成现行问题的解即可。其数学根据就是归纳法。

● 递归的第三个法则：设计法则(design rule)。假设所有的递归调用都能运行。这是一条重要的法则，因为它意味着，当设计递归程序时一般设计递归程序时一般没有必要知道簿记管理的细节，不必试图追踪大量的递归调用。追踪实际的递归调用序列常常是非常困难的。

  递归最主要问题是隐含的簿记开销。虽然这些开销几乎总是合理的(因为递归程序不仅简化了算法设计，而且也有助于给出更加简洁的代码)，但是递归绝不应该作为简单 $for$ 循环的代替物。后面将会更仔细地讨论递归涉及的系统开销。

● 当编写递归的例程，关键是要牢记递归的四条基本法则：
  1、基准情形。必须有某些基准的情形，它们不用递归就能求解。
  2、不断推进。对于那些需要递归求解的情形，递归调用必须能够朝着产生基准情形的方向推进。
  3、设计法则。假设所有的递归调用都能运行。
  4、合成效益法则(compound interest rule)。在求解一个问题的同一实例，切勿在不同的递归调用中做重复性的工作。

◆ 第四条细则的正确性将在后面进行证明。现在只要记住就行。

---

三、练手习题

3.1 请问 $2^{100}(mod5)$ 是多少？

◆ 解：因为 $2^4\equiv 1(mod5)$，故 $2^{100}\equiv (2^4{)}^{25}\equiv 1^{25}(mod5)=1$

  为什么要像上面那样分解呢？看一下这种解法就知道原因了：$2^5(mod5)\equiv 2(mod5)$，故 $2^{100}\equiv (2^5{)}^{20}\equiv 2^{20}(mod5)=1$

  这里用到了模运算的指数性质。

3.2 请估计 ${\sum }_{i=\lfloor N/2\rfloor }^N\frac{1}{i}$ 的大小？

◆ 解：使用积分的思想。${\sum }_{i=\lfloor N/2\rfloor }^N\frac{1}{i}={\sum }_{i=1}^N\frac{1}{i}-{\sum }_{i=1}^{\lfloor N/2\rfloor -1}\frac{1}{i}\approx {\sum }_{i=1}^N\frac{1}{i}-{\sum }_{i=1}^{N/2}\frac{1}{i}\approx lnN-ln(N/2)=ln2$
   这里用到了调和数公式。

3.3 请求 ${\sum }_{i=0}^{\infty }\frac{1}{4^i}$、${\sum }_{i=0}^{\infty }\frac{i}{4^i}$、${\sum }_{i=0}^{\infty }\frac{i^2}{4^i}$ 的和？

◆ 解：对于 ${\sum }_{i=0}^{\infty }\frac{1}{4^i}$ 这个好求，等比数列求和：$$\sum _{i=0}^{\infty }\frac{1}{4^i}=\frac{4}{3}$$   对于 ${\sum }_{i=0}^{\infty }\frac{i}{4^i}$ 这个也好求，用错位相减法：$$\sum _{i=0}^{\infty }\frac{i}{4^i}=\frac{4}{9}$$   而 ${\sum }_{i=0}^{\infty }\frac{i^2}{4^i}$ 这个就要拆开来看，假设：$$S=\sum _{i=0}^{\infty }\frac{i^2}{4^i}=\frac{1}{4}+\frac{4}{4^2}+\frac{9}{4^3}+\frac{16}{4^4}+...$$   则有：$$4S=4\sum _{i=0}^{\infty }\frac{i^2}{4^i}=1+\frac{4}{4}+\frac{9}{4^2}+\frac{16}{4^3}+\frac{25}{4^4}+...$$   错位相减可得$$\begin{array}{rl}3S& =1+\frac{3}{4}+\frac{5}{4^2}+\frac{7}{4^3}+\frac{9}{4^4}+...\\ & =2\times (\frac{1}{4}+\frac{2}{4^2}+\frac{3}{4^3}+\frac{4}{4^4}+...)+(1+\frac{1}{4}+\frac{1}{4^2}+\frac{1}{4^3}+\frac{1}{4^4}+...)\\ & =2\times \sum _{i=0}^{\infty }\frac{i}{4^i}+\sum _{i=0}^{\infty }\frac{1}{4^i}\\ & =2\times \frac{4}{9}+\frac{4}{3}\\ & =\frac{20}{9}\end{array}$$   故 ${\sum }_{i=0}^{\infty }\frac{i^2}{4^i}=\frac{20}{27}$

---

四、补充说明

● 若有写得不对的地方，或有疑问，欢迎评论交流。

---

⭐️ ⭐️