分治策略-算法导论笔记

分治策略

步骤

分解(Divide)：将问题划分为一些子问题，子问题的形式与原问题一样，只是规模更小。(递归情况(Recursive case))

解决(Conquer)：递归地求解子问题。如果子问题规模足够小，则停止递归，直接求解。（基本情况(Base case)）

合并(Combine)：将子问题的解组合成原问题的解。

递归式（recurrence）

$$T(n)=\{\begin{array}{l}\Theta (1),ifn=1\\ aT(n/b)+f(n),ifn>1\end{array}\text{\hspace{1em}(1)}$$

三种求解递归式的方法

• 代入法：我们猜测一个界，然后用数学归纳法证明这个界是正确的。

• 递归树法：将递归式转换成一棵树，其结点表示不同层次的递归调用产生的代价。然后采用边界和技术求解递归式。

• 主方法：可求解形如(1)的递归式的界

  其中，$a\ge 1,b>1,f(n)$是一个给定的函数。这种形式的递归式很常见，它刻画了这样一个分治算法：生成$a$个子问题，每个子问题的规模是原问题规模的$1/b$，分解和合并共花费的时间为$f(n)$。

---

最大子数组问题

暴力求解算法

算法思想

只要确定头和尾即可$n$ 天共有$\left(\begin{array}{c}n\\ 2\end{array}\right)$种日期组合。因为$\left(\begin{array}{c}n\\ 2\end{array}\right)=\Theta (n^2)$,所以这种方法运行的时间为$\Theta (n^2)$

伪代码：

	BruteForceMethod(A)
        maxVal = Integer.MIN_VALUE
    	for i = 0 to A.length - 1
            sum = 0
            for j = i to A.length - 1
                sum += A[i]
                if sum > maxVal
                    maxVal = sum

分治算法

算法思想

假设我们要寻找子数组$A[low],\dots ,A[high]$的最大子数组。将子数组划分为两个规模相等的子数组，然后只要求解子数组$A[low],\dots ,A[mid]$和$A[mid+1],\dots ,A[high]$的最大子数组。$A[low],\dots ,A[high]$的最大子数组$A[i],\dots ,A[j]$是以下三种情况之一:

• 完全位于子数组$A[low],\dots ,A[mid]$中
• 完全位于子数组$A[mid+1],\dots ,A[high]$中
• 跨越了中点$mid$

伪代码

寻找跨越中点的子数组

	findMaxCrossingSubArray(A, low, mid, high)
        left-sum = Integer.MIN_VALUE
        sum = 0
        for i = mid - 1 downto low
            sum += A[i]
            if sum > left-sum
                left-sum = sum
                max-left = i
        right-sum = Integer.MIN_VALUE
        sum = 0
        for j = mid to high - 1
            sum += A[j]
            if sum > right-sum
                right-sum = sum
                max-right = j
        return (max-left, max-right, left-sum + right-sum)

分解

	findMaxSubArray(A, low, high)
        if low == high
            return (low, high, A[low])
        mid = (low + high) / 2
        (left-low, left-high, left-sum) = findMaxSubArray(A, low, mid)
        (right-low, right-high, right-sum) = findMaxSubArray(A, mid, high)
        (cross-low, cross-high, cross-sum) = findMAxCrossingSubArray(A, low, mid, high)
        if left-sum >= right-sum and left-sum >= cross-sum
            return (left-low, left-high, left-sum)
        if right-sum >= left-sum and right-sum >= cross-sum
            return (right-low, right-high, right-sum)
        return (cross-low, cross-high, cross-sum) 

分析

递归式

$$T(n)=\{\begin{array}{l}\Theta (1)若n=1\\ 2T(n/2)+\Theta (n)若n>1\end{array}\text{\hspace{1em}(2)}$$

得到其时间复杂度为$T(n)=\Theta (nlogn)$

用代入法求解递归式

代入法求解步骤

1. 猜测解的形式。
2. 用数学归纳法求解解中的常数，并证明解是正确的。

例如，我们要确定下面递归式的上界：
$$T(n)=2T(\lfloor n/2\rfloor )+n$$
猜测其解为:$T(n)=O(nlogn)$。代入法要求证明恰当选择常数$c>0$，有$T(n)\le cnlogn$。

所以，$T(\lfloor n/2\rfloor )\le c\lfloor n/2\rfloor lg(\lfloor n/2\rfloor )$,将其代入递归式，得到
$$\begin{gathered} T(n)\le 2(c\lfloor n/2\rfloor lg(\lfloor n/2\rfloor ))+n \\ \le cnlg(n/2)+n \\ =cnlgn-cnlg2+n \\ =cnlgn-cn+n \\ \le cnlgn \end{gathered}$$
只要，$c\ge 1$，最后一步都会成立。

做出好的猜测

• 遗憾的是，不存在通用的方法来猜测递归式正确的解。猜测要靠经验，偶尔还要创造力。

• 另一种做出好的猜测的方法是先证明递归式较松的上界和下界，然后缩小不确定的范围。两边夹定理

微妙的细节

• 有时候你可能正确的才出了递归式解的渐进界，但莫名其妙地在归纳证明时失败了，此时，如果修改猜测，减去一个低阶项，证明往往可以顺利进行。

• 我们在归纳证明时一定要显式地证明与假设时的严格一致的形式。如当要证明:$T(n)=O(n)$时，需要显式证明$T(n)\le cn$。

改变变量（换元）

例如，
$$T(n)=2T(\sqrt{n})+\lg n$$
看起来很困难，但是，如果令$m=\lg n$,那么有
$$T(2^m)=2T(2^{m/2})+m$$
再令$S(m)=T(2^m)$，则
$$S(m)=2S(m/2)+m$$
变成了我们熟知的递归式，其时间复杂度为$S(m)=O(m\log m)$

于是
$$T(n)=T(2^m)=S(m)=O(m\log m)=O(\lg n\lg \lg n)$$

用递归树求解递归式

例如，对于以下递归式
$$T(n)=2T(n/2)+n$$

对其求和，
$$T(n)=\stackrel{{\log }_{2}n}{\overbrace{cn+cn+\cdots +cn}}=cn{\log }_{2}n=O(n{\log }_{2}n)$$

用主方法求解递归式

考虑如下形式的递归式：

$$\begin{gathered} T(n)=aT(n/b)+f(n) \\ 其中,a\ge 1,b>1 \end{gathered}$$

主定理

**令$a\ge 1$和$b>1$,是常数，$f(n)$是一个函数，$T(n)$**是定义在非负整数上的递归式：
$$T(n)=aT(n/b)+f(n)$$

---

其中我们将n/b解释为$\lfloor n/b\rfloor$或$\lceil n/b\rceil$.那么$T(n)$有如下渐进界:

1. 若对某个常数$ϵ>0$有$f(n)=O(n^{{\log }_{b}a-ϵ})$，则$T(n)=\Theta (n^{{\log }_{b}a})$
2. 若$f(n)=\Theta (n^{{\log }_{b}a})$,则$T(n)=\Theta (n^{{\log }_{b}a}\lg n)$
3. 若对某个常数$ϵ>0$有$f(n)=\Omega (n^{{\log }_{b}a+ϵ})$,且对某个常数$c<1$和所有足够大的$n$有$af(n/b)\le cf(n)$，则$T(n)=\Theta (f(n))$

使用主方法

1. 例1
   $$T(n)=9T(n/3)+n$$
   对于这个递归式，$a=9,b=3,f(n)=n$,因此$n^{{\log }_{b}a}=n^{{\log }_{3}9}=\Theta (n^2)$。由于$f(n)=O(n^{{\log }_{3}9-ϵ})$，其中，$ϵ=1$，由情况1，从而得到解$T(n)=\Theta (n^2)$

2. 例2
   $$T(n)=3T(n/4)+n\lg n$$
   对于这个递归式，$a=3,b=4,f(n)=n\lg n$，因此$n^{{\log }_{b}a}=n^{{\log }_{4}3}=O(n^{0.793})$，由于$f(n)=\Omega (n^{{\log }_{4}3+ϵ})$,其中，$ϵ\approx 0.2$.当n足够大时，对于$c=3/4,af(n/b)=3(n/4)\lg (n/4)\le (3/4)n\lg n=cf(n)$。因此满足正则条件，根据情况3，得到解$T(n)=\Theta (n\lg n)$

3. 例3
   $$T(n)=T(2n/3)+1$$
   对于这个递归式，$a=1,b=2/3,f(n)=1$，因此$n^{{\log }_{b}a}=n^{lo{g}_3/21}=n^0=1$，由于$f(n)=\Theta (n^{{\log }_{b}a})=\Theta (1)$，因此由情况2，得到解为:$T(n)=\Theta (\lg n)$

)n\lg n=cf(n)$。因此满足正则条件，根据情况3，得到解$T(n)=\Theta(n\lg n)$

3. 例3
   $$T(n)=T(2n/3)+1$$
   对于这个递归式，$a=1,b=2/3,f(n)=1$，因此$n^{{\log }_{b}a}=n^{lo{g}_3/21}=n^0=1$，由于$f(n)=\Theta (n^{{\log }_{b}a})=\Theta (1)$，因此由情况2，得到解为:$T(n)=\Theta (\lg n)$