程序设计方法与实践-动态规划

什么是动态规划？

• 动态规划是一种算法设计技术，是解决多阶段最优决策问题的通用方法。
• 如果问题是由多个子问题组成，那么就可以使用动态规划技术解决。关键是要找到子问题解与原问题解的关系。
• 这样的子问题会出现在求解原问题的递推关系中，这个递推关系中一定要包含更小问题的解。这样才能在递推的过程中，不断将问题解决。

这里举一个简单的例子，以斐波那契函数的递归求解过程为例：

如上图，是递归解决Fibonnacci(斐波那契数l列)问题的部分过程，不难发现，图中相同背景颜色的式子将会被重复计算，并且越往下会被重复计算更多次，这无疑大大增加了时间的复杂性。

所以我们的思路就是，与其重复地对子问题计算多次，不如只将子问题求解一次，然后记录在表中，然后然后不断迭代，最后我们可以从表中得到原问题的解。

最优性原理

• 无论初始状态和初始决策是什么样的，其余的决策必须相对于初始决策产生的状态构成一个最优决策序列。
• 一个问题实例的最优解一定是该问题子实例的最优解组成的。
• 一般来说，如果一个问题能够满足最优性原理，那么该问题就能够使用动态规划技术解决。那么解决问题的关键就是找到各阶段的递推关系式。

动态规划通用步骤

• 划分阶段：根据问题的时间或空间特征，将问题划分成若干个阶段（一般是根据规模大小）。
• 选择状态：将问题发展到的各个阶段使用客观的状态方程标志出来。
• 确定决策并写出状态转移方程：就是由上一阶段的阶段和状态，导出这一阶段的方程。
• 写出规划方程：就是将各阶段的状态，使用统一的表达式表示。

三个经典实例

币值最大化问题

问题描述：

给定一排n个硬币，面值为正整数C1、C2……Cn(硬币两两可能不相同)。如何选择硬币，使得在其原始位置互不相邻总币值最大。

解题思路：

首先我们假设最优币值为F(N)，然后我们试着从这往前推，只能有两种情况：

• 如果在我的最优选择序列中包含硬币Cn，那么就有F(N)=F(N-2)+Cn（因为要求选择的两个硬币不相邻，所以选择了Cn，就不可能有Cn-1）。
• 如果在我的最优选择序列中没有Cn，那么就会有F(N)=F(N-1)。因为如果序列的最后一枚硬币没有选的话，那么对于给N和N-1枚的最优决策将会是一样的。

听起来好像有一点贪心的感觉，但是动态规划的过程是更加严谨的。那么我们就可以根据这个逻辑来建立每个状态的递推关系式（亦称状态转移方程）：

F(N) = MAX{ F(N-1) , F(N-2)+Cn }

然后我们需要设置初始值（可以类比成递归方法中的终止条件）：F(0) = 0, F(1)=C1。然后从F(0)开始逐步计算规模越来越大的子问题的解，并且每次将子问题的解记录在表中，这样方便在需要使用的时候直接调用。逐次迭代，最后就能计算出原问题的解。

伪码描述：

CoinRow ( C( 1……n) ){
        F(0) = 0;
        F(1) = 1;
        for( i = 2; i<=N ; i++ ){
                F(i) = MAX{ F(i-1) , F(i-2) + Ci }
        }
        return F(n);
}

找零问题

问题描述：

现有整数金额N需要找零，零钱币值为D1<D2<D3<……Dn（均为正整数），并且假定每种币值无限多，设计一种最优策略使得找零的硬币数量F(N)最少。

解题思路：

依旧按照最优性原理的方向思考，假设在最优决策下需要选择X枚硬币，并且第X枚硬币的币值为Dx，那么请问这个最优策略的前X-1步，是不是找零金额为N-Dx这个子问题的最优决策。答案是必然的！！！那么由此逻辑，我们可以建立状态转移方程：

F(N) = MIN{ F(N-Di) } + 1      （ i = 1、2……n ）

 而这个状态转移方程的初始条件应该是：F(0)=0。

这个式子不知道大家理解起来会不会有点困难，反正我是觉得有点抽象＞﹏＜这里给出一个过程图方便大家理解：

给定找零金额为N=6，零钱币值为1，3，4，初始条件问F(0)=0。

由递归方程：F(N) = MIN{ F(N-Di) } + 1：

F(1) = MIN{ F(1-Di) } +1，所以F(1)的值为1。

 

以上是一个简单示例的模拟过程，相信大家能够有更好的理解。

 伪码描述：

ChangeMarking ( D[1……m] , N ) {
        F(0) = 0;
        F(1) = 1;
        for( i=2 ; i <= N ; i++ ){
                j = 1 ;
                temp = ∞ ；
                while( i >= D[j] && j<=m ){
                        temp = MIN{ F( i - D[j] ) , temp };
                        j = j + 1;
                }
                F(i) = temp + 1;
        }
        return F(N);
}

收集问题

问题描述：

为了方便描述，这里配上图讲解：

现有机器人从矩阵的左上角出发，要到达右下角，希望你设计一条道路，使得机器人沿路径收集到的金币最多（要求机器人每次只能往右或者往下移动一格）。

解题思路：

直观感受来看，好像是比较简单的，但是计算机没有人脑那么发达，所以想找到一个通用的方法似乎又并不简单。这里我们先总结一下之前两个例子，似乎都是从后往前思考，这种逆向思维往往是的问题变得更简单了。

不可置疑的是，机器人最后一定会走到右下角，而只有两个位置可能通过一次移动到达：也就是最右下角的上边一格或者是左边一格，而这个规律对于矩阵中的每一个位置是有普适性的，因此是可以建立递归方程的。

F( i , j ) = MAX{ F( i-1 , j ) , F( i , j -1 ) } + Cij

这样一个状态转移方程就建立好了(Cij代表此处有没有金币)，然后我们要做的就是找到初始条件，那么肯定是猜测初始条件会在左上方的边界处：也就是当递归到的一行或者第一列时就应该停止了，因为矩阵的第一行都没有上面一格，而第一列都没有左边一格。因此我们不妨以此规定初始条件：

F( 0 , j ) = 0 / ( 1 <= i <= n )

且 F( i , 0) = 0 / ( 1 <= j <= n )

过程理解：

首先要根据初始条件确定F( 1 ,1 )的值，（注意蓝色的部分是序列号）。

然后按照伪代码的逻辑是先要处理边界情况，也就是第一行，伪码中用了一个额外的for循环。而第一列中的情况是在后面的双层循环中放在第一个处理。

这里的图没有画好，实际上并不是直接先一次性处理完第一列，而是每次更新 i 的时候先处理每行的第一个。

就这样一行一行的遍历下去：

最后就可以得到如右图所示的一张矩阵，表中每个位置存储的是，从（1，1）到（i ，j）的所有路径中能搜集到的最多硬币数量。然后通过回溯就可以得到最优决策路径。

 伪码描述：

RobotCoinCollection ( D[1……n，1……m] ) {
        F(1,1) = C( i , j );
        for( j = 2 ; j < = m ; i++ )  F( 1, j ) = F( 1, j-1 ) + C( i , j );
        for( i = 2 ; i <= n ; i++ ){
                F(  i , 1 ) = F( i -1 , 1);
                for( j = 2 ; j <= m ; j++ ){
                        F(  i , j ) = MAX { F( i -1 , j ) , F( i , j - 1 ) };
                }
        }
        return F( n , m );
}

背包问题

问题描述：

现在有一个容量为W的背包，有N件物品（物品所占容量分别为：w1，w2……wn/物品的价值分别为：v1，v2……vn），现要使得在不超过背包容量的情况下，所带物品的价值最大。

解题思路：

其实通过前面的三个实例，了解了动态规划的基本模式之后，再来看这道题就不会毫无头绪。

首先一样通过逆向思维来分析一下该问题的各个阶段，为了方便分析，我们不妨假设对于背包容量为W，N件物品的问题通过最有决策后的最大价值为V( W , N )。 可以回想一下币值最大化的解题  逻辑，假设最后一件物品被放进了背包，那么就有V( W , N ) =  V( W , N-1)，而如果最后一件物品没有被放进背包，那么就有V( W , N ) = MAX { V( W-wn , N-1) + vn , V( W , N-1) } 。这两个式子也就构成了递推公式。

接着来确定初始值，还是比较好想到的，就是当背包容量为零时，或者物品的价值为零时：

V( i , 0 ) = 0;

V( 0 , j ) = 0;

伪码描述：

for( i = 0 ; i <= W ; i++ ) V( i , 0 ) = 0;
for( j = 1 ; j <= N ; j++ ) V( 0 , j ) = 0;
for( j = 1 ; j <= N ; i++ ){
        for( i = 1 ; i <= W ; j++ ){
                if( i - w[ j ] >= 0){
                        V( i , j ) = MAX { V( i - w[j] , j -1 ) + vj , V( i , j-1 ) = 0 }
                }
                else{
                        V( i , j) = V( i , j -1 );
                }
        }
}
return V( W , N );

以上就是动态规划的一些基本例子，还有一个例子我没有写上来，就是带有记忆功能的动态规划技术解决背包问题。后面有时间我会补上。