动态规划详解

一、基本概念

动态规划过程是：每次决策依赖于当前状态，又随即引起状态的转移。一个决策序列就是在变化的状态中产生出来的，所以，这种多阶段最优化决策解决问题的过程就称为动态规划。

二、基本思想与策略

基本思想与分治法类似，也是将待求解的问题分解为若干个子问题（阶段），按顺序求解子阶段，前一子问题的解，为后一子问题的求解提供了有用的信息。在求解任一子问题时，列出各种可能的局部解，通过决策保留那些有可能达到最优的局部解，丢弃其他局部解。依次解决各子问题，最后一个子问题就是初始问题的解。

由于动态规划解决的问题多数有重叠子问题这个特点，为减少重复计算，对每一个子问题只解一次，将其不同阶段的不同状态保存在一个二维数组中。

与分治法最大的差别是：适合于用动态规划法求解的问题，经分解后得到的子问题往往不是互相独立的（即下一个子阶段的求解是建立在上一个子阶段的解的基础上，进行进一步的求解）。

三、适用的情况

能采用动态规划求解的问题的一般要具有3个性质：

(1) 最优化原理：如果问题的最优解所包含的子问题的解也是最优的，就称该问题具有最优子结构，即满足最优化原理。

(2) 无后效性：即某阶段状态一旦确定，就不受这个状态以后决策的影响。也就是说，某状态以后的过程不会影响以前的状态，只与当前状态有关。

（3）有重叠子问题：即子问题之间是不独立的，一个子问题在下一阶段决策中可能被多次使用到。（该性质并不是动态规划适用的必要条件，但是如果没有这条性质，动态规划算法同其他算法相比就不具备优势）

四、求解的基本步骤

动态规划所处理的问题是一个多阶段决策问题，一般由初始状态开始，通过对中间阶段决策的选择，达到结束状态。这些决策形成了一个决策序列，同时确定了完成整个过程的一条活动路线(通常是求最优的活动路线)。如图所示。动态规划的设计都有着一定的模式，一般要经历以下几个步骤。

初始状态→│决策１│→│决策２│→…→│决策ｎ│→结束状态

图1 动态规划决策过程示意图

(1)划分阶段：按照问题的时间或空间特征，把问题分为若干个阶段。在划分阶段时，注意划分后的阶段一定要是有序的或者是可排序的，否则问题就无法求解。

(2)确定状态和状态变量：将问题发展到各个阶段时所处于的各种客观情况用不同的状态表示出来。当然，状态的选择要满足无后效性。

(3)确定决策并写出状态转移方程：因为决策和状态转移有着天然的联系，状态转移就是根据上一阶段的状态和决策来导出本阶段的状态。所以如果确定了决策，状态转移方程也就可写出。但事实上常常是反过来做，根据相邻两个阶段的状态之间的关系来确定决策方法和状态转移方程。

(4)寻找边界条件：给出的状态转移方程是一个递推式，需要一个递推的终止条件或边界条件。

一般，只要解决问题的阶段、状态和状态转移决策确定了，就可以写出状态转移方程（包括边界条件）。

实际应用中可以按以下几个简化的步骤进行设计：

（1）分析最优解的性质，并刻画其结构特征。

（2）递归的定义最优解。

（3）以自底向上或自顶向下的记忆化方式（备忘录法）计算出最优值

（4）根据计算最优值时得到的信息，构造问题的最优解

五、算法实现

先来看一个经典的动态规划题：

有数组penny，penny中所有的值都为正数且不重复。
每个值代表一种面值的货币，每种面值的货币可以使用任意张，再给定一个整数aim(小于等于1000)代表要找的钱数，求换钱有多少种方法。

给定数组penny及它的大小(小于等于50)，给定一个整数aim，返回有多少种方法可以凑成aim。
测试样例：

[1,2,4],3,3

返回：2

解决过程中算法的演变：
——1、暴力搜索方法
——2、记忆搜索方法
——3、动态规划方法方法
——4、状态继续化简后的动态规划方法

暴力搜索方法
arr={5,10,25,1} , aim =1000

1、用0张5元，让[10,25,1]组成剩下的1000元，方法数为res1
2、用1张5元，让[10,25,1]组成剩下的995元，方法数为res2
3、用2张5元，让[10,25,1]组成剩下的990元，方法数为res3
        ...............................
201、用200张5元，让[10,25,1]组成剩下的0元，方法数为res201
res1+res2+......+res201就是所有的方法数

定义递归函数 int p1(arr,index,aim),它的含义是如果用arr[index…N-1]这些面值的钱组成aim，返回总的方法数。暴力搜索代码如下：

    public int coin1(int[] arr, int aim){
        if(arr==null || arr.length==0 || aim<0){
            return 0;
        }
        return process1(arr, 0, aim);
    }

    //从arr数组的第i种开始，计算有多少种方法返回aim
    public int process1(int[] arr, int index, int aim){
        int res = 0;
        if(index == arr.length){
            res = aim==0 ? 1:0;
        }else{
            for(int i=0; arr[index]*i<=aim; i++){
                res += process1(arr, index+1, aim-arr[index]*i);
            }
        }
        return res;
    }

结论：暴力搜索存在大量重复计算。
如 已经使用0张5元 1张10元，需要求p1(arr,2,990);
当使用2张5元 0张10元，也需要计算p1(arr,2,990)，重复计算。

记忆搜索方法：
准备一个表map，计算完一个结果后存入map中，每次计算前，先查询map中是否存在已经计算过，如果计算过，把结果直接拿出来用，没有计算过再递归。记忆搜索代码如下：

    public int coin2(int[] arr, int aim){
        if(arr==null || arr.length==0 || aim<0){
            return 0;
        }
        int[][] map = new int[arr.length+1][aim+1];
        return process2(arr, 0, aim, map);
    }


    //从arr数组的第i种开始，计算有多少种方法返回aim，map中存放从下标i开始兑换剩余钱数的方法数
    public int process2(int[] arr, int index, int aim, int[][] map){
        int res = 0;
        if(index == arr.length){
            res = aim==0 ? 1:0;
        }else{  
            for(int i=0; arr[index]*i<=aim; i++){
                int mapValue = map[index+1][aim-arr[index]*i];
                if(mapValue != 0){
                    res += mapValue==-1 ? 0:mapValue;
                }else{
                    res += process2(arr, index+1, aim-arr[index]*i, map);
                }
            }
        }
        map[index][aim] = res==0 ? -1:res;
        return res;
    }

动态规划方法：
如果arr长度为N，生成行数为N，列数为aim+1的矩阵dp，dp[i][j]是在使用arr[0…i]货币的情况下，组成钱数j有多少种方法。

化简后的动态规划方法：

化简后的动态规划代码如下：

    //d[i][j]是使用arr[0...i]组成钱数j的方法数，d[i][j] = d[i-1][j]+d[i][j-penny[i]]
    public int countWays(int[] penny, int n, int aim) {  
        if(0 == n || null == penny)
            return 0;
        int[][] dp = new int[n][aim + 1];
        for(int i = 0 ; i < aim + 1 ; i ++){
            dp[0][i] = i % penny[0] == 0 ? 1 : 0;
        }
        for(int i = 1 ; i < n ; i ++){
            for(int j = 0 ; j < aim + 1 ; j ++){
                if(j < penny[i]){
                    //j<penny[i]时，d[i][j-penny[i]]不存在
                    dp[i][j] = dp[i - 1][j];
                }else{
                    dp[i][j] = dp[i][j - penny[i]] + dp[i - 1][j];
                }
            }
        }
        return dp[n - 1][aim];
    } 

总结：