动态规划

多阶段决策问题

1. 最短路问题
2. 资源分配问题
3. 生产库存问题
   最短路问题的动态规划模型
   $$\min V_{1,5}(s_1,p_{1,5})=\sum_{k=1}^5(d_k，u_k)\\s.t. \quad s_{k+1}=T_k(s_k,u_k),\quad 1 \leq k\leq 5\\s_k\in S_k,\quad u_k(s_k)\in U_k(s_k), \quad k=1,2,...,5$$
   给定$s_k$，系统以后的状态完全有$k$及其以后的各阶段的决策所决定和系统由什么路径到达$s_k$无关，即和$s_1,s_2，...,s_k$的取值无关。
   该特点称为马尔科夫性或者无后效性，用动态规划求解的多阶段模型必须具有无后效性。

最优化原理

最优策略：对于先前决策所形成的状态而言，其以后的所有决策应能构成最优策略。
该原理适用于所有满足马尔科夫性的序贯决策问题。

使用动态规划解决多阶段决策问题的一般步骤

1. 明确问题，找出阶段数。
2. 明确变量，找出状态变量和决策变量。
3. 找出状态转移方程。
4. 写出递推关系式。

5. 求解递推关系式。

   不定期问题

   值迭代法

   做初始函数$f_1(i), i=1,2,...,N$
   

   $$\begin{cases} f_1(i)=c_{iN},\quad i=1,2,..,N-1\\f_1(N)=0 \end{cases}$$
   然后用下列递推关系求解$\{f_k(i)\}$
   $$\begin{cases}f_k(i)=\min\{c_{ij}+f_{k-1}(j)\}, \quad i=1,2,...,N-1\\f_k(N)=0\end{cases}$$

策略空间迭代法

一个策略$\{s(i)\}$就是给定点$p_i$时，选定下一步的位置是$s(i)$
给定初始策略$\{s_0(i)\}$，$\{s_0(i)\}$是一个无回路的策略，在此策略下做方程组

$$\begin{cases}f_0(i)=c_{is_0(i)}+f_0(s_0(i)), i=1,2,...,N-1\\f_0(N)=0\end{cases}$$ 改方程有唯一解。接触$f_0(i)$以后，求
$$\min_j\{c_{ij}+f_0(j)\}, \quad i=1,2,...,N-1$$
设$\min_j\{c_{ij}+f_0(j)\}=c_{ii_1}+f_0(i-1)$则令
$$s_1(i)=i_1, i=1,2,...,N-1$$ 由此得到一个新的策略，用这个策略重复上边做法，知道对所有的i都有$s_k(i)=s_{k-1}(i)$,那么$s_k(i)$就是最优解。