32、不确定线性控制系统的最优控制

不确定线性控制系统的最优控制

在不确定线性控制系统中，确认机制在系统的设计和运行中起着关键作用。无丢包的确认信息能为观测器设计提供更多有用信息。下面将详细探讨不同确认传输情况下系统的稳定性和资源需求，并介绍一种新颖的ADP方案来实现最优控制。

确认传输对系统稳定性的影响

确认传输情况可分为以下三种：
| 情况 | 确认传输描述 | 稳定性区域变化 |
| ---- | ---- | ---- |
| 情况1 | 无丢包的完整确认（TCP全确认） | 能为观测器提供最多信息，稳定性区域最大 |
| 情况2 | 间歇性确认传输（(0 < \xi < 1)） | 稳定性区域减小，(\xi)越小，稳定性区域减小越明显 |
| 情况3 | 无确认传输（UDP） | 由于观测器缺乏信息，稳定性区域最小 |

从这些情况可以看出，确认信息的传输质量对系统稳定性有显著影响。当考虑间歇性确认传输时，稳定性区域会相应减小；而当确认传输出现问题，即(\xi)变小时，稳定性区域会进一步缩小。

确认传输与网络资源的权衡

传输确认信息需要消耗更多的网络资源，如带宽。情况1和情况2在统一通信框架下需要传输确认信息，因此它们请求的网络资源比情况3（UDP，不传输确认信息）要高。这就形成了一个权衡关系：一方面，为了提高系统稳定性，需要传输确认信息；另一方面，传输确认信息会消耗更多的网络资源。

新颖的ADP方案

为了解决网络控制系统（NCS）在统一通信协议下的最优控制问题，采用了一种新颖的ADP方案，该方案由新颖的观测器和值函数估计器组成。该方案在三种场景下进行描述：
1. TCP全确认
2. TCP间歇性确认
3. UDP无确认

通过使用过去的输入和估计的状态向量，放宽了对系统动态的要求。利用估计的状态向量和值函数，推导出了随机最优控制输入。

初始可允许控制确保了在观测器和值函数估计器调优时系统的稳定性。在观测器和值函数估计器的在线调优阶段，会观察到初始超调，但随着时间的推移，这些超调会逐渐消失。所有观测器和值函数估计器的参数都通过提出的更新定律进行在线调优，并且利用Lyapunov理论证明了在统一协议框架下NCS的闭环系统在均值上是有界的。只有当每个确认信息都能成功且按时接收时（即通信协议变为TCP全确认），才能实现闭环系统在均值上的渐近稳定性。

相关定理证明

为了进一步证明系统的稳定性和参数的有界性，还进行了以下定理的证明：
- 定理10.1 ：考虑Lyapunov候选函数(L_o = L_{\tilde{z}} + L_{\tilde{\vartheta}})，通过一系列推导和不等式的应用，证明了在两种不同的丢包情况下（(\gamma_{k + 1} = 1)和(\gamma_{k + 1} = 0)），观测器误差动态及其参数估计误差在均值上是有界的。
- 定理10.2 ：考虑正定义的Lyapunov候选函数(L_J = L_{\theta} + L_{ao})，同样分两种丢包情况进行证明，得出值函数估计器参数估计误差在均值上是有界的。
- 定理10.3 ：考虑正定义的Lyapunov函数候选(L = L_D + L_J + L_o)，结合前面的定理和相关方程，证明了系统状态、观测状态及其参数估计误差和值函数估计器参数估计误差在均值上是有界的。

下面是相关证明过程的流程图：

graph TD;
    A[开始] --> B[定义Lyapunov候选函数];
    B --> C[计算一阶差分];
    C --> D[分情况讨论（无丢包和有丢包）];
    D --> E[应用相关方程和不等式];
    E --> F[得出误差有界结论];
    F --> G[结束];

综上所述，通过对确认传输、网络资源和ADP方案的研究，以及相关定理的证明，为不确定线性控制系统的最优控制提供了理论支持和实践方法。在实际应用中，可以根据网络资源的情况和系统稳定性的要求，选择合适的通信协议和控制策略。

不确定线性控制系统的最优控制

定理证明的详细推导

在前面提到的定理证明中，每个定理都有其详细的推导过程。

定理10.1的证明

考虑Lyapunov候选函数(L_o = L_{\tilde{z}} + L_{\tilde{\vartheta}})，其中：
- (L_{\tilde{z}} = \sum_{i = k - N}^{k} tr{E[\tilde{z} i \tilde{z}_i^T \tilde{\psi}_i \Xi]})
- (L {\tilde{\vartheta}} = \sum_{i = k - N}^{k} tr{E[\tilde{\vartheta}_i \tilde{\varphi}_i^T]})

(\Xi = \frac{1}{2}((M + M^T)U + I)) 是正定矩阵，(I) 是单位矩阵。

首先计算一阶差分(\Delta L_o = \Delta L_{\tilde{z}} + \Delta L_{\tilde{\vartheta}})。对于(\Delta L_{\tilde{z}})，利用方程10.6和10.7以及Cauchy - Schwartz不等式进行推导：
[
\begin{align }
\Delta L_{\tilde{z}}&= \sum_{i = k - N}^{k} tr{E[\tilde{z} {i + 1} \tilde{z} {i + 1}^T \tilde{\psi} {i + 1} \Xi]} - \sum {i = k - N}^{k} tr{E[\tilde{z} i \tilde{z}_i^T \tilde{\psi}_i \Xi]}\
&\leq - \sum {i = k - N}^{k} tr{E[\tilde{z} i \tilde{z}_i^T \Xi \varphi {min} \chi_{min}]} + \cdots
\end{align }
]

对于(\Delta L_{\tilde{\vartheta}})，根据参数估计误差动态方程（10.6）推导：
[
\begin{align }
\Delta L_{\tilde{\vartheta}}&= \sum_{i = k - N}^{k} tr{E[\tilde{\vartheta} {i + 1} \tilde{\varphi} {i + 1}^T]} - \sum_{i = k - N}^{k} tr{E[\tilde{\vartheta} i \tilde{\varphi}_i^T]}\
&\leq - \sum {i = k - N}^{k} tr{E[U D \tilde{z} i \tilde{z}_i^T \alpha {\gamma} \kappa_{\xi}]} + \cdots
\end{align }
]

然后分两种情况讨论：
- 情况1：(\gamma_{k + 1} = 1)（无丢包） ：将(\gamma_{k + 1})的值代入(\Delta L_o)的表达式，经过一系列化简得到(\Delta L_o < 0)的条件。
- 情况2：(\gamma_{k + 1} = 0)（有丢包） ：根据假设10.1，存在(j \in [k - N_0, k])使得(\gamma_{k - j} = 1)，将(\tilde{\vartheta} {k + 1} = \tilde{\vartheta} {k - j})代入(\Delta L_o)的表达式，同样得到(\Delta L_o < 0)的条件。

通过这些推导，证明了观测器误差动态(E[\tilde{z}_k \tilde{\varphi}_k])及其参数估计误差(E[\tilde{\vartheta}_k \tilde{\varphi}_k])在均值上是有界的。

定理10.2的证明

考虑正定义的Lyapunov候选函数(L_J = L_{\theta} + L_{ao})，其中：
- (L_{\theta} = tr{E[\tilde{\theta} k \tilde{\theta}_k^T \Pi]})
- (L {ao} = \sum_{i = k - D}^{k} tr{E[\tilde{\vartheta}_i \tilde{\varphi}_i^T \Lambda]})

(\Pi = (\varphi_{min} \alpha_{h} + \alpha_{e} \chi_{2})I)，(\Lambda = \frac{1}{4}(\alpha_o M + M^T U)I) 是正定矩阵。

计算一阶差分(\Delta L_J = \Delta L_{\theta} + \Delta L_{ao})，同样分两种情况讨论：
- 情况1：(\gamma_{k + 1} = 1)（无丢包） ：利用方程10.6、10.7和10.20进行推导，经过一系列不等式的应用，得到(\Delta L_J < 0)的条件。
- 情况2：(\gamma_{k + 1} = 0)（有丢包） ：根据假设10.1，将(\tilde{\vartheta} {k + 1} = \tilde{\vartheta} {k - j})代入(\Delta L_J)的表达式，得出(\Delta L_J < 0)的条件。

从而证明了值函数估计器参数估计误差在均值上是有界的。

定理10.3的证明

考虑正定义的Lyapunov函数候选(L = L_D + L_J + L_o)，其中：
- (L_D = tr{E[\tilde{z} k \tilde{z}_k^T \Omega]})，(\Omega = \frac{1}{2}((B K + M + M^T) \chi {min} + I)) 是正定矩阵。

计算一阶差分(\Delta L = \Delta L_D + \Delta L_J + \Delta L_o)，结合前面定理的结果和相关方程，分两种情况讨论：
- 情况1：(\gamma_{k + 1} = 1)（无丢包） ：将三种情况的一阶差分相加并化简，得到(\Delta L < 0)的条件。
- 情况2：(\gamma_{k + 1} = 0)（有丢包） ：同样将相关条件代入并化简，得出(\Delta L < 0)的条件。

最终证明了系统状态、观测状态及其参数估计误差和值函数估计器参数估计误差在均值上是有界的。

实际应用中的考虑因素

在实际应用不确定线性控制系统的最优控制时，需要考虑以下几个方面：
1. 网络资源的分配 ：根据网络带宽和其他资源的情况，选择合适的通信协议。如果网络资源充足，可以选择TCP全确认协议，以提高系统的稳定性；如果网络资源有限，可以考虑UDP协议，但需要注意系统稳定性可能会受到一定影响。
2. 系统的动态特性 ：系统的动态特性会影响控制策略的选择。在设计控制策略时，需要充分考虑系统的动态特性，以确保系统能够稳定运行。
3. 初始条件的选择 ：初始条件的选择会影响系统的收敛速度和稳定性。在实际应用中，需要根据系统的特点和要求，选择合适的初始条件。

下面是实际应用中决策流程的表格：
| 考虑因素 | 决策依据 | 选择建议 |
| ---- | ---- | ---- |
| 网络资源 | 带宽充足或有限 | 充足选TCP全确认，有限选UDP |
| 系统动态特性 | 动态变化快或慢 | 变化快需更灵活策略 |
| 初始条件 | 对收敛速度和稳定性的要求 | 根据要求合理选择 |

综上所述，不确定线性控制系统的最优控制是一个复杂的问题，需要综合考虑确认传输、网络资源、ADP方案以及相关定理的证明。通过合理的选择和设计，可以在不同的网络环境和系统要求下实现系统的最优控制。在未来的研究和应用中，可以进一步探索如何优化控制策略，提高系统的性能和稳定性。