【随机优化】李雅普诺夫优化在通信与排队系统中的应用（第一章）-绪论

【参考书目】Stochastic Network Optimization with Application to Communication and Queueing Systems

【作者】（美）Michael J.Neely---University of Southern California

【出版社】MORGAN&CLAYPOOL PUBLISHERS

 

目录

相关主题

背景知识

四个基本概念

几个简单的随机调度例子

示例问题1：在稳定性条件下最小化时间平均功率

示例问题2：在时间平均功率条件下最大化吞吐量

示例问题3：在时间平均功率条件下最大化吞吐量

常见的随机优化问题

李雅普诺夫漂移（LYAPUNOV DRIFT）与李雅普诺夫优化

---

相关主题

• 队列稳定性理论
• 背压机制，最大权重和虚拟队列方法
• 针对非凸随机利用率最大化的对偶方法
• 对于任意采样路径的全局优化
• 近似随机调度理论
• 更新系统和马尔可夫决策系统的优化

 

背景知识

• 基本的概率概念
• 马尔可夫链
• 标准优化

 

四个基本概念

• 伸缩求和（telescoping sums）

对于任意的f(t)：

 

在每一步控制函数的变化允许了人们可以控制函数的结束值。

• 迭代的期望（iterated expectations）

对于任意随机的变量X与Y，有：

 

其中外部期望是关于Y的分布，而内部期望是关于给定Y的X的条件分布

• 随机最小化期望（opportunistically minimizing an expectation）
• 简森不等式（Jensen’s inequality）

（凸）函数的期望值大于或等于期望的函数值

 

李雅普诺夫考虑的是随机网络（拥有随机事件、时变性及不确定性的网络）的分析与优化，主要关注通信系统和排队系统。但是，只要问题可以被转化为：在不确定参数的时间平均限制下，优化确定参数（certain quantities）的时间平均限制，就可以用李雅普诺夫优化方法。

 

几个简单的随机调度例子

【最基本模型】双用户无线调度系统

 

对于每个时隙（slot）t：

【假设】网络控制器可以在每个时隙转移

观察信道条件之后，再进行功率分配

-----新的到达

 

-----等待传输的队列

 

-----信道条件

-----功率分配

-----可能的功率分配集合

-----转移率函数

-----队列的动态表达式

 

示例问题1：在稳定性条件下最小化时间平均功率

【问题规划】

-----用户k在特定的功率分配下的时间平均功率消耗

在每个时隙，不需要与到达和信道相关的概率的先验知识

-----越大的V越优

-----平均队伍积压（queue backlogs）与时延的折衷

 

示例问题2：在时间平均功率条件下最大化吞吐量

【假设】到达的过程可以被 一个流量控制机制控制，即何时到达也需要被决定

【问题规划】

-----数据准入

-----用户k的数据准入速率

-----正的权重，分别代表了两个用户的重要性

-----两个用户给定的平均功率限制

 

示例问题3：在时间平均功率条件下最大化吞吐量

【假设】吞吐量由线性函数变为凹函数

【问题规划】

 

 

-----【效用函数】在a不小于0的情况下的连续的、凹的非减函数（可以在两用户之间达到“公平”，但若其为线性，优化它的结果通常是一个为1一个为0）

-----典型的效用函数形式（还有其它几种形式），前者提供的公平性经常被称为比例公平性。

-----用户1在达到了吞吐量下的效用或满意度

 

常见的随机优化问题

考虑一个随机网络在离散的时隙间运行，它可以被描述为队列积压的集合。

-----队列积压向量，K为非零的整数，K=0时表示没有队列

对于每一个时隙，控制的行为（control action）会影响队列的到达与离开，并产生一个实时的特征向量集合：

-----非负整数，用于区分平等约束和两种类型的不平等约束

这些特征可以是正的，也可以是负的，它们代表与时隙t上的网络相关联的惩罚或奖励，例如功耗、失真或丢包/接纳。这些特征也可由一般函数给出：

-----时隙t所观察到的随机事件，如到达、信道条件等

-----在时隙t所采用的动作，如接入、转移等

-----依赖于w(t)

-----在特定控制算法下的时间平均量

【问题规划】

 

 

 

【问题规划】优化时间平均的凸函数

-----RM封闭的凸的子集

-----在给定控制算法下的平均时间特征向量

上述提出的两大问题，可以被叫作随机规划（stochastic programs），是静态优化理论的经典线性规划和凸规划的类似。事实证明，排队论在这类随机优化中起着核心作用。即使原始问题中没有底层队列，我们也可以引入虚拟队列（virtual queues）作为确保满足所需时间平均约束的强有力的方法。低效的控制操作会在某些队列中导致更大的积压。这些积压充当“足够的统计数据”，作为下一个控制决策的基础。这使得算法不需要知道与随机网络事件ω( t )相关联的概率。

 

李雅普诺夫漂移（LYAPUNOV DRIFT）与李雅普诺夫优化

STEP 1：找出要解决的问题的限制

STEP 2：构造虚构队列帮助达到这些限制

STEP 3：定义李雅普诺夫函数（Lyapunov function）来描述所有在时隙t的虚拟队列的积压的平方。（网络拥塞的标量测度）

STEP 4：定义两个时隙间李雅普诺夫函数的变化：

STEP 5：最小化每个时隙的李雅普诺夫函数的变化，又称最小化李雅普诺夫漂移：

如果目标函数可以被映射到适当的惩罚函数，则可以在每个时隙t贪婪地最小化漂移加惩罚（drift-plus-penalty）：

-----一个非负的控制参数