12、分布式网络应用服务级重新配置中的管理智能-优快云博客

本文链接：https://blog.youkuaiyun.com/b9c0d/article/details/149619317

分布式网络应用服务级重新配置中的管理智能

1. 引言

在分布式网络应用领域，管理标准TINA和DCOM倡导将其划分为服务提供商（NSP）和服务用户（客户端）两类实体。NSP拥有一系列协议机制，用于向客户端提供网络服务，而客户端则根据自身的QoS（服务质量）要求，控制网络基础设施资源的使用程度。

服务S可将基础设施资源的可用性映射到底层协议P(S)维护的元状态上，该协议状态又能进一步映射到客户端可见的服务级参数。通过这种映射，客户端可以检查服务是否符合预期的服务义务。例如，视频传输应用中的帧丢失率可反映底层网络路径的带宽拥塞程度，这表明对网络服务的行为监控是客户端重新配置机制的必要组成部分。

从服务级编程的角度来看，监控和重新配置活动可被构建为管理功能，并使用特定问题的参数进行实例化。例如，客户端代理可以规定表征服务行为的状态变量的采样频率，而在不同网络节点采样状态的分布式机制则可以是通用的。因此，面向服务的管理模型可应用于各种网络应用，以实现自主重新配置。

2. 网络服务提供的管理视角

2.1 应用可见的服务行为

服务行为指的是客户端所感知的服务“质量”受基础设施资源变化的影响方式。给定客户端对服务S的预期质量，服务行为宏观上体现了协议模块P(S)为提供所需服务而对基础设施资源r的使用情况。能够提供服务S的不同协议模块P(S)、P′(S)等可能具有不同的行为特征，即在相同的基础设施资源r下，提供服务S的水平不同。

从客户端的角度来看，如果两个服务在给定参数集下的外部可见行为相同，则它们是相同的。以内容分发网络（CDN）为例，从管理角度看，低均值和低方差的访问延迟是性能基准。这一观点不仅涵盖了基于专用服务器的CDN实现（具有隐含的延迟保证），还包括在感兴趣的操作范围内表现出类似延迟行为的共享服务器实现。一般来说，服务差异化可以通过外部可见行为的可测量参数来体现。

服务行为的变化可以通过服务提供的可测量参数进行监控。参数变化反映了基础设施变化在服务接口处的宏观行为指标（或症状）。例如，在QoS导向的网络设置中，网络拥塞的一个症状是网络端到端数据传输延迟超过限制。通常，服务行为具有动态性，即由于底层基础设施元素的变化，服务特征可能在运行时发生改变。

2.2 服务提供的可编程性

对于具有QoS意识的客户端，服务降级应在规定的容忍范围内。我们的网络服务模型体现了这种更丰富的“透明性”概念。

客户端通过规定一组参数来调用网络服务S。NSP将客户端的规定映射到一组协议级参数，从而实例化底层网络协议P(S)。这些协议级参数允许P(S)的组成函数使用基础设施资源。一般来说，对客户端的服务义务水平越高，需要在基础设施层面部署的资源就越多；反之，资源可用性降低会导致QoS下降。

在CDN的例子中，访问延迟和内容准确性是客户端可指定的参数。它们会影响代理节点在分发拓扑中的放置以及这些节点中内容的动态更新：较低的延迟需要更多的代理节点，而较高的准确性需要频繁更新代理内容。P(S)的可参数化执行允许对基础设施资源的使用进行宏观控制，以满足客户端规定的服务需求。资源使用和服务质量之间的关系体现在P(S)的组成函数中。

基础设施资源的动态中断和/或故障（如组件升级或移除）可能表现为服务提供中可观察到的行为变化。基于对这些变化的定量评估，自适应客户端应用可以在不同程度上调整其服务参数，以匹配网络基础设施资源的可用性。即使有足够的基础设施资源，客户端也可能出于多种原因放松其服务期望，例如使用敏感的服务资费和随时间变化的服务使用模式。在其他情况下，应用可能希望在服务提供过程中提高其服务期望，例如数据路径上的剩余带宽可能导致源端提高发送速率。

这种服务级管理可以通过服务提供的本体论视图来理解，即DETECT −→REACT −→REPAIR循环。该循环在机器级时间尺度上执行，远快于应用可感知的时间尺度。在某种程度上，我们的模型有意识地允许有限且可控的损害，但在损害升级到更严重的程度之前进行纠正，这与一些现有方法中通过过度配置资源进行主动服务保护的PREVENT范式不同。

2.3 网络应用的反应式控制

随着系统变得越来越复杂，系统设计师普遍认为很难提供100%的QoS保证，因此学会容忍一些有限的损害并在服务架构的控制平面的适当位置安装“监控器”和恢复机制是更为明智的做法。

以CDN为例，通过记录从交易请求到完成的时间（例如对客户端交易进行时间戳标记）来测量内容页面的访问延迟。延迟的大幅增加表明系统资源（如服务器磁盘和CPU）存在过度排队的情况，这可能导致管理站降低CDN服务的交易流速率，直到延迟降至可接受的限制Δ以下。

图2展示了我们在视频分发网络各层进行拥塞检测时间尺度的实验研究。研究表明，与基于观察到的帧丢失率波动的代理级检测相比，人类感知的QoS降级发生在较慢的时间尺度上。因此，由用户级通知触发的恢复（例如通过源端的GUI“回调”）会产生更高的延迟，并且对网络拥塞的响应不够及时。

自动检测服务降级只需比较客户端规定的预期QoS和网络基础设施实际提供的QoS参数。监控器包含一组特定领域的程序，这些程序通过管理站的元级信号激活。这些程序对服务接口状态进行采样，然后评估系统范围的谓词以检测QoS变化的发生。这种对QoS事件的计算检测可以在更快的时间尺度上实现，从而能够及时从基础设施资源故障中恢复。

当客户端应用处理QoS降级的操作可以用封闭形式（使用特定领域的程序）表达时，客户端和服务代理会相互协调以重新配置应用。这些功能描述了在网络服务的不同操作区域中对变化做出反应的策略。这里，应用适应指的是在小的线性操作区域内对QoS规格进行细粒度的更改（例如调整参数值），而应用重新配置则指的是由于进入非线性操作区域的较大波动而在策略函数级别进行的粗粒度更改。一组策略函数可以规定根据不同的QoS参数和/或QoS规格的逻辑组合进行重新配置。

2.4 重新配置管理模块

重新配置管理模块（RSMM）将客户端发起的服务请求映射到特定的协议，以控制网络基础设施。为此，RSMM维护着基础设施提供的各种服务的绑定信息。我们关注的是RSMM的功能：非侵入式服务监控和客户端适应协调，以支持基础设施资源可能在不同时间发生变化或中断的动态设置。

如果RSMM不提供服务监控，客户端只能在特定问题的时间尺度上检测服务降级。相反，RSMM对服务监控的支持使客户端适应能够在计算时间尺度上发生。

RSMM的服务监控和客户端协调角色应独立于应用所属的问题领域，以便能够部署在各种不同的应用中。为了实现这一点，RSMM使用应用特定的参数（即客户端规定的服务属性及其与基础设施资源控制协议的映射）实例化服务级元数据传播算法。这些规范中包含了监控和适应的时间尺度要求。

下面是一个简单的mermaid流程图，展示了RSMM的工作流程：

graph LR
    A[客户端请求服务] --> B[RSMM映射请求到协议]
    B --> C[协议使用基础设施资源提供服务]
    C --> D[RSMM监控服务状态]
    D --> |服务降级| E[RSMM触发恢复操作]
    E --> C
    D --> |服务正常| C

表1总结了RSMM的主要功能和优势：
| 功能 | 描述 | 优势 |
| ---- | ---- | ---- |
| 服务监控 | 监控服务是否符合客户端规定的服务要求 | 及时发现服务降级 |
| 客户端协调 | 协调客户端适应服务变化 | 实现客户端的自适应重新配置 |
| 元数据传播 | 使用应用特定参数实例化服务级元数据传播算法 | 支持不同应用的部署 |

3. 示例应用：基于“速率控制”的视频多播

考虑一组源{Va, Vb, Vc, · · ·}以速率{λy}y=a,b,c,··· 向一组接收器{R1, R2, R3, R4, · · ·}多播视频数据包，网络路径采用“尽力而为”的数据包传递方式（例如互联网上的视频会议）。由于路径上没有预留链路带宽，视频数据包流容易受到链路拥塞的影响。

通过我们的RSMM结构，可以对这种分布式网络应用进行管理。RSMM可以监控视频多播服务的状态，当检测到服务降级（如带宽拥塞导致的帧丢失率增加）时，根据预设的策略脚本和适应规则，协调源端调整发送速率，以适应网络资源的变化。

以下是一个简单的列表，展示了RSMM在视频多播应用中的管理步骤：
1. 客户端发起视频多播服务请求，并规定所需的QoS参数。
2. RSMM将客户端请求映射到合适的协议，控制网络基础设施提供服务。
3. RSMM持续监控服务状态，通过比较客户端规定的预期QoS和实际QoS参数，检测是否发生服务降级。
4. 当检测到服务降级时，RSMM根据策略脚本和适应规则，协调源端和接收器进行重新配置，例如调整视频发送速率或更改编码方式。
5. 重新配置后，RSMM继续监控服务状态，确保服务恢复正常。

3.1 视频多播中的拥塞控制机制

在基于“速率控制”的视频多播中，拥塞控制是确保服务质量的关键。当网络发生拥塞时，视频数据包的丢失率会增加，导致接收端的视频质量下降。为了应对这种情况，RSMM可以采用以下拥塞控制机制：

基于反馈的速率调整 ：接收端定期向源端反馈网络状况，如丢包率、延迟等。源端根据这些反馈信息，动态调整视频数据包的发送速率。例如，当丢包率超过一定阈值时，源端降低发送速率；当网络状况改善时，源端提高发送速率。
分层编码 ：视频源可以采用分层编码技术，将视频数据分为基本层和增强层。基本层包含了视频的基本信息，即使在网络拥塞的情况下，也能保证一定的视频质量；增强层则提供了更高的视频质量。源端可以根据网络状况，动态调整增强层的发送速率，以适应网络带宽的变化。

下面是一个mermaid流程图，展示了基于反馈的速率调整机制：

graph LR
    A[接收端监测网络状况] --> B[反馈网络信息给源端]
    B --> C[源端根据反馈调整发送速率]
    C --> D[源端以新速率发送视频数据包]
    D --> A

3.2 视频多播中的服务质量评估

为了确保视频多播服务的质量，需要对服务质量进行评估。RSMM可以通过以下指标来评估视频多播的服务质量：

指标	描述
丢包率	丢失的视频数据包数量与发送的视频数据包数量之比。丢包率过高会导致视频画面出现卡顿、花屏等现象。
延迟	视频数据包从源端发送到接收端所需的时间。延迟过大会导致视频播放不流畅，出现音视频不同步的问题。
帧率	每秒播放的视频帧数。帧率过低会导致视频画面出现闪烁、模糊等现象。

RSMM可以定期收集这些指标，并与客户端规定的预期QoS参数进行比较。当实际指标偏离预期指标时，RSMM及时采取措施进行调整，以保证服务质量。

3.3 视频多播中的自适应策略

在视频多播过程中，网络状况可能会随时发生变化。为了适应这种变化，RSMM可以采用自适应策略，根据网络状况动态调整服务参数。以下是一些常见的自适应策略：

速率自适应 ：根据网络带宽的变化，动态调整视频数据包的发送速率。当网络带宽充足时，提高发送速率以提供更高的视频质量；当网络带宽不足时，降低发送速率以保证视频的流畅性。
编码自适应 ：根据网络状况，动态选择合适的视频编码方式。例如，在网络带宽充足的情况下，可以选择高分辨率、高帧率的编码方式；在网络带宽不足的情况下，可以选择低分辨率、低帧率的编码方式。
缓存自适应 ：在接收端设置缓存，根据网络延迟和丢包率的变化，动态调整缓存的大小。当网络延迟较大或丢包率较高时，增加缓存的大小，以减少视频卡顿的现象；当网络状况改善时，减小缓存的大小，以降低视频播放的延迟。

以下是一个简单的列表，展示了RSMM在视频多播中应用自适应策略的步骤：
1. RSMM实时监测网络状况，收集丢包率、延迟、带宽等指标。
2. 根据监测到的网络状况，判断是否需要进行自适应调整。
3. 如果需要调整，RSMM根据预设的自适应策略，选择合适的调整方式，如速率调整、编码调整或缓存调整。
4. 执行调整操作，并更新服务参数。
5. 继续监测网络状况，循环执行上述步骤，以保证视频多播服务的质量。