21、多媒体流与云技术：现状评估与未来展望

多媒体流与云技术：现状评估与未来展望

1. 性能评估

在多媒体流服务中，性能评估至关重要。评估指标主要包括截止时间错过率、启动延迟和公平性。

1.1 截止时间错过率

不同调度策略下，随着工作负载强度的增加，截止时间错过率的变化情况相近。这表明仅通过截止时间错过率难以区分不同调度策略的优劣。

1.2 启动延迟

为评估流媒体启动延迟，测量从流请求进入系统到第一个片段交付给观众的端到端时间。结果显示，在各种工作负载强度下，QoS - Aware（优先级）调度策略产生的启动延迟最低。这是因为基于优先级的调度策略会优先处理每个视频流的前几个片段，从而减少了每个流的等待时间。

1.3 公平性

假设每个用户请求一个媒体流，不同流之间截止时间错过率的方差可反映公平性。QoS - Aware（优先级）调度策略是最公平的策略，它能确保每个用户及时获得前几个媒体片段。若系统无法应对工作负载强度，所有流将受到同等影响。

以下是一个简单的表格总结不同评估指标下 QoS - Aware 调度策略的优势：
| 评估指标 | QoS - Aware 调度策略优势 |
| ---- | ---- |
| 启动延迟 | 最低启动延迟，优先处理前几个片段减少等待时间 |
| 公平性 | 最公平，确保用户及时获得前几个片段，系统过载时所有流同等受影响 |

2. 多媒体流与云技术的未来方向

2.1 特定领域云中的专用集成电路（ASICs）

当前基于云的多媒体流提供商主要使用同质云服务，但云提供商正变得越来越异构，开始使用如 GPU、FPGA 等加速器，以及专用集成电路（ASICs）。这种异构性不仅体现在计算服务上，还扩展到存储服务。
面临的问题包括：
- 如何利用云服务提供考虑 QoE 且成本最低的视频流服务？
- 如何了解用户定义函数与异构服务的匹配度？
- 如何平衡异构服务的成本和性能？
- 如何根据视频流请求的类型和速率调整分配资源的异构性？

2.2 异构机器上的函数高效调度

当为给定函数的工作容器分配一组可能异构的机器后，需要调度不同用户的任务以满足他们的 QoE（截止时间）。调度决策基于包含不同任务类型在不同机器类型上执行时间信息的矩阵。
然而，对于新定义的函数，缺乏历史执行信息，这会导致调度决策不准确。为解决这一问题，可以采用迁移学习技术，基于同一机器类型上其他任务类型的训练网络来预测新任务类型的执行时间。
为了提高调度的鲁棒性，可使用考虑不确定性的机器学习模型，如基于高斯过程的模型，输出任务执行时间的后验概率分布，从而计算每个任务按时完成的概率，并将任务分配给成功率最高的机器。

以下是一个 mermaid 流程图，展示异构机器上函数调度的流程：

graph TD;
    A[分配异构机器给工作容器] --> B[获取任务类型和机器类型信息];
    B --> C{是否有历史执行信息};
    C -- 是 --> D[基于历史信息和任务特征推断执行时间];
    C -- 否 --> E[使用迁移学习预测执行时间];
    D --> F[考虑不确定性的机器学习模型];
    E --> F;
    F --> G[计算任务按时完成概率];
    G --> H[将任务分配给成功率最高的机器];

2.3 同一底层资源支持直播和按需多媒体流

直播和 VOD 流在结构上相似，但处理方式不同。直播流任务有硬截止时间，错过则需丢弃；而 VOD 任务有软截止时间，可容忍截止时间违规，且具有动态截止时间。此外，直播流任务缺乏历史计算信息来预测新任务的执行时间。
目前，流提供商使用不同的流引擎和资源来处理直播和 VOD 服务。未来的挑战是如何构建一个集成的流引擎，在一组分配的资源上同时支持这两种流类型，以及这将如何影响调度和处理时间估计。

2.4 多媒体流中的区块链技术

区块链通过分布式账本实现安全的点对点通信，每个网络节点拥有区块链的副本，所有节点必须就交易达成一致才能将其记录在区块链中。
区块链技术在多媒体流行业有诸多应用，如白名单管理、身份管理等。它为内容生产者和发布者提供了更多控制权和机会，去除了传统流媒体服务中的一些限制，使发布者能更自由地展示内容。同时，其安全的分发网络可帮助当前流媒体服务提供商安全地维护多个视频版本，降低云存储成本并实现低延迟分发。

2.5 多媒体云和特定领域云中函数的重用和近似计算

流媒体请求具有时空模式，存在多媒体内容由相似或兼容服务/函数处理的可能性。通过函数聚合（合并）重用计算，可减少完成时间，实现成本和能源效率，并减轻系统负载。
然而，挑战在于检测相同和相似的函数并在执行前进行聚合。并非所有合并情况都值得执行，因为合并任务会增加执行时间和不确定性，可能影响其他任务的 QoS。因此，需要解决两个问题：
- 如何最大化找到可合并函数的机会？
- 对于给定的合并情况，如何在执行前了解其收益和副作用？
当前的重用方法基于缓存，但缓存只能重用已完成的相同任务，无法捕捉部分重用。直播流任务无法使用缓存，但可从函数重用机制中受益。该机制可在 MSC 的准入控制模块中运行，检测相同或相似的函数调用，并评估合并的收益和副作用。

为了最大化函数重用的可能性，可以考虑根据内容函数调用的流行度来决定任务的延迟执行。对于流行请求，可将其执行延迟到最晚开始时间（LST），LST 基于任务随机完成时间的最坏情况分析计算得出。

2.6 多媒体处理中的机器学习

现代机器学习（ML）和深度神经网络（DNN）方法在多媒体流处理中广泛应用，为流媒体提供商开发的函数带来了新的服务能力，如动态内容评级、对象和运动检测、动态语言翻译、人脸检测、文本检测等。
卷积神经网络（CNNs）在计算机视觉和图像处理方面表现出色，可用于基本的直播和按需流媒体服务。

综上所述，多媒体流和云技术的未来充满挑战和机遇。从当前的性能评估到未来的技术发展方向，我们需要不断探索和创新，以满足用户对高质量、低延迟多媒体流服务的需求。通过合理利用异构资源、优化调度策略、引入区块链技术、实现函数重用和应用机器学习等方法，有望推动多媒体流和云技术迈向新的高度。

3. 技术应用操作步骤与分析

3.1 异构机器调度操作步骤

在异构机器上进行函数调度时，可按以下步骤操作：
1. 资源分配 ：为工作容器分配一组可能异构的机器。
2. 信息获取 ：获取任务类型和机器类型的相关信息。
3. 历史信息判断 ：检查是否有该任务类型在对应机器类型上的历史执行信息。
- 若有历史信息，基于历史信息和任务特征推断执行时间。
- 若无历史信息，使用迁移学习预测执行时间。
4. 不确定性处理 ：利用考虑不确定性的机器学习模型（如基于高斯过程的模型），输出任务执行时间的后验概率分布。
5. 概率计算 ：根据执行时间分布，计算每个任务按时完成的概率。
6. 任务分配 ：将任务分配给成功率最高的机器。

以下表格总结了异构机器调度的操作步骤及对应目的：
| 步骤 | 操作内容 | 目的 |
| ---- | ---- | ---- |
| 1 | 分配异构机器给工作容器 | 提供执行任务的硬件基础 |
| 2 | 获取任务类型和机器类型信息 | 为后续调度提供数据支持 |
| 3 | 判断是否有历史执行信息并处理 | 准确推断任务执行时间 |
| 4 | 使用考虑不确定性的模型 | 考虑预测中的不确定性，使调度更可靠 |
| 5 | 计算任务按时完成概率 | 评估任务在不同机器上的完成可能性 |
| 6 | 将任务分配给成功率最高的机器 | 提高任务按时完成的成功率 |

3.2 函数重用操作步骤

函数重用机制在多媒体云和特定领域云中的操作步骤如下：
1. 请求检测 ：在 MSC 的准入控制模块中，检测相同或相似的函数调用。
2. 合并评估 ：评估每个合并情况的收益和副作用。
3. 决策判断 ：判断合并是否值得执行。
- 若值得执行，进行函数合并。
- 若不值得执行，按原方式处理任务。
4. 流行度分析 ：根据内容函数调用的流行度，决定任务是否延迟执行。
- 对于流行请求，计算最晚开始时间（LST），并延迟到 LST 执行。
- 对于不流行请求，正常执行任务。

以下 mermaid 流程图展示了函数重用的操作流程：

graph TD;
    A[检测相同或相似函数调用] --> B[评估合并收益和副作用];
    B --> C{是否值得合并};
    C -- 是 --> D[进行函数合并];
    C -- 否 --> E[按原方式处理任务];
    D --> F[分析函数调用流行度];
    E --> F;
    F --> G{是否为流行请求};
    G -- 是 --> H[计算 LST 并延迟到 LST 执行];
    G -- 否 --> I[正常执行任务];

4. 关键技术点分析

4.1 迁移学习在调度中的应用

迁移学习在异构机器调度中用于解决新任务类型缺乏历史执行信息的问题。通过基于同一机器类型上其他任务类型的训练网络，预测新任务类型的执行时间。具体操作是将每个任务类型表示为一个由其依赖项和库定义的空间中的向量，计算新任务类型与现有任务类型向量之间的距离，然后计算加权平均相似度，从而推断新任务类型在该机器类型上的执行时间。

4.2 考虑不确定性的机器学习模型

在调度中，为了使调度决策更稳健，需要考虑预测中的不确定性。基于高斯过程的机器学习模型可以输出任务执行时间的后验概率分布，而不需要大量的训练数据。调度器可以根据这个分布，通过卷积任务前面的执行时间分布，计算每个任务按时完成的概率，从而将任务分配给成功率最高的机器。

4.3 函数重用与成本效率

函数重用通过聚合相同或相似的函数调用，减少了完成时间，实现了成本和能源效率。但在实际操作中，需要权衡合并任务带来的执行时间增加和不确定性，确保不会对其他任务的 QoS 产生负面影响。通过合理判断合并的收益和副作用，以及根据函数调用的流行度来延迟任务执行，可以最大化函数重用的效果。

4.4 区块链技术的优势

区块链技术为多媒体流行业带来了安全的点对点通信和分布式账本。在多媒体流中，它可以用于白名单管理、身份管理等，为内容生产者和发布者提供更多控制权。其安全的分发网络可以帮助流媒体服务提供商降低云存储成本，实现低延迟分发，同时去除了传统流媒体服务中的一些限制，使发布者能更自由地展示内容。

5. 总结与展望

多媒体流和云技术在当前和未来都具有重要的发展意义。从性能评估的多个指标来看，QoS - Aware 调度策略在启动延迟和公平性方面表现出色。未来，随着技术的不断发展，异构资源的利用、函数调度的优化、区块链技术的应用、函数重用和机器学习在多媒体处理中的应用将成为关键的发展方向。

通过合理运用这些技术，有望实现更高效、更公平、更具成本效益的多媒体流服务。然而，在实际应用中，还需要解决诸多挑战，如异构资源的配置和管理、函数合并的优化、机器学习模型的准确性等。未来的研究和实践需要不断探索和创新，以推动多媒体流和云技术的进一步发展，满足用户对高质量、低延迟多媒体流服务的不断增长的需求。

总之，多媒体流和云技术的未来充满了潜力和挑战，我们需要不断努力，以实现更优质的多媒体流体验。