79、资源分配与图像特征映射方法研究

资源分配与图像特征映射方法研究

在当今的科技领域，资源分配和图像特征分析是两个重要的研究方向。合理的资源分配能够提高系统的效率和性能，而准确的图像特征分析则有助于理解模型的决策过程。下面将详细介绍这两个方面的相关方法和实验结果。

弹性资源分配方法

为了评估算法性能，构建了四个数据库：
1. 不稳定算子动态选择性统计指标数据库 ：收集不稳定算子的动态选择性统计指标。
2. OPPlanner构建数据库 ：收集每个分区的负载和最优算子并行度指标，用于构建OPPlanner。
3. OLPredictor构建数据库 ：收集每个分区30天的负载数据，用于构建OLPredictor。将数据集分为训练集（前20天）和测试集（第21天到最后一天）。
4. 节点资源指标数据库 ：收集每个节点的资源指标。

使用一个真实的预处理应用程序来评估资源分配算法的性能，该应用程序的有向无环图（DAG）中，蓝色算子为不稳定算子，绿色算子为稳定算子。

评估指标

• 端到端延迟保证 ：在DataDock上运行预处理应用程序，记录四种模型的端到端延迟。与其他方法相比，所提出的模型端到端延迟更小且稳定。原因在于考虑了DAG中算子的动态相关性，能在负载变化前以分区为单位准确调整算子并行度，及时处理数据流负载。而BriskStream在负载变化后调整算子并行度，存在滞后性，增加了数据处理延迟；ELYSIUM和Pec在负载变化前以DAG为单位调