weixin_58628068的博客

Horus（k=1）与Horus-f（k=3）的GPU利用率相近总完成时间（makespan）均显著优于FIFO/OBP，调度决策效率提升达数百步。通过多队列加权调度（k=3），作业等待时间中位数降低6%，适用于多租户共享集群场景。对比k=3/4/5，队列数增加对总完成时间影响轻微，k=5时等待时间仅减少约1%。队列数提升虽增强公平性（等待时间优化），但略微牺牲总完成时间，此权衡在可接受范围内。默认k=3在公平性与吞吐量间取得平衡，k=5适用于对等待时间敏感场景，需根据租户需求动态配置。

最能确定nginx可以访问的命令是。nginx.yml未设置就绪探针。附件：完整的nginx.yml。4.http错弄成https。端口80所用的协议是http。2.Pod未设置就绪探针。3.开启了代理服务器。

由于现有的启发式算法通常是在调度完成某个实例的所有任务后，再继续为其他实例调度任务。当某个实例的任务执行的很快，导致该实例的计算资源会闲置下来，造成资源浪费。为例能够自动调整待分配任务的数量，提出了vLFS，可以根据工作负载自动调整分配给每个实例的任务数量。核心思想是将AI芯片中的调度器设计为一个强化学习RL代理，使其能够自主学习最优调度策略。此外还设计了一种主机与设备之间的协调调度方法，以确保程序顺序和执行顺序的一致性。

本文介绍了一种新的GPU共享和调度方法，通过暂停和恢复机制来保存和迁移模型训练状态，以及通过轻量级的采样分析来预测任务完成时间和通过高效利用碎片化资源减少了任务完成和等待时间。

对于无服务器计算中缺乏有效的作业调度方法所带来的GPU共享、任务批处理和任务间关系不能很好的扩展的问题，提出了ESG，结合A*搜索和双刃修剪技术，在不影响质量的情况下大幅削减调度空间，不仅能够显著提高SLO命中率，也能节省很大一部分成本。无服务器平台仍以CPU为中心，忽略了GPU资源。为了在无服务器平台上为ML添加GPU支持，主流的研究利用NVIDIA MPS来促进不同函数实例间的GPU共享。但目前遇到两个重要挑战。（1）调度搜索空间的急剧扩展。

在云中，要尽可能使用更短的执行时间运行他们的应用程序，要平衡预算，速度，工作负载等因素。在预算内找到最快工作流是要解决的问题，即异构最早完成时间HEFT。基于基本成本模型不太有希望，开始向基于小时的成本模型改变。本文目的：目标函数是最小化给定工作流的完成时间(makespan)，用于基于小 时的成本模型。包括资源分配算法和调度算法。资源分配算法是从指定云提供商提供的无线资源池中获取多少和哪种类型的实例，调度程序确定将任务分配给获得的实例以及每个实例内任务的执行顺序。

本文针对上述问题，首次提出了基于API远程调用的GPU支持虚拟机和vGPU联合放置问题的多目标整数线性规划（ILP）模型，并设计了一种称为gVMP的新启发式算法，旨在减少请求拒绝率、优化资源利用率，并将性能损失降至最低。gVMP策略在效率方面表现最佳，因为它结合了性能和能耗的平衡，而基于API远程调用的First Fit和Least Load Fit策略效率最差。与最少负载适应策略相比，gVMP的性能优越，即使在高网络速度下，两者的差距有所缩小，但gVMP仍能在未来的应用中因其高局部性而保持较好的表现。

然而，在处理GPU利用率变化较大的工作负载（如MUMmerGPU和组合工作负载）时，最佳努力（Best Effort）调度算法能够显著提高GPU利用率，因为它会在找到空闲的GPU时间片时调度其他虚拟机的任务，从而实现工作节省。测试结果显示，在内存可用性方面，使用PCI直通GPU时，约99.34%的总GPU内存对虚拟机可用，而使用vGPU时，仅有约93%的内存可用，这一差异表明vGPU驱动程序需要占用一定的GPU内存资源。尽管如此，由于vGPU的虚拟化开销，vGPU配置在某些情况下的延迟略高。

虚拟化GPU对云计算有很大的帮助，通过实验分析工作负载，多任务和不同GPU配置的情况下，从vGPU配置和调度算法方面提高了vGPU的效率和利用率，减少了执行时间。这篇论文并没有像所说的对算法进行改进，更多的是在对比vGPU和PCI直通，得出的结果是PCI直通各个方面都要更优一些，但是这些测试基准应该认真了解，对于以后的vGPU算力调度做测试的时候很有帮助。在工作负载执行方面，16个vGPU和PCI直通在不同工作负载下的时间消耗差异不大，但由于虚拟化引入的开销，vGPU模式的时间消耗略高于PCI直通模式。