Ray项目新手使用指南：四大核心优化技巧-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_01046/article/details/148325894

Ray项目新手使用指南：四大核心优化技巧

ray ray-project/ray: 是一个分布式计算框架，它没有使用数据库。适合用于大规模数据处理和机器学习任务的开发和实现，特别是对于需要使用分布式计算框架的场景。特点是分布式计算框架、无数据库。项目地址: https://gitcode.com/gh_mirrors/ra/ray

Ray作为一个分布式计算框架，提供了高度灵活且易于使用的API。本文将为初次接触Ray的开发者提供四个关键优化技巧，帮助避免常见性能陷阱。

核心API速览

在深入技巧前，我们先快速了解Ray的几个核心API：

ray.init(): 初始化Ray运行时环境
@ray.remote: 装饰器，将普通函数/类转换为可在不同进程执行的远程任务或actor
.remote(): 后缀操作符，用于调用远程函数或actor方法
ray.put(): 将对象存入对象存储并返回其ID
ray.get(): 从对象ID获取实际对象（阻塞操作）
ray.wait(): 从对象ID列表中返回已就绪和未就绪的对象ID

技巧1：延迟调用ray.get()

Ray的所有远程操作默认都是异步的，立即返回一个代表结果的future对象（对象ID）。过早调用ray.get()会阻塞程序，影响并行度。

错误示范

# 错误：立即获取每个结果，导致顺序执行
results = [ray.get(do_some_work.remote(x)) for x in range(4)]

正确做法

# 正确：先提交所有任务，再统一获取结果
result_ids = [do_some_work.remote(x) for x in range(4)]
results = ray.get(result_ids)  # 此时并行执行

关键点：ray.get()是阻塞操作，应尽可能推迟调用，以最大化并行度。

技巧2：避免微任务

将大量微小任务转换为远程调用会导致调度开销主导执行时间，反而比顺序执行更慢。

问题案例

@ray.remote
def tiny_work(x):  # 每个任务仅0.1ms
    time.sleep(0.0001)
    return x

# 10万次微小任务调用，性能反降
result_ids = [tiny_work.remote(x) for x in range(100000)]

优化方案

将多个小任务聚合成一个较大的远程任务：

@ray.remote
def mega_work(start, end):
    return [tiny_work(x) for x in range(start, end)]

# 每1000个小任务聚合成1个大任务
result_ids = [mega_work.remote(x*1000, (x+1)*1000) for x in range(100)]

经验法则：确保每个远程任务至少需要几毫秒执行时间，以分摊调度开销。

技巧3：避免重复传递大对象

当大对象作为参数传递给远程函数时，Ray会自动调用ray.put()将其存入对象存储。重复传递同一大对象会导致不必要的多次复制。

低效做法

a = np.zeros((5000, 5000))  # 大数组
result_ids = [no_work.remote(a) for x in range(10)]  # 每次调用都复制a

高效方案

预先将对象存入存储，传递其ID：

a_id = ray.put(np.zeros((5000, 5000)))  # 只复制一次
result_ids = [no_work.remote(a_id) for x in range(10)]

额外好处：减少对象存储空间占用，避免过早触发对象回收。

技巧4：流水线数据处理

当任务执行时间差异较大时，等待所有任务完成再处理结果会导致效率低下。使用ray.wait()实现流水线处理，可以及时处理已完成的任务。

传统方式的问题

# 等待所有任务完成
data_list = ray.get([do_some_work.remote(x) for x in range(4)])
process_results(data_list)  # 之后统一处理

流水线优化

result_ids = [do_some_work.remote(x) for x in range(4)]
sum = 0
while len(result_ids):
    done_id, result_ids = ray.wait(result_ids)  # 获取一个完成的任务
    sum = process_incremental(sum, ray.get(done_id[0]))  # 立即处理

执行对比：