17、构建在线推理API与Ray集群搭建全解析

构建在线推理API与Ray集群搭建全解析

1. 基于随机数生成器的模型调用决策

在实际应用中，我们可能需要根据某些条件来决定调用两个下游模型中的哪一个。可以使用随机数生成器（RNG）来实现这一功能，在实际场景中，RNG可以被业务逻辑、数据库查询或中间模型的结果所替代。以下是示例代码：

@serve.deployment
class DownstreamModel:
    def __init__(self, my_val: str):
        self._my_val = my_val
    def __call__(self):
        return self._my_val

@serve.deployment
class ConditionalDriver:
    def __init__(self, model1, model2):
        self._m1 = model1
        self._m2 = model2
    async def __call__(self, *args) -> str:
        import random
        if random.random() > 0.5:
            return await self._m1.remote()
        else:
            return await self._m2.remote()

m1 = DownstreamModel.bind("val1")
m2 = DownstreamModel.bind("val2")
conditional_drive