VLLM代码解读 | VLLM Hack 2

回忆一下昨天所看的代码，通过LLMEngine,我们将输入的sequence转换成了sequence这个对象，包含了下列信息。

Sequence(seq_id=0, status=WAITING, num_blocks=1)

然后基于sequence，我们又生成了sequenceGroup这个对象。这个对象用于保管基于同一prompt生成的sequences，可以想象，当进行beam search的时候，我们需要保证sequence的平行宇宙，对应确实需要更好的数据结构去维护它。

在完成了sequencegroup的生成后，我们将它放置到scheduler中。

        self.scheduler.add_seq_group(seq_group)

具体对应的是添加到waiting的deque中。 需要注意的是，scheduler中维护了三个队列，分别为waiting，running，swapped

        # Sequence groups in the WAITING state.
        # Contain new prefill or preempted requests.
        self.waiting: Deque[SequenceGroup] = deque()
        # Sequence groups in the RUNNING state.
        # Contain decode requests.
        self.running: Deque[SequenceGroup] = deque()
        # Sequence groups in the SWAPPED state.
        # Contain decode requests that are swapped out