xinvictory的专栏

API 中使用的模型名称。--max-context-len-to-capture (已废弃): 替换为 --max-seq-len-to-capture，表示由 CUDA 图覆盖的最大上下文长度或序列长度。--ngram-prompt-lookup-max, --ngram-prompt-lookup-min: 在推测解码中 ngram 提示查找窗口的最大和最小尺寸。--worker-use-ray: 已废弃，建议使用 --distributed-executor-backend=ray。

路径：minconda3/envs/python31013new/lib/python3.10/site-packages/vllm/entrypoints/openai/cli_args.py。2张A6000的GPU。

路径：minconda3/envs/python31013new/lib/python3.10/site-packages/vllm/entrypoints/openai。vllm发布的rest api接口中，包含/api/paas/v4/chat/completions接口。两张A6000GPU卡。

model指定使用的语言模型名称或标识符。prompt提供给模型的输入文本，是字符串或字符串数组。stream: 是否流式返回生成的结果。: 流式响应的额外选项。: 控制输出随机性的参数，值越低，输出越确定。top_p: 核采样，只从累积概率达到此值的最小集合中选择下一个词。: 是否使用束搜索算法进行解码。top_k: 只考虑最高概率的k个词汇。user: 用户ID或其他标识符，可用于跟踪或限制API使用。best_of: 从多个候选输出中选择最佳的一个。

考虑vllm0.6.4，在性能提升、模型支持和多模态处理等方面都取得了重要的进展。在性能方面，新版本引入了多步调度 (Multistep scheduling) 和异步输出处理 (Asynchronous output processing)，优化了 GPU 的利用率并提高了处理效率，从而提高了整体的吞吐量。

默认是0.9.占用显存的比例，请根据你的显卡显存大小设置合适的值，例如，如果你的显卡有80G，您只想使用24G，请按照24/80=0.3设置。# 默认是0.9.占用显存的比例，请根据你的显卡显存大小设置合适的值，例如，如果你的显卡有80G，您只想使用24G，请按照24/80=0.3设置。"--block-size", "32" , # 增加此参数并设置合适的批量大小。"--block-size", "32" , # 增加此参数并设置合适的批量大小。# 的连续块的令牌块大小“令牌。

为了简化Lora模型的发布流程并提高操作的便捷性与可记录性，我决定将所有相关的命令封装进一个Shell脚本（.sh文件）中。这样一来，每次需要发布Lora模型时，只需执行这个Shell脚本即可，大大减少了手动输入命令的工作量，并确保了每一步骤的一致性和准确性。