上一节我们部署了vllm,然后我们部署了以后,走到autoDL中,点击自定义服务,然后点击访问
就可以在浏览器中进行访问vllm了
然后同时我们还可以在命令行中进行使用
#### 运行命令
```bash
python -m vllm.entrypoints.openai.api_server --model /root/autodl-tmp/Yi-6B-Chat --trust-remote-code --port 6006
```
```bash
curl https://u202774-8479-111790f4.westb.seetacloud.com:8443/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "/root/autodl-tmp/Yi-6B-Chat",
"max_tokens":60,
"messages": [
{
"role": "us