uvicorn 更改fastapi 运行host和port

在命令行输入uvicorn --help可以显示参数介绍,主要两个参数:

--host TEXT                 Bind socket to this host.  [default:
                            127.0.0.1]
--port INTEGER              Bind socket to this port.  [default: 8000]

所以运行命令可以改成:

uvicorn app:app --host '0.0.0.0' --port 8000 --reload
### 如何在 Uvicorn 服务器上运行 FastAPI 并与 NVIDIA Triton 集成 #### 创建 FastAPI 应用并配置 Uvicorn 启动脚本 为了创建一个基于 FastAPI 的 Web API,并利用 Uvicorn 来启动服务,首先需要定义好 FastAPI 应用逻辑。通常会有一个 `main.py` 文件作为入口点。 ```python from fastapi import FastAPI, Request import tritonclient.http as http_client import numpy as np app = FastAPI() TRITON_URL = "localhost:8000" triton_client = http_client.InferenceServerClient(url=TRITON_URL) @app.post("/predict/") async def predict(request: Request): data = await request.json() input_data = np.array(data['input'], dtype=np.float32) inputs = [ http_client.InferInput('INPUT__0', list(input_data.shape), 'FP32'), ] outputs = [ http_client.InferRequestedOutput('OUTPUT__0') ] inputs[0].set_data_from_numpy(input_data) response = triton_client.infer( model_name='your_model', inputs=inputs, outputs=outputs ) result = response.as_numpy('OUTPUT__0') return {"prediction": result.tolist()} ``` 此代码片段展示了如何设置 FastAPI 路由来接收 POST 请求并将接收到的数据发送给 NVIDIA Triton 推理服务器进行预测[^1]。 #### 使用 Uvicorn 启动 FastAPI 应用 要使用 Uvicorn 启动上述 FastAPI 应用,在命令行执行如下指令: ```bash uvicorn main:app --host 0.0.0.0 --port 8001 --reload ``` 这里假设 FastAPI 应用保存在一个名为 `main.py` 的文件里,其中包含了 FastAPI 实例对象 `app`。该命令会在端口 8001 上监听 HTTP 请求,并开启自动重载功能以便于开发调试阶段快速迭代修改后的代码。 #### 设置 NVIDIA Triton Server 对于 NVIDIA Triton 的部分,则需提前准备好模型仓库以及相应的配置文件。确保已经按照官方指南完成了 Triton Inference Server 的安装初始化工作。接着把训练好的模型放置到指定路径下,并编写对应的模型配置文件 `.config.pbtxt` 描述输入输出张量的信息等细节。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值