Fast_API 部署 测试 实例

本文详细介绍了使用FastAPI进行模型部署与测试的过程,包括启动数据、完成测试及数据请求响应。文中分享了在FastAPI部署过程中的踩坑经验,如请求应答时间、GET与POST区别、自定义数据类型构建、JSON自动编解码、异步请求支持等,以及TensorRT部署方式的探讨。

在模型部署中考虑使用fast API 部署测试

内容包括启动数据,完成测试以及将数据发送请求并回应。

具体的代码详见github: https://github.com/Aismarter/Fast-api-in-applied

gitee: https://gitee.com/aismarter/Fast-api-in-applied

 

踩坑记录:

  1. fastapi在部署与使用过程中极其方便,基于FASTAPI宝库以及uvicorn组件完成,便捷快速又方便。
  2. FASTAPI在请求应答总体花费时间实测在30ms左右。
  3. 发起请求get/post似乎看起来上没啥区别,需求不精细的话,可以忽略。
  4.  与一般的request相比,包含一些header等请求添加件。
  5. 可以使用model完成自定义传输数据类型的构建。
  6. FASTAPI有个相关组件可以提供JSON的自动编解码。因此,与一般的json在传输中文字符的过程中会将字符编译成ascii不同,json_decode()模块会将传递的json转化为中文str,字符串。
  7. 在编写fastapi请求是,建议好好利用的其自带的docs组件,很方便也很便捷,会将请求关键字很清晰的返回出来。
  8. fast_api对trt部署、异步等请求方式支持度相当不错
  9. tensorRT部署除了采用这些通用框架,也可以采用tensorRT server
  10. tensorRT server API部署简单,但接口写的比较死,无法修改
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值