Fast_API 部署 测试 实例

最新推荐文章于 2025-05-23 15:57:51 发布
最新推荐文章于 2025-05-23 15:57:51 发布
阅读量1.5k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 模型部署 原文 python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Labiod/article/details/108441092

在模型部署中考虑使用fast API 部署测试

内容包括启动数据，完成测试以及将数据发送请求并回应。

具体的代码详见github: https://github.com/Aismarter/Fast-api-in-applied

gitee: https://gitee.com/aismarter/Fast-api-in-applied

 

踩坑记录：

  1. fastapi在部署与使用过程中极其方便，基于FASTAPI宝库以及uvicorn组件完成，便捷快速又方便。
  2. FASTAPI在请求应答总体花费时间实测在30ms左右。
  3. 发起请求get/post似乎看起来上没啥区别，需求不精细的话，可以忽略。
  4.  与一般的request相比，包含一些header等请求添加件。
  5. 可以使用model完成自定义传输数据类型的构建。
  6. FASTAPI有个相关组件可以提供JSON的自动编解码。因此，与一般的json在传输中文字符的过程中会将字符编译成ascii不同，json_decode（）模块会将传递的json转化为中文str，字符串。
  7. 在编写fastapi请求是，建议好好利用的其自带的docs组件，很方便也很便捷，会将请求关键字很清晰的返回出来。
  8. fast_api对trt部署、异步等请求方式支持度相当不错
  9. tensorRT部署除了采用这些通用框架，也可以采用tensorRT server
  10. tensorRT server API部署简单，但接口写的比较死，无法修改
fastAPI的实例
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
06-01 393
好的，下面是一个简单的 FastAPI 示例，展示了如何创建一个基本的 API 应用程序。这个示例将包括一个简单的 GET 和 POST 请求。或 Postman）来测试这些 API 端点。然后，创建一个 Python 文件（例如。这个命令将发送一个 POST 请求到。然后，你可以在浏览器中访问。端点，并返回你发送的数据。
人工智能_大模型078_AI产品部署和交付08_基于VLLM部署大模型_FastAPI搭建API服务_VLLM分布式多卡推理_使用PostMan请求_VLLM源码部署---人工智能工作笔记0213
添柴程序猿的专栏
05-24 477
可以看到openai,这里很多接口调用都是,v1/chat/completions这个接口,那么其他的模型,几乎都提供这个接口,因为。这个token-abc123,就是我们指定的一个令牌,这个是需要在,authorzation中去指定的,然后对于vllm的源码安装,可以看到,可以直接使用git clone去克隆一份vllm的源码,然后去执行。然后关于vllm相关的论文,可以在vllm官网有个paper,论文,这个可以看,写的很细致.执行,下面这个命令,这里运行的是之前我们下载的YI-6B-Chat模型,
FastApi的搭建与测试
Lucas在澳洲
03-08 1502
本文详细介绍了如何安装和验证 FastAPI，同时介绍了 FastAPI 的基本使用方法，包括路径参数、查询参数、类型转换和参数校验等内容。通过这些基础知识，开发者可以快速构建高效、现代的 Web API。此外，FastAPI 还提供了自动生成的交互式文档，大大提高了开发体验。FastAPI 的亮点不仅在于性能和简洁性，它还利用了 Python 的类型提示特性，使代码更加可读、易于维护。
【FastAPI】--1.基础教程
最新发布
我是个好人呀，O(∩_∩)O
05-23 1043
FastAPI 是一个现代、高效的 Python Web 框架，专为构建 API 而设计。它基于 Starlette 和 Pydantic 库，提供了卓越的性能，与 NodeJS 和 Go 相当。FastAPI 支持异步编程，兼容 OpenAPI 和 JSON Schema 标准，并自动生成交互式 API 文档。安装 FastAPI 需要 Python 3.6 及以上版本，并通过 pip 安装 FastAPI、Uvicorn 等依赖库。Uvicorn 是 FastAPI 的 ASGI 服务器，支持 HTTP
fast-api:快速API
04-01
快速API fast-api基于Laravel简洁，优雅PHP Web开发框架（PHP Web Framework）。它可以让你从面条一样杂乱的代码中解脱出来；它可以帮你内置一个完美的前分离项目，而且每行代码都可以简洁，富于表达力，它提供了一种更容易表达的方式来创建。 更多功能可以参考下面的文档。 安装与配置 用于Laravel的Fast-oopdev Cloud Fast-api SDK 安装 安装依赖和框架 composer install 配置数据库 DB_CONNECTION =mysql DB_HOST =127.0.0.1 DB_PORT =3306 DB_DATABASE =fast-api DB_USERNAME =root DB_PASSWORD =root 数据迁移 php artisan migrate --path=vendor/fast-api/permissi
fastapi服务部署
风吹半夏
09-16 9461
前沿 FastAPI 是用来构建 API 服务的一个高性能框架。快！性能极高，可与 NodeJS, Go 媲美。 FastAPI（中文官方文档）：https://fastapi.tiangolo.com/zh/ uvicorn是一个闪电般快速的ASGI服务器，基于uvloop和httptools构建。 步骤 1、安装依赖包（fastapi、uvicorn、gunicorn） pip install fastapi -i https://pypi.douban.com/simple/ pip install
FastAPI教程——部署
a_blade_of_grass的博客
06-30 2709
您编写的代码、Python文件。pythonpython.exe或uvicorn。在操作系统上运行、使用CPU并将内容存储在内存上的特定程序。这也被称为进程。在操作系统上运行的特定程序。这不是指文件，也不是指代码，它具体指的是操作系统正在执行和管理的东西。任何程序，任何代码，只有在执行时才能做事。因此，是当有进程正在运行时。该进程可以由您或操作系统终止（或“杀死”）。那时，它停止运行/被执行，并且它可以不再做事情。
fastapi-template:正确的FastAPI设置可加快您的开发速度！
03-28
这里，`FastAPI()` 创建了一个实例，你可以在此基础上添加路由、中间件等。 ### 3. **定义 API 路由** FastAPI 的路由定义简洁明了，例如： ```python from fastapi import APIRouter from app.endpoints import ...
fastapi+vue3前后端宝塔部署实战-手把手教学
fengxiaoyangfeng的博客
07-11 1903
你是否曾经梦想拥有一个完全由自己掌控的网站，从后端到前端，从服务器配置到域名解析？本教程将带你逐步实现这个目标。通过详细的步骤说明，我们将指导你如何在阿里云服务器上安装宝塔面板，上传代码到Gitee，配置Python后端和Vue.js前端项目，并完成域名解析。无论你是技术新手还是有经验的开发者，这篇文章都将帮助你轻松部署一个前后端分离的网站，最终通过自定义域名访问。立即开始你的全栈开发之旅，体验从零到一的成就感吧！
使用 FastAPI 部署 QWEN 接口的 Python 流式传输服务
qq_29883477的博客
08-17 2549
使用 FastAPI 部署 QWEN 接口的 Python 流式传输服务
FastAPI_Async_Celery：带芹菜的瓶异步任务和带花的监视器
02-15
在这个场景中，我们将探讨如何结合FastAPI、Celery、RabbitMQ和Flower来构建一个高效的异步任务处理系统。以下是关于这些组件及其整合的知识点： 1. **FastAPI**：FastAPI是一个基于Python 3.6+的现代、高性能Web...
FastAPI是一个高性能易学快速编码可用于生产环境的API开发框架
08-09
FastAPI 是一个高性能，易学，快速编码，可用于生产环境的API开发框架
FastAPI – 一个现代高性能Python Web框架及其示例
ip16yun的博客
04-23 477
FastAPI还使用Python 3.6+的类型提示来声明参数、请求体、响应模型等，而其他框架需要额外的库或插件来实现数据验证和序列化。此外，FastAPI基于OpenAPI和JSON Schema标准，可以自动生成交互式API文档和多种语言的客户端代码。这使得FastAPI更加灵活、可扩展和易于集成，而其他框架如Django则可能具有更多的内置功能，但也可能导致更多的耦合和复杂性。该框架的一些优点包括速度快、易用性好、自动文档生成、类型注解、异步支持和验证功能。
fastApi 项目部署
daizikui的博客
12-31 6681
【代码】fastApi 项目部署。
将 FastAPI 部署到生产服务器（一套 全）
风吹落叶的博客
11-19 6359
未来的开发者们请上座。FastAPI：FastAPI 是一个现代、快速（高性能）的 web 框架，用于构建 APIs，基于 Python 3.6+ 类型提示。快速：非常高的性能，接近于 NodeJS 和 Go（由 Starlette 和 Pydantic 提供）。快速编码：提高开发速度约 200％ 至 300％*。少出错：减少约 40％ 的人为（开发者）错误。直观：优秀的编辑器支持，❤️ 的开发体验。易于使用：设计易于使用和学习，尽量减少开发时间。
FastAPI 学习之路（三十九）对开发接口进行测试
mr~li的博客
07-11 574
对于开发好的接口需要进行测试之后才能发布。当我们在开发的时候，没有提前测试，我们也要对我们自己的接口进行测试，那么FastApi自身也带有针对开发的接口进行测试的功能。我们看下FastApi官方给我们提供了什么样的支持。接口还是基于FastAPI 学习之路（三十七）元数据和文档 URL实现。我们看下如何测试。
接口测试快速mock接口数据的工具——FastApi
软件测试技术的博客
06-02 2193
FastApi 软件测试者一定要的微信公众号 软件测试技术 ，每天有大量干货更新，不仅仅有测试技术哦~ fastapi 官网介绍如下： FastAPI framework, high performance, easy to learn, fast to code, ready for production. FastAPI框架，高性能，易于学习，代码快速，可投入生产 安装 版本 python3.6+ pip install fastapi pip install uvicorn 快速上手案例
【FastAPI】简介
xiaodoudouer的博客
12-14 1375
源码官方中文文档官方文档。
Python从入门到精通1：FastAPI
热门推荐
m0_74488469的博客
03-09 1万+
FastAPI 是一个基于 Python 3.8+ 的现代 Web 框架，专注于构建高性能 RESTful API。基于 Starlette 和 Pydantic：提供异步支持和严格的数据验证。自动生成 API 文档：内置 Swagger UI 和 ReDoc，开发者无需手动维护文档。类型提示（Type Hints）：利用 Python 的类型系统实现输入参数验证和代码提示。FastAPI 凭借其高性能和开发效率，已成为构建现代 API 的首选框架。基础路由设计与参数验证。
xinference FastAPI 部署
03-03
### 使用 FastAPI 部署 xInference 项目 为了使用 FastAPI 来部署 xInference 项目，可以遵循以下方法构建应用程序。这不仅能够利用 FastAPI 的高效性和简洁性来创建 RESTful API，还能充分发挥 xInference 在处理大规模语言模型方面的优势[^2]。 #### 创建 FastAPI 应用程序实例并集成 xInference 首先，在 Python 脚本中导入必要的库，并初始化 FastAPI 实例： ```python from fastapi import FastAPI, HTTPException, Depends import uvicorn from pydantic import BaseModel # 假设已经安装了 xinference 并能正常引入其组件 from xinference.inference import InferenceModel # 这是一个假设路径，请替换为实际路径 app = FastAPI() ``` 接着定义数据验证类用于接收客户端请求的数据结构： ```python class ModelInput(BaseModel): input_text: str ``` 随后配置依赖项管理器以支持授权机制，确保只有合法用户才能访问特定资源[^3]： ```python def verify_api_key(api_key_header: str | None = Header(default=None)): if api_key_header != "your-secret-api-key": raise HTTPException(status_code=400, detail="Invalid API Key") return True ``` 最后编写业务逻辑处理器，这里展示了一个简单的 `/predict` 接口作为例子，该接口接受 POST 请求并将输入传递给 xInference 模型进行预测： ```python @app.post("/predict", response_model=dict) async def predict(model_input: ModelInput, authorized: bool = Depends(verify_api_key)): try: model = InferenceModel() # 初始化您的大模型对象 result = await model.predict(input=model_input.input_text) # 执行推理操作 return {"prediction": result} except Exception as e: raise HTTPException(status_code=500, detail=str(e)) ``` 启动应用服务器以便监听来自外部世界的连接： ```bash if __name__ == "__main__": uvicorn.run(app, host="0.0.0.0", port=8000) ``` 上述代码片段展示了如何基于 FastAPI 和 xInference 构建一个基本的服务端点，允许远程调用者提交文本并通过预训练的语言模型获得响应。当然，实际开发过程中还需要考虑更多细节，比如错误处理、日志记录等[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值