用FastAPI做本地大模型的API

最新推荐文章于 2025-04-15 11:33:44 发布

Llama-Turbo

最新推荐文章于 2025-04-15 11:33:44 发布

阅读量1.2k

点赞数 25

CC 4.0 BY-SA版权

文章标签： fastapi 人工智能开源大模型 prompt llama 程序员 AI大模型

本文链接：https://blog.youkuaiyun.com/pythonhy/article/details/144287929

本文讲述了如何使用FastAPI`langchain框架，包装本地大模型llama3.1，实现语言翻译功能的API。
相对于`Flask ，使用FastAPI做接口要简便得多。

`FastAPI`可以被看作是把 `Starlette`、`Pydantic`等框架粘合在一起的组合体。

- `FastAPI` 使用 `Pydantic` 进行数据验证，并使用 `Starlette` 作为工具，使其与 `Flask` 相比快得惊人，具有与 `Node` 或 `Go` 中的高速 Web APIs 相同的性能。
- `Starlette` + `Uvicorn` 提供异步请求能力，这是 `Flask` 所缺乏的。

安装依赖

pip install fastapi pydantic typing

定义翻译方法

下面的方法需要两个参数，其中：language是翻译目标语言，text是需要翻译的文本。

from langchain\_core.prompts import ChatPromptTemplate
from langchain\_core.output\_parsers import StrOutputParser
from langchain\_ollama.llms import OllamaLLM

# 翻译方法
def translate(language,text):
    # 1. 创建提示词模板
    system\_template = "Translate the following into {language}:"
    prompt\_template = ChatPromptTemplate.from\_messages(\[
        ('system', system\_template),
        ('user', '{text}')
    \])

    # 2. 创建本地大模型
    model = OllamaLLM(model="llama3.1")

    # 3. 创建解析器
    parser = StrOutputParser()

    # 4. 创建链
    chain = prompt\_template | model | parser

    #5. 调用链
    result = chain.invoke({"language": language,"text":text})

    return result

定义接口输入和返回数据格式

从这里就可以看到代码比`Flask`简洁得多，这才是代码应有的样子😆

\# 导入FastAPI和Pydantic
from fastapi import FastAPI
from pydantic import BaseModel, Field


# 定义一个Pydantic模型来校验输入的JSON数据
class query\_model(BaseModel):
    lang: str = Field(min\_length=2, max\_length=20, description="语言名称" )
    text: str = Field(min\_length=2, max\_length=500, description="待翻译的文本" )

from enum import Enum
# 操作结果枚举
class code\_enum(str,Enum):
    OK = 'ok'
    ERR = 'error'

# API返回的消息体
class response\_model(BaseModel):
    code: code\_enum = Field(description="操作结果" )
    desc: str = Field(description="具体内容" )

定义接口和路由

使用`@app`可以指定接口路由、返回的消息体格式，接口方法内部的注释可以被渲染生成playground。

\# 创建一个FastAPI实例
app = FastAPI()

# 创建一个处理POST请求的端点
@app.post("/trans/", response\_model=response\_model)
async def translate\_api(query: query\_model):
    """
    翻译文本。

    参数:
    - Query: 翻译请求内容。

    返回:
    - Query: 测试
    """
    
    try:
        r = translate(query.lang.strip(),query.text.strip())
        return response\_model(code=code\_enum.OK,desc=r)
    except Exception as e:
        return response\_model(code=code\_enum.ERR,desc=str(e))

启动API

import uvicorn

if \_\_name\_\_ == '\_\_main\_\_':
    # 交互式API文档地址：
    # http://127.0.0.1:5001/docs/ 
    # http://127.0.0.1:5001/redoc/
    
    uvicorn.run(app, host="0.0.0.0", port=5001)

验证API

显然，上述API的地址为：`http://127.0.0.1:5001/trans`。可以使用多种方法验证API。

1. 使用第三方工具
下图使用`ApiFox`来验证接口。

2. 使用`flasgger`生成的API
使用浏览器打开地址：`http://127.0.0.1:5001/docs/`，依图示对接口进行测试。

程序员为什么要学大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望