基于LangChain与Ollama的API封装实战详解（含完整代码）

关注

原创最新推荐文章于 2026-07-28 07:22:58 发布 1.1k 阅读 AI 写同款· GEO 优化 ›

大模型技术学习系列(4): langchain+ollama构建本地大模型应用本章主要阐述了本地构建基于大模型的应用程序的过程。从资源准备分析到实际搭建，一步步的指导应该如何在本地搭建一个基于大模型的应用程序。阅读详情

本文将介绍如果使用 LangChain 封装成 Api 提供给其他人使用。

环境搭建

在开始实际编码之前，首先需要搭建一个干净、稳定的开发环境。本文推荐使用 conda 管理虚拟环境，并利用 pip 安装所需的依赖包。以下将详细介绍如何创建环境并安装相关依赖。

创建开发环境

使用 conda 创建一个独立的虚拟环境，可以确保项目间依赖不会相互干扰。执行以下命令，即可创建名为 langchain-api 的 Python 3.10 环境：

bin/conda create -n langchain-api python=3.10

这条命令会自动下载并安装 Python 3.10，同时为该环境配置基本的包管理工具。使用虚拟环境不仅有助于依赖的隔离，还能在需要时轻松切换不同版本的 Python 环境，适应各种项目需求。

在创建环境后，记得激活该环境：

conda activate langchain-api

安装依赖包

在环境搭建好后，我们需要安装实现 API 所需的各个依赖包。本文主要涉及以下几个核心组件：

• langserve：用于将 LangChain 链封装为 API 路由，便于与 FastAPI 集成。
• langchain：核心链式处理框架，负责提示模板、模型调用等功能。
• langchain_community：社区扩展包，提供了与 Ollama 大语言模型交互的接口。
• FastAPI：轻量级、高性能的 Web 框架，用于构建 API 服务。

pip install "langserve[all]"
pip install langchain
pip install langchain_community
pip install fastapi

API 实现原理与代码详解

在完成环境搭建之后，接下来的重点工作便是构建 API 服务。本文将结合代码示例，详细介绍如何利用 LangChain 与 Ollama 模型进行交互，并将整个流程封装为一个 API 接口。

环境依赖导入与模型初始化

# 导入FastAPI库，用于创建Web服务
from fastapi import FastAPI
# 从langchain_community.llms模块导入Ollama类，它是与Ollama大语言模型进行交互的接口
from langchain_community.llms import Ollama  
# 从langchain_core.prompts模块导入ChatPromptTemplate类，用于创建对话提示词模板
from langchain_core.prompts import ChatPromptTemplate  
# 从langchain_core.output_parsers模块导入StrOutputParser类，用于将模型的输出解析为字符串
from langchain_core.output_parsers import StrOutputParser  
# 从langserve模块导入add_routes函数，用于将LangChain链添加到FastAPI应用中作为API路由
from langserve import add_routes

对话提示模板与链式处理流程

# 创建输出解析器实例，其作用是将模型的输出转换为字符串类型
output_parser = StrOutputParser()

# 初始化Ollama模型的配置
llm = Ollama(
    # 指定要使用的Ollama模型名称为"deepseek-r1:14b"
    model="deepseek-r1:14b",  
    # 模型的API端点URL，程序将通过此URL与Ollama模型进行通信
    base_url="https://203.0.113.10:8443"
)

# 构建对话提示模板
prompt = ChatPromptTemplate.from_messages([
    # 系统角色的提示信息，告知模型要用指定的开发语言实现需求代码
    # {dev_language} 是一个占位符，在运行时会被具体的开发语言替换
    ("system", "请用{dev_language}语言帮我实现这个需求代码"),  
    # 用户角色的提示信息，{user_requirements} 是一个占位符，在运行时会被用户的具体需求替换
    ("user", "{user_requirements}")  
])

这一部分主要完成了三个功能：

• 输出解析器：创建了一个 StrOutputParser 实例，用于将模型返回的复杂数据解析为纯文本，便于后续展示和处理。
• 模型初始化：通过 Ollama 类初始化了大语言模型，并配置了模型名称和 API 端点。此处我们将原有的敏感 URL 替换为示例地址，以保障信息安全。
• 提示模板构建：利用 ChatPromptTemplate 构建了一个对话提示模板，通过定义系统角色与用户角色的对话内容，将具体的开发语言与用户需求参数化，确保在实际调用时能够灵活生成符合预期的提示信息。

在实际运行中，当用户通过 API 接口传递开发语言及需求描述后，提示模板会自动将占位符替换为具体内容，形成完整的请求文本，随后传递给 Ollama 模型进行处理。

FastAPI 路由注册与服务启动

# 构建处理流水线，它定义了数据的处理流程
# 首先，将输入的数据应用到提示词模板中，生成完整的提示信息
# 然后，将生成的提示信息传递给Ollama模型进行处理
# 最后，使用输出解析器将模型的输出转换为字符串
chain = prompt | llm | output_parser

# 以下代码注释掉了，它的作用是执行问答流程
# 调用chain的invoke方法，通过字典传递输入参数，这里的"input"可以替换为具体的需求
# 例如：{"dev_language": "Python", "user_requirements": "实现一个简单的加法函数"}
# print(chain.invoke({"input": "容器化相比传统虚拟化有哪些优势？"}))  

# 把我们的程序部署成服务
# 创建FastAPI的应用实例
# title：应用的标题，用于描述应用的名称
# version：应用的版本号
# description：应用的描述信息，简要说明应用的功能
app = FastAPI(title='LangChain Api 服务', version='V1.0', description='基于 Ollama 的 LangChain Api 服务')

# 将LangChain链添加到FastAPI应用中作为API路由
# app：FastAPI应用实例
# chain：要添加的LangChain链
# path：API的访问路径，用户可以通过此路径调用该API
add_routes(
    app,
    chain,
    path="/coder",
)

# 当脚本作为主程序运行时执行以下代码
if __name__ == "__main__":
    # 导入uvicorn库，它是一个用于运行ASGI应用的服务器
    import uvicorn
    # 调用uvicorn的run方法启动服务器
    # app：要运行的FastAPI应用实例
    # host：服务器监听的主机地址，这里设置为本地主机
    # port：服务器监听的端口号，这里设置为12345
    uvicorn.run(app, host="localhost", port=12345 )

在这一部分中，我们首先将前面构建的提示模板、模型实例和输出解析器通过管道符号（|）串联起来，形成一个完整的数据处理链。该链条从接收用户输入开始，依次完成提示生成、模型调用、输出解析三个环节，最终输出处理后的结果。

接着，我们利用 FastAPI 创建了一个 Web 服务实例，并设置了服务的标题、版本号和描述信息。通过调用 add_routes 函数，将 LangChain 链注册为 API 路由，使得外部用户可以通过指定路径（此处为 /coder）访问我们的服务。最后，使用 uvicorn 启动服务器，使服务能够在本地监听指定端口（12345）。

完整代码，复制即可运行

# 导入FastAPI库，用于创建Web服务
from fastapi import FastAPI
# 从langchain_community.llms模块导入Ollama类，它是与Ollama大语言模型进行交互的接口
from langchain_community.llms import Ollama  
# 从langchain_core.prompts模块导入ChatPromptTemplate类，用于创建对话提示词模板
from langchain_core.prompts import ChatPromptTemplate  
# 从langchain_core.output_parsers模块导入StrOutputParser类，用于将模型的输出解析为字符串
from langchain_core.output_parsers import StrOutputParser  
# 从langserve模块导入add_routes函数，用于将LangChain链添加到FastAPI应用中作为API路由
from langserve import add_routes

# 创建输出解析器实例，其作用是将模型的输出转换为字符串类型
output_parser = StrOutputParser()

# 初始化Ollama模型的配置
llm = Ollama(
    # 指定要使用的Ollama模型名称为"deepseek-r1:14b"
    model="deepseek-r1:14b",  
    # 模型的API端点URL，程序将通过此URL与Ollama模型进行通信
    base_url="https://u573698-94e7-29ab86b7.nmb1.seetacloud.com:8443"
)

# 构建对话提示模板
prompt = ChatPromptTemplate.from_messages([
    # 系统角色的提示信息，告知模型要用指定的开发语言实现需求代码
    # {dev_language} 是一个占位符，在运行时会被具体的开发语言替换
    ("system", "请用{dev_language}语言帮我实现这个需求代码"),  
    # 用户角色的提示信息，{user_requirements} 是一个占位符，在运行时会被用户的具体需求替换
    ("user", "{user_requirements}")  
])

# 构建处理流水线，它定义了数据的处理流程
# 首先，将输入的数据应用到提示词模板中，生成完整的提示信息
# 然后，将生成的提示信息传递给Ollama模型进行处理
# 最后，使用输出解析器将模型的输出转换为字符串
chain = prompt | llm | output_parser

# 以下代码注释掉了，它的作用是执行问答流程
# 调用chain的invoke方法，通过字典传递输入参数，这里的"input"可以替换为具体的需求
# 例如：{"dev_language": "Python", "user_requirements": "实现一个简单的加法函数"}
# print(chain.invoke({"input": "容器化相比传统虚拟化有哪些优势？"}))  

# 把我们的程序部署成服务
# 创建FastAPI的应用实例
# title：应用的标题，用于描述应用的名称
# version：应用的版本号
# description：应用的描述信息，简要说明应用的功能
app = FastAPI(title='LangChain Api 服务', version='V1.0', description='基于 Ollama 的 LangChain Api 服务')

# 将LangChain链添加到FastAPI应用中作为API路由
# app：FastAPI应用实例
# chain：要添加的LangChain链
# path：API的访问路径，用户可以通过此路径调用该API
add_routes(
    app,
    chain,
    path="/coder",
)

# 当脚本作为主程序运行时执行以下代码
if __name__ == "__main__":
    # 导入uvicorn库，它是一个用于运行ASGI应用的服务器
    import uvicorn
    # 调用uvicorn的run方法启动服务器
    # app：要运行的FastAPI应用实例
    # host：服务器监听的主机地址，这里设置为本地主机
    # port：服务器监听的端口号，这里设置为12345
    uvicorn.run(app, host="localhost", port=12345 )

API 接口部署与测试

使用 curl 进行接口测试

curl -X POST -H "Content-Type: application/json" -d '{
    "input": {
        "dev_language": "Python",
        "user_requirements":"写一个冒泡排序"
    }
}' http://localhost:12345/coder/invoke

上述命令解释：

• -X POST：指定 HTTP 请求方法为 POST，因为调用/invoke接口通常是通过 POST 请求传递数据。
• -H "Content-Type: application/json"：设置请求头，表明发送的数据是 JSON 格式。
• -d '{...}'：-d参数用于在请求体中发送数据，花括号内是具体的 JSON 格式请求参数，按照接口要求构造，这里设置了dev_language为Java ，user_requirements为写一个冒泡排序。
• http://localhost:12345/coder/invoke：指定请求的接口地址。