LangChain开发环境准备：AI大模型私有部署的技术指南

最新推荐文章于 2025-04-14 11:35:12 发布
最新推荐文章于 2025-04-14 11:35:12 发布
阅读量821 收藏 24
点赞数 7
文章标签： langchain 人工智能 程序员 AI大模型 llama 知识图谱
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Y525698136/article/details/146979391
版权

今天开始将开启系列AI应用开发课程，主要基于LangChain框架基于实战项目手把手教大家如何将AI这一新时代的基础设施应用到自己开发应用中来。欢迎大家持续关注

image

当下在AI应用开发领域，LangChain框架可以说是唯一选择。然而，上手学习的小伙伴们大多被拦在了第一步，没有可供使用的AI大模型底座，没有可供实验的环境进行实操。而各大厂商比如OpenAI提供的API需要付费不说，从注册、开通到使用都有诸多的不便和限制。

因此，如何在本地或者私有网络中部署和使用AI大模型，成为了一个亟待解决的挑战。本文将以Baichuan2-13B-Chat-4bits为例，介绍如何进行AI大模型私有部署,用于LangChain开发实验实操。本次课程提纲如下，今天主要降大模型部署的部分。

image

基础环境

环境配置与安装
1.python 3.8及以上版本，官网安装即可
  地址：https://www.python.org/
2.pytorch 1.12及以上版本，推荐2.0及以上版本，官网安装即可
  地址：https://pytorch.org/get-started/locally/
3.建议使用CUDA 11.4及以上，根据显卡匹配英伟达推荐驱动进行暗转
  地址：https://developer.nvidia.com/cuda-11-4-0-download-archive
4.建议使用linux环境安装，本文示例基于linux环境演示
5.假定以下动作执行的当前目录为/aidev

模型下载

要在LangChain开发环境中部署AI大模型，首先需要下载模型文件和配置文件。Baichuan2-13B-Chat-4bits模型已经上传到了huggingface这个知名的AI模型库中，我们可以通过以下步骤来下载它：

image

从huggingface上下载模型及配置文件

  1. 模型下载链接如下
https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat-4bits
  1. 在模型页面中，点击右上角的Download按钮，选择Download files选项。

image3. linux系统可以直接通过以下脚本下载

apt-get -y install -qq aria2
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat-4bits/raw/main/config.json -d /content/baichuan-inc/Baichuan2-13B-Chat-4bits -o config.json
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat-4bits/raw/main/configuration_baichuan.py -d /content/baichuan-inc/Baichuan2-13B-Chat-4bits -o configuration_baichuan.py
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat-4bits/raw/main/generation_config.json -d /content/baichuan-inc/Baichuan2-13B-Chat-4bits -o generation_config.json
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat-4bits/raw/main/generation_utils.py -d /content/baichuan-inc/Baichuan2-13B-Chat-4bits -o generation_utils.py
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat-4bits/raw/main/handler.py -d /content/baichuan-inc/Baichuan2-13B-Chat-4bits -o handler.py
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat-4bits/raw/main/modeling_baichuan.py -d /content/baichuan-inc/Baichuan2-13B-Chat-4bits -o modeling_baichuan.py
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat-4bits/resolve/main/pytorch_model.bin -d /content/baichuan-inc/Baichuan2-13B-Chat-4bits -o pytorch_model.bin
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat-4bits/raw/main/quantizer.py -d /content/baichuan-inc/Baichuan2-13B-Chat-4bits -o quantizer.py
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat-4bits/raw/main/requirements.txt -d /content/baichuan-inc/Baichuan2-13B-Chat-4bits -o requirements.txt
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat-4bits/raw/main/special_tokens_map.json -d /content/baichuan-inc/Baichuan2-13B-Chat-4bits -o special_tokens_map.json
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat-4bits/raw/main/tokenization_baichuan.py -d /content/baichuan-inc/Baichuan2-13B-Chat-4bits -o tokenization_baichuan.py
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat-4bits/resolve/main/tokenizer.model -d /content/baichuan-inc/Baichuan2-13B-Chat-4bits -o tokenizer.model
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat-4bits/raw/main/tokenizer_config.json -d /content/baichuan-inc/Baichuan2-13B-Chat-4bits -o tokenizer_config.json

基础依赖安装

下载好模型文件和配置文件后，主目录为/aidev，文件目录为baichuan-inc/Baichuan2-13B-Chat-4bits（备注后续启动模型会默认加载此目录，请按此命名） ，我们还需要安装一些基础的依赖库，以便于在LangChain开发环境中运行模型。我们可以通过以下步骤来安装：

#pip安装模型运行的依赖，requirment.txt文件
pip install -r baichuan-inc/Baichuan2-13B-Chat-4bits/requirements.txt

这样就完成了基础依赖库的安装。

模型测试

安装好基础依赖库后，我们可以先测试一下模型是否能够正常运行。我们可以通过以下步骤来测试：

基于官方示例，创建模型对象，并调用对话方法

  1. 在当前目录即/aidev中创建一个名为app.py的文件，并输入以下内容：
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation.utils import GenerationConfig
tokenizer = AutoTokenizer.from_pretrained("baichuan-inc/Baichuan2-13B-Chat-4bits", use_fast=False, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("baichuan-inc/Baichuan2-13B-Chat-4bits", device_map="auto", torch_dtype=torch.bfloat16, trust_remote_code=True)
model.generation_config = GenerationConfig.from_pretrained("baichuan-inc/Baichuan2-13B-Chat-4bits")
messages = []
messages.append({"role": "user", "content": "解释一下“温故而知新”"})
response = model.chat(tokenizer, messages)
print(response)
  1. 启用测试
python app.py

运行效果如下图所示image

基于FastAPI创建模型访问接口示例

测试好模型后，我们已经掌握了与大模型对话的入口，可以进一步基于FastAPI创建一个模型访问接口，这样就可以让外部的应用或者用户通过网络来调用我们部署在LangChain开发环境中的AI大模型。我们可以通过以下步骤来创建：

  1. 安装uvicorn
pip install uvicorn
  1. 在当前目录即/aidev中创建一个名为api.py的文件，并输入以下内容：
from fastapi import FastAPI
from fastapi import HTTPException
from pydantic import BaseModel
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation.utils import GenerationConfig
tokenizer = AutoTokenizer.from_pretrained("baichuan-inc/Baichuan2-13B-Chat-4bits", use_fast=False, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("baichuan-inc/Baichuan2-13B-Chat-4bits", device_map="auto", torch_dtype=torch.bfloat16, trust_remote_code=True)
model.generation_config = GenerationConfig.from_pretrained("baichuan-inc/Baichuan2-13B-Chat-4bits")
app = FastAPI()
# This defines the data json format expected for the endpoint, change as needed
class RequestItem(BaseModel):
    message: str
@app.post("/generate/")
async def generate_text(request_item: RequestItem):
    try:
        # 在这里处理接收到的 JSON 请求
        reqStr = request_item.message
        messages = []
        messages.append({"role": "user", "content": reqStr})
        response = model.chat(tokenizer,messages)
        return {"generated_text": response}
    except Exception as e:
        raise HTTPException(status_code=500, detail=str(e))
  1. 启动接口
uvicorn app:app --host 0.0.0.0 --port 8000 > server.log 2>&1 &
  1. 使用测试如下图所示

image

总结

本文介绍了如何在LangChain开发环境中准备AI大模型私有部署的技术指南，以Baichuan2-13B-Chat-4bits为例，分别介绍了模型下载、基础依赖安装、模型测试和基于FastAPI创建模型访问接口的步骤和代码。当然只是简单的提供对话接口的话，还无法将大模型接入langchain的开发流程中。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

【五.LangChain技术与应用】【7.LangChain Model介绍：AI模型的核心组件】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
03-05 86
分步执行并传递上下文这种模块化开发模式，比传统写法可维护性高5倍以上。
NVIDIA AI Foundation 模型与 LangChain 集成：从云端到本地部署的全方位指南
qq_29929123的博客
08-14 781
NVIDIA AI Foundation 模型是一系列经过优化的 AI 模型，涵盖了对话、嵌入和重排序等多个领域。高性能：经过 NVIDIA 优化，在 NVIDIA 加速硬件上表现卓越易部署：使用预构建容器，一键部署到任何 NVIDIA 加速基础设施灵活性：可以在云端测试，也可以导出到本地或私有云环境运行NVIDIA AI Foundation 模型与 LangChain 的集成为开发者提供了强大而灵活的 AI 应用开发工具。
开源大模型环境配置、私有化部署、lora微调、langchain.zip
07-26
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！
探索LangChain项目的本地搭建与开发技巧
zjhnfmkh的博客
12-19 605
搭建和开发LangChain项目不仅需要良好的工具链支持，更需要开发者熟练掌握项目的结构和依赖管理技巧。Poetry 官方文档LangChain GitHub 仓库。
LangChain开发环境准备-AI大模型私有部署的技术指南（附教程）
最新发布
pythonhy的博客
04-14 695
今天开始将开启系列AI应用开发课程，主要基于LangChain框架基于实战项目手把手教大家如何将AI这一新时代的基础设施应用到自己开发应用中来。欢迎大家持续关注
掌握LangChain：一站式本地开发环境搭建指南
ndAbsAfaqwdav的博客
12-06 1015
本文介绍了LangChain本地开发环境的基本设置，帮助您快速入门。在进一步学习中，您可以探索各个子包的文档和源代码，以便深入了解LangChain的内部工作机制。Poetry官方文档LangChain GitHub页面。
LangChain开发环境准备-AI大模型私有部署的技术指南
pythonhy的博客
06-07 739
今天开始将开启系列AI应用开发课程，主要基于LangChain框架基于实战项目手把手教大家如何将AI这一新时代的基础设施应用到自己开发应用中来。
如何在本地搭建Langchain开发环境？
源滚滚编程
05-09 631
项目地址 本系列教程源码Github：https://github.com/zhangdapeng520/zdppy_langchainx Langchain Github：https://github.com/langchain-ai/langchain Langchain官方文档：https://python.langchain.com/v0.1/docs/get_started/quickstart/ 环境搭建 创建虚拟环境 创建虚拟环境： conda create --name zdppy_lang
企业AI大模型私有化部署解决方案
2301_82275412的博客
06-19 2367
在解决方案上，建议企业建立专门的AI服务器集群，配置高性能计算资源，实现大规模模型训练和推理任务。为了实施严格的数据安全，需要提供安全隔离和访问控制的措施，以防止数据泄露或非法获取。在部署流程上，包括环境搭建、数据准备、模型训练、模型优化和推理部署等多个步骤。每个步骤都需要严格的操作和测试，以确保最终部署的模型能够稳定运行并达到预期的性能指标。在报价方面，需要根据具体项目需求的特点进行定价。此外，还需要考虑培训和技术支持等增值服务，以满足企业的各种需求。
LangChain大模型应用落地实践（一）：环境准备
05-09 1961
LLMs是最近点燃了NLP的一把火。GPT3.5、GPT4的快速迭代，模型的优异表现在模型层面让大家隐约看到了理想中人工智能应有的样子；OpenAI的ChatGPT、微软的New Bing和Office Copilot也让我们看到了LLMs落地成产品的无限可能性。因此，国内各大企业也争相构建中文LLMs（比如，百度的文心一言），以及思考LLMs与现有产品融合升级后到底能碰撞出什么样的火花。模型（LLMs）产品（应用）GPT3.5ChatGPT。
【实操篇 RAG 】万字长文 | LlamaIndex：大语言模型私有化部署【实操指南】
大F子的智能小课
02-21 1020
在不修改LLM本体的前提下，实现外部数据与LLM的无缝交互。传统RAG方案常因索引选择不当导致效果下降。LlamaIndex通过。2023年，大语言模型（LLM）在通用领域展现了惊人能力，但在。
初识langchain：LLM大模型+Langchain实战[qwen2.1、GLM-4]+Prompt工程
lhx17673139267的博客
07-22 1797
模型编码：glm-4-0520、glm-4 、glm-4-air、glm-4-airx、 glm-4-flash，根据输入的自然语言指令完成多种语言类任务，推荐使用 SSE 或异步调用方式请求接口场景示例模型广场官网大模型开源 glm-4-9b 简单介绍GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。
三步轻松上手：本地部署与运行大模型的详尽指南
2401_84208172的博客
07-17 954
在当前的技术环境下，大型语言模型（LLMs）已经成为人工智能领域的一个重要里程碑。这些模型能够在各种任务上展现出人类水平的性能，包括但不限于文本生成、语言理解和问题解答。随着开源项目的发展，个人开发者现在有机会在本地部署这些强大的模型，以探索和利用它们的潜力。本文将详细介绍如何使用Ollama，一个开源项目，在Mac上本地运行大型模型（Win同理）。通过遵循以下步骤，即使是配备了几年前硬件的电脑，也能够顺利完成部署和运行。①人工智能/大模型学习路线②AI产品经理入门指南③大模型方向必读书籍PDF版。
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
Y525698136的博客
08-07 1423
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
本地部署开源大模型的完整教程：LangChain + Streamlit+ Llama
deephub
06-26 1万+
通过LangChain和Streamlit我们可以方便的整合任何的LLM模型，并且通过GGML我们可以将大模型运行在消费级的硬件中，这对我们个人研究来说使非常有帮助的。作者：Afaque Umer。
LangChain学习一：入门-本地化部署-接入大模型
热门推荐
huiguo_的博客
12-06 1万+
LangChain提供了一个标准的内存接口、一组内存实现及使用内存的链/代理示例。前提条件你是部署好了你的本地大模型，并且提供了API接口，如果你还不会搭建本地模型，你可以参考我的另一篇博客。如果你是在国外或者学会了科学上网，并且你在openai注册了key，你就可以使用opanai的模块进行调用。当然应为我们选择LangChain最为我们的中间件，我们也可以使用LangChain封装的模块使用。提供了一个标准的代理接口，一系列可供选择的代理，以及端到端代理的示例。在下载之前你需要安装环境。
LangChain大模型应用开发：服务部署
老赵爱学习的博客
02-19 1472
LangServe帮助开发者将LangChain可运行和链部署为REST API。该库集成了FastAPI并使用pydantic进行数据验证。Pydantic是一个在Python中用于数据验证和解析的第三方库，而现在却是Python中使用广泛的数据验证库。Pydantic利用声明式的方式定义数据模型和Python类型提示的强大功能来执行数据验证和序列化，使我们的代码更可靠、更可读、更简洁且更易于调试。Pydantic还可以从模型生成JSON架构，提供了自动生成文档等功能，从而轻松与其他工具集成。
一篇文章搞懂LangChain
weixin_40920183的博客
07-09 1118
来源：分布式实验室在日常生活中，我们通常致力于构建端到端的应用程序。有许多自动机器学习平台和持续集成/持续交付（CI/CD）流水线可用于自动化我们的机器学习流程。我们还有像 Roboflow 和 Andrew N.G. 的 Landing AI 这样的工具，可以自动化或创建端到端的计算机视觉应用程序。如果我们想要借助 OpenAI 或 Hugging Face 创建基于大语言模型的应用程序，以前我...
拥抱大模型时代：LangChain 框架快速入门指南
2301_81940605的博客
05-09 1842
拥抱大模型时代：LangChain 框架快速入门指南
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值