为什么大厂都在用LangChain？一文拆解大模型应用主流开发框架！-优快云博客

本文主要从Why、What、How的角度，拆解目前主流的大模型应用开发框架LangChain，之后给到一个带RAG能力的聊天机器人（Chatbot）项目，来感受下LangChain在大模型应用开发方面的实战效果。

你将获得什么？

开发一个AI大模型应用需要考虑哪些内容？
LangChain的核心架构都有哪些？
RAG的核心思路是什么？
实战：如何5分钟实现一个极简智能聊天机器人Chatbot？

一、Why：为啥会有LangChain

假如从OpenAI 的API开始构建大模型应用的话，那么就得需要考虑这些问题。

Prompt 管理：不同的场景需要手写不同的提示词（Prompt），还要维护多个 prompt 的版本和结构，很容易混乱。
调用逻辑的组织： 如果你想让模型先问用户问题，然后再去查资料，再回答——你得自己写一整套逻辑流程。
多模型集成： 假如你不想用OpenAI的大模型，想尝试下HuggingFace上的其他大模型，就得需要自己封装和管理它们的接口。
与外部工具对接： 想要模型查数据库、搜索引擎、文件系统？你要自己写代码去连接、格式化、处理这些数据。
内存管理（聊天上下文）： 比如：让 AI 记住用户之前说过什么，你要自己存储这些对话记录，并加到 prompt 里。
调试 & 追踪： 如果模型表现不对，你很难知道是哪一步出了问题。没有自动化的 trace 系统。

现在，有了LangChain，你可以不用特别关注那些底层的工作，专注在你的业务即可。比如你想基于LLM开发一个问答系统，几行代码就可以完成最内核的功能：

from langchain_community.chat_models import ChatOllama
from langchain_core.messages import HumanMessage

# 初始化模型
model = ChatOllama(
    model="qwen2.5:1.5b",
    base_url="http://localhost:11434"# Ollama 服务地址
)

# 发送请求
response = model.invoke([
    HumanMessage(content="用中文写一首关于秋天的短诗")
])

print(response.content)

对，就是这么简洁。

二、What：LangChain框架拆解

官网的定义是，LangChain是一个用于开发由大型语言模型 (LLMs) 驱动的应用程序的框架。想要理解LangChain的封装逻辑，就得先理解LLM的技术堆栈思路。

2.1 LLM技术栈设计思路

当你想开发一款大模型应用的时候，直接使用其已经封装好的组件就可以。甚至针对常规的应用流程，它利用链(LangChain中Chain的由来)这个概念已经内置标准化方案了。

这里我们从新兴的大语言模型（LLM）技术栈的角度来看看为何它的理念这么受欢迎。

LLM技术栈主要由四个主要部分组成：

数据预处理（data preprocessing pipeline）：主要包括了数据源连接、数据转化、下游连接器（如向量数据库），特别是对于繁杂的数据源，如数千个PDF、PPTX、聊天记录、抓取的HTML等，这里需要大量的数据提取、清理、转换工作，这点上跟大数据分析任务的前期步骤很类似，不同的是大模型的数据处理可能会用到OCR模型、Python脚本和正则表达式等方式，并以API方式向外部提供JSON数据，以便嵌入终端和存储在向量数据库中。

嵌入与向量存储（embeddings +vector store ）：以往嵌入主要用于如文档聚类之类的特定任务，新的架构中，直接将文档及其嵌入存储在向量数据库中，可以通过LLM端点实现关键的交互模式。直接存储原始嵌入，意味着数据可以以其自然格式存储，从而实现更快的处理时间和更高效的数据检索。

LLM 终端（LLM endpoints）：LLM终端负责管理模型的资源，包括内存和计算资源，并提供可扩展和容错的接口，用于向下游应用程序提供LLM输出。

LLM 编程框架（LLM programming framework）：LLM编程框架提供了一套工具和抽象，用于使用语言模型构建应用程序。在现代技术栈中出现了各种类型的组件，包括：LLM提供商、嵌入模型、向量存储、文档加载器、其他外部工具（谷歌搜索等），这些框架的一个重要功能是协调各种组件。

2.2 LangChain框架核心模块

langchain-core：聊天模型和其他组件的基础抽象。

Integration packages：负责维护不同厂家的大模型，由轻量级的包组成，例如 langchain-openai、langchain-anthropic 等。

langchain：构成应用程序认知架构的链、代理和检索策略。

langchain-community：由社区维护的第三方集成工具。

langgraph：编排框架，用于将 LangChain 组件组合成具有持久化、流式处理和其他关键功能的生产就绪型应用程序。

完整的框架如：

这里补充框架中的两个组成：

LangGraph：是一个基于 LangChain 的扩展库，用于构建有状态、多角色的智能体（Agents）应用。它通过将任务流程建模为状态图（StateGraph），实现对复杂任务的精细控制和管理。
LangSmith：通俗一点来说，LangSmith 是一个用于开发、调试、测试和监控基于大语言模型（LLM）应用的平台，它有点像你写 LLM 应用时的 “全能开发调试仪表盘”。

三、How：基于LangChain开发带RAG能力的ChatBot项目

3.1 项目效果

先直接看下项目效果。

注：用户在位置1进行输入，在位置2 Jupyter的Cell底部，可以看到大模型回复的结果。

3.2 关键步骤解析

项目技术开发环境：LangChain+Ollama+Qwen2.5+Jupyter

1. 基础构建

可以看到这里主要引用了LangChain框架中的langchain_core、langchain_community，并进行了模型初始化和文件的加载处理。

import os
from typing import List, Optional
from langchain_community.chat_models import ChatOllama
from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder
from langchain_core.messages import HumanMessage, AIMessage
from langchain_core.output_parsers import StrOutputParser
from langchain_core.runnables import RunnablePassthrough
from langchain_community.vectorstores import FAISS
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_community.embeddings import OllamaEmbeddings
from langchain_community.document_loaders import PyPDFLoader, TextLoader

# 配置常量
DEFAULT_MODEL = "qwen2.5:1.5b"
OLLAMA_BASE_URL = "http://localhost:11434"

# 初始化模型
def init_model(model_name: str = DEFAULT_MODEL) -> ChatOllama:
    return ChatOllama(
        model=model_name,
        base_url=OLLAMA_BASE_URL,
        temperature=0.7,
        num_ctx=4096,
        stream=True,
        stop=["<|im_end|>"]  # 防止模型无限生成
    )

# 加载文档（支持PDF/TXT）
def load_documents(file_path: str) -> Optional[List]:
    ifnot os.path.exists(file_path):
        print(f"⚠️ 文件不存在: {file_path}")
        returnNone
    
    try:
        if file_path.endswith(".pdf"):
            loader = PyPDFLoader(file_path)
        elif file_path.endswith(".txt"):
            loader = TextLoader(file_path)
        else:
            print("❌ 不支持的文件格式（仅支持PDF/TXT）")
            returnNone
        
        return loader.load()
    except Exception as e:
        print(f"❌ 文档加载失败: {str(e)}")
        returnNone

2. 构建智能链

这一步是整个应用的核心。在这一步中完成应用的，文件解析、向量化、查询检索。并结合用户输入完成对LLM的交互。


def build_chain(model: ChatOllama, documents: Optional[List] = None):
    # ===== 提示模板设计 =====
    base_prompt = ChatPromptTemplate.from_messages([
        ("system", "你是{persona}，请用{language}回答。对话历史：{history}"),
        ("human", "{input}")
    ])
    
    doc_prompt = ChatPromptTemplate.from_messages([
        ("system", """
        根据以下上下文和对话历史回答问题：
        ---上下文---
        {context}
        ---历史记录---
        {history}
        请用{language}以{persona}的身份回答：
        """),
        ("human", "{input}")
    ])
    
    # ===== 链式逻辑 =====
    if documents:
        # 文档处理流程
        embeddings = OllamaEmbeddings(model="nomic-embed-text")
        splits = RecursiveCharacterTextSplitter(
            chunk_size=1000, 
            chunk_overlap=200
        ).split_documents(documents)
        
        vectorstore = FAISS.from_documents(splits, embeddings)
        retriever = vectorstore.as_retriever(search_kwargs={"k": 3})
        
        chain = (
            RunnablePassthrough.assign(
                context=lambda x: "\n".join(
                    f"[来源{i+1}]: {doc.page_content}"
                    for i, doc in enumerate(retriever.get_relevant_documents(x["input"]))
                ),
                persona=lambda _: "专业AI助手",
                language=lambda _: "中文",
                history=lambda x: "\n".join(
                    f"{msg.type}: {msg.content}"
                    for msg in x.get("history", [])
                )
            )
            | doc_prompt
            | model
            | StrOutputParser()
        )
    else:
        # 基础对话流程
        chain = (
            RunnablePassthrough.assign(
                persona=lambda _: "友好AI伙伴",
                language=lambda _: "中文",
                history=lambda x: "\n".join(
                    f"{msg.type}: {msg.content}"
                    for msg in x.get("history", [])
                )
            )
            | base_prompt
            | model
            | StrOutputParser()
        )
    
    return chain

3.构建交互式聊天框架

这一步主要构建起用于与大模型聊天的用户界面。可以看到从用户输入到LLM相应，以及保留最近10轮的对话上下文信息。

def chat(model_name: str = DEFAULT_MODEL, file_path: Optional[str] = None):
    # 初始化
    model = init_model(model_name)
    documents = load_documents(file_path) if file_path elseNone
    chain = build_chain(model, documents)
    history = []
    
    print(f"\n🚀 已启动 {model_name} 聊天机器人（{'文档模式' if documents else '纯对话模式'}）")
    print("输入 'exit' 退出 | 'reset' 清空历史 | 'switch' 切换模型\n")
    
    whileTrue:
        try:
            # 用户输入
            user_input = input("👤 你: ")
            if user_input.lower() == 'exit':
                break
            elif user_input.lower() == 'reset':
                history = []
                print("🔄 历史已清空")
                continue
            elif user_input.lower() == 'switch':
                new_model = input(f"当前模型: {model_name} → 输入新模型名（如 deepseek-r1:7b）: ")
                model_name = new_model.strip()
                model = init_model(model_name)
                chain = build_chain(model, documents)
                print(f"🔄 已切换至模型: {model_name}")
                continue
            
            # 流式输出
            print("\n🤖 AI: ", end="", flush=True)
            full_response = ""
            for chunk in chain.stream({"input": user_input, "history": history}):
                print(chunk, end="", flush=True)
                full_response += chunk
            
            # 更新历史（限制最大长度）
            history.extend([
                HumanMessage(content=user_input),
                AIMessage(content=full_response)
            ])
            history = history[-10:]  # 保留最近10轮对话
            
            print("\n" + "─" * 50 + "\n")
            
        except KeyboardInterrupt:
            print("\n⏹️ 对话已终止")
            break
        except Exception as e:
            print(f"\n❌ 错误: {str(e)}")

4.运行应用程序

这个应用不仅支持纯LLM对话的，还支持RAG的方式进行对话。

if __name__ == "__main__":
    # 示例：带PDF文档的聊天
    # chat(file_path="knowledge.pdf")
    
    # 纯对话模式
    chat()

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】