深入浅出学习 LLM大语言模型的开发利器langchain

简介

最近随着chatgpt的兴起，人工智能和大语言模型又再次进入了人们的视野，不同的是这一次像是来真的，各大公司都在拼命投入，希望能在未来的AI赛道上占有一席之地。因为AI需要大规模的算力，尤其是对于大语言模型来说。大规模的算力就意味着需要大量金钱的投入。那么对于小公司或者个人来说是不是什么都做不了呢？

当然不是，虽然小公司或者个人不能开发底层的大语言模型，但是我们可以在大语言模型之上进行应用开发，这应该就是我们现在能做到的。

今天给大家介绍一个大语言模型的开发框架langchain，有了它，在AI的世界，你可以如虎添翼。

什么是langchain

简单来说，langchain是一个基于大语言模型只上的开发框架，有了他，我们就可以轻松在各种大模型之上进行实际应用的开发。

langchain的主要特点有两个，第一点就是组件化。langchain提供了各种封装好的组件供我们使用，大大缩短了我们开发的时间。

第二点就是提供了工具链，可以组装各种组件，从而实现更加复杂的功能。

langchain的安装

废话不多说，我们来看下langchain是如何安装的。

AI时代大家一定要学一下python，至于为什么要学习python呢？因为其他语言都不好使…

langchain实际上是python的一个开发包，所以可以通过pip或者conda两种方式来安装：

pip安装：

pip install langchain

conda安装：

conda install langchain -c conda-forge

默认情况下上面的安装方式是最简单的安装，还有很多和langchain集成的modules并没有安装进来，如果你希望安装common LLM providers的依赖模块，那么可以通过下面的命令：

pip install langchain[llms]

如果你想安装所有的模块，那么可以使用下面的命令：

pip install langchain[all]

因为langchain是开源软件，所以你也可以通过源代码来安装,下载好源代码之后，通过下面的命令安装即可：

pip install -e .

langchain快速使用

下面我们以几个具体的例子来讲解一下langchain如何使用的。

因为langchain只是一个大语言模型上的开发框架，它的所有的能力都是依赖于大语言模型的，所以在使用langchain之前，我们需要一个大语言模型，最简单同时也是最强大的大语言模型就是openai的chatgpt了。

接下来我们就以接入openai为例子进行讲解。

当然langchain也可以接入其他的大语言模型框架，后面的系列教程中我们会详细讲解。

要使用openai，必须先注册一个openai的账号，然后拿到openai的api key。

具体的注册流程这里就不讲了。大家可以自行参考网络上的各种教程。

有了api key之后，我们需要配置一下环境变量：

export OPENAI_API_KEY="..."

然后安装openai的包：

pip install openai

接下来就可以愉快的使用openai提供的各种功能了。

当然，如果你不想在环境变量中配置openai的key，我们也可以在OpenAI的构造函数中传入openai_api_key:

from langchain.llms import OpenAI

llm = OpenAI(openai_api_key="...")

构建应用

有了上面的准备工作，接下来我们就可以开始使用langchain了。

当然，最最基础的一个应用就是跟大模型交互了，比如跟openai交互，我们可以让openai给我们写首诗：

>>> from langchain.llms import OpenAI
>>> llm = OpenAI(temperature=0.9)
>>> llm.predict("请以古龙的口吻，写首关于春天诗")

春天来了，万物复苏，
终于迎来了一个新的时辰，
草儿花儿抬起头，
喜迎新绿与绚丽的颜色。

山林里，小草发芽，
河畔边，花儿香烈，
这让我们感到心旷神怡，
这真是一个美好的世界。

春天来了，列位朋友，
请喜迎这样一个新时辰，
不要抱怨什么，
享受春的温暖与欣慰。

虽然写出来了，但是我觉得写的一般般吧。

但是这不重要，我们知道了如何通过langchain来调用openai的大模型，这个才是最重要的。

聊天模式

上面我们调用LLM使用用的是"text in, text out"的模型。

虽然聊天模式也是基于LLM，但是他更进了一步，因为他保存了会话的上下问题，所以在对话上更加智能化。

在代码上，传入的就不是文本了，而是message对象。

在langchain中，目前支持下面几种消息类型：AIMessage, HumanMessage, SystemMessage 和 ChatMessage。

在绝大多数情况下，我们只需要用到AIMessage, HumanMessage, SystemMessage即可。

下面是使用的代码例子：

from langchain.chat_models import ChatOpenAI
from langchain.schema import (
    AIMessage,
    HumanMessage,
    SystemMessage
)

chat = ChatOpenAI(temperature=0)
chat.predict_messages([HumanMessage(content="请以古龙的口吻，写首关于春天诗")])

那么聊天模式和LLM模式有什么不一样呢？

大家可以看到，聊天模式调用的是predict_messages接口， 而LLM模式调用的是predict接口。

事实上聊天模式底层还是使用的是LLM，为了方便大家的使用，你也可以直接使用chat.predict方法来进行LLM方式的调用，如下所示：

chat.predict("请以古龙的口吻，写首关于春天诗")

Prompt的模板

开发过LLM应用的人都知道，在LLM中Prompt是非常重要的，一个好的Prompt直接决定了这个应用的质量。

但是Prompt肯定需要结合用户的输入和我们自己做的一些限定来结合使用。

这时候就需要用到Prompt的模板功能了。 我们可以在系统中设置好模板，用户只需要填充模板中的特定消息即可。

在LLM模式中，可以使用PromptTemplates，这样来写：

from langchain.prompts import PromptTemplate

prompt = PromptTemplate.from_template("请帮忙我详细描述一下这个物体，这个物体的名字是: {object}?")
prompt.format(object="猫")

最后生成的结果如下：

请帮忙我详细描述一下这个物体，这个物体的名字是: 猫

如果是在chat models中，代码会复杂一点点，但是逻辑实际上是一样的。 在chat models中，需要用到几种MessagePromptTemplate，比如：ChatPromptTemplate,SystemMessagePromptTemplate和HumanMessagePromptTemplate。

我们具体来看下如何使用：

from langchain.prompts.chat import (
    ChatPromptTemplate,
    SystemMessagePromptTemplate,
    HumanMessagePromptTemplate,
)

template = "现在，你的角色是{your_role}, 请根据你的角色回答后续的问题."
system_message_prompt = SystemMessagePromptTemplate.from_template(template)
human_template = "{text}"
human_message_prompt = HumanMessagePromptTemplate.from_template(human_template)

chat_prompt = ChatPromptTemplate.from_messages([system_message_prompt, human_message_prompt])

chat_prompt.format_messages(your_role="教师", text="世界上最远的地方是哪里？")

对应的输出如下：

[
    SystemMessage(content="现在，你的角色是教师, 请根据你的角色回答后续的问题.", additional_kwargs={}),
    HumanMessage(content="世界上最远的地方是哪里？")
]

非常完美。

Chains

langchain还有一个非常有用的功能就是Chains，他可以把多种不同的功能结合起来。

比如上面我们用到了LLM，还用到了Prompt的模板，那么我们可以用Chains把他们结合起来：

from langchain.chains import LLMChain

chain = LLMChain(llm=llm, prompt=prompt)
chain.run("猫")

当然，也可以结合chat使用：

from langchain import LLMChain
from langchain.chat_models import ChatOpenAI
from langchain.prompts.chat import (
    ChatPromptTemplate,
    SystemMessagePromptTemplate,
    HumanMessagePromptTemplate,
)

chat = ChatOpenAI(temperature=0)

template = "现在，你的角色是{your_role}, 请根据你的角色回答后续的问题."
system_message_prompt = SystemMessagePromptTemplate.from_template(template)
human_template = "{text}"
human_message_prompt = HumanMessagePromptTemplate.from_template(human_template)
chat_prompt = ChatPromptTemplate.from_messages([system_message_prompt, human_message_prompt])

chain = LLMChain(llm=chat, prompt=chat_prompt)
chain.run(your_role="教师", text="世界上最远的地方是哪里？")

Agents

什么是agents? 从字面意义上看，Agents就是代理。

事实上langchain中的Agents就是代理的意思。

比如我们现在需要向openai询问昨天的天气，但是openai本身只是一个大模型，它并不知道实时的信息。但是通过agents就可以先进行一次判断，看看这个问题是交给大模型处理合适，还是交给搜索引擎来查询比较合适。

这就是agents的作用。

agents利用LLM来判断需要怎么处理这个任务，并且以什么样的顺序来处理这个任务。

但是使用agents是要有些条件的，首先你这个LLM模型必须支持agent，这样才能进行后续的工作。

其次是需要挑选合适的工具来进行你想要做的事情，比如：Google Search, Database lookup, Python REPL等等。

最后就是需要指定支持的agent的名字，这样LLM才知道到底需要进行哪种action。

下面是一个使用SerpAPI结合openai来进行搜索的例子：

from langchain.agents import AgentType, initialize_agent, load_tools
from langchain.llms import OpenAI

# The language model we're going to use to control the agent.
llm = OpenAI(temperature=0)

# The tools we'll give the Agent access to. Note that the 'llm-math' tool uses an LLM, so we need to pass that in.
tools = load_tools(["serpapi", "llm-math"], llm=llm)

# Finally, let's initialize an agent with the tools, the language model, and the type of agent we want to use.
agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)

# Let's test it out!
agent.run("What was the high temperature in SF yesterday in Fahrenheit? What is that number raised to the .023 power?")

agent比较复杂，功能也很强大，后续我们会详细讲解。

Memory

最后要讲解的langchain的一个功能就是Memory。

因为很多时候，我们的应用应该是一个有状态的，也就是说应用需要知道你之前做了什么，这样才可以给用户提供更好的服务。

但是之前我们将的LLM或者chain都是无状态的。

所以langchain提供了一个Memory的功能，可以把之前的输入输出保存起来，方便后续的使用。

总结

有了langchain的各种工具，现在你就可以快速开发一个属于你自己的LLM应用啦。

如何系统的去学习AI大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。
• 内容：
  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
    - L1.4.1 知识大模型
    - L1.4.2 生产大模型
    - L1.4.3 模型工程方法论
    - L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
• 内容：
  • L2.1 API接口
    - L2.1.1 OpenAI API接口
    - L2.1.2 Python接口接入
    - L2.1.3 BOT工具类框架
    - L2.1.4 代码示例
  • L2.2 Prompt框架
    - L2.2.1 什么是Prompt
    - L2.2.2 Prompt框架应用现状
    - L2.2.3 基于GPTAS的Prompt框架
    - L2.2.4 Prompt框架与Thought
    - L2.2.5 Prompt框架与提示词
  • L2.3 流水线工程
    - L2.3.1 流水线工程的概念
    - L2.3.2 流水线工程的优点
    - L2.3.3 流水线工程的应用
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
• 内容：
  • L3.1 Agent模型框架
    - L3.1.1 Agent模型框架的设计理念
    - L3.1.2 Agent模型框架的核心组件
    - L3.1.3 Agent模型框架的实现细节
  • L3.2 MetaGPT
    - L3.2.1 MetaGPT的基本概念
    - L3.2.2 MetaGPT的工作原理
    - L3.2.3 MetaGPT的应用场景
  • L3.3 ChatGLM
    - L3.3.1 ChatGLM的特点
    - L3.3.2 ChatGLM的开发环境
    - L3.3.3 ChatGLM的使用示例
  • L3.4 LLAMA
    - L3.4.1 LLAMA的特点
    - L3.4.2 LLAMA的开发环境
    - L3.4.3 LLAMA的使用示例
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
• 内容：
  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

学习计划：

• 阶段1：1-2个月，建立AI大模型的基础知识体系。
• 阶段2：2-3个月，专注于API应用开发能力的提升。
• 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
• 阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的所有 ⚡️ 大模型 LLM 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

全套 《LLM大模型入门+进阶学习资源包》↓↓↓ 获取~

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​