Langchain系列（一）----手把手教你接入本地部署的ollama大模型，小白上手

最近很多网友后台私信我，因为Langchain官网示例的大多是国外的大模型平台，比如：ChatGPT等，需要科学上网，学习不方便。所以，接下来，我来教大家如何使用Langchain接入本地部署的ollama大模型。

一、Anaconda的安装

在用langchain接入前本地部署的大模型前，你需要先安装部署Anaconda，Anaconda 是一个强大的工具，它通过提供包管理和环境管理功能，简化了科学计算和数据分析的流程，使得开发者和数据科学家能够更高效地进行工作。并且，可以用Anaconda来为你的多个项目创建虚拟环境，用于项目环境的隔离。安装部署Anaconda可以参考这篇文章，讲解得很详细：  https://zhuanlan.zhihu.com/p/75717350

二、安装Ollama

如果电脑上还没有安装pip，先执行如下命令安装pip

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
python3 get-pip.py

安装完毕，如下：

如果已经安装好pip，执行如下命令，查看pip是否安装成功。

pip --version

再执行安装Ollama

pip install ollama

安装结果如下：

在mac笔记本的application下，找到Ollama安装压缩包，需要解压后，安装

安装完毕后，在命令行运行如下命令，可以看见ollama安装成功。

ollama --version

三、部署本地qwen2.5 7b

本地部署qwen2.5 7b模型，请参考：Ollama本地安装qwen2.5 7B模型_ollama run qwen2.5:7b 配置本地 地址-优快云博客

四、验证安装成功

• 验证ollama安装成功
  • 访问"http://ip:11434"，如 "http://localhost:11434"
  • 响应结果："Ollama is running"
• 验证ollama模型下载
  • 访问"http://ip:11434/api/tags"，如 "http://localhost:11434/api/tags"
  • 响应结果列出了已下载大模型列表

五、Langchain接入

5.1 安装依赖

pip install langchain
pip install langchain-ollama

5.2 执行代码

from langchain_ollama import ChatOllama  #引入Ollama的模型
from langchain_core.prompts import ChatPromptTemplate  #引入提示词模板
from langchain_core.output_parsers import StrOutputParser

#实例化
#llm = ChatOllama(base_url="http://127.0.0.1:11434",model="qwen2.5-coder:7b")
llm = ChatOllama(base_url="http://127.0.0.1:11434", model="deepseek-r1:7b")

#提示词模板
prompt = ChatPromptTemplate.from_messages([
    ("system", "你是一名电网专家"),
    ("user", "{input}")
])

#格式化输出
output = StrOutputParser()

#通过langchain的链式服务，生成一个chain，｜表示管道符号
chain = prompt | llm | output

#调用
result = chain.invoke({"input": "如果新能源渗透率高，对电网有什么风险。"})
print(result)

5.3 执行结果

执行结果如下：