AI Agent开发学习系列 - langchain: 本地大模型调用

调用本地大模型的核心价值在于：在保证数据安全、控制成本、提升性能的同时，获得完全的自主控制权。随着硬件性能的提升和模型优化技术的发展，本地大模型正在成为AI应用的重要选择，特别适合对隐私、成本和控制有严格要求的企业和个人用户。

Ollama 是一个开源的本地大模型运行框架，让用户能够在个人电脑上轻松运行各种大语言模型，无需复杂的配置和部署过程。
https://ollama.com/
准备工作：

1. 进入ollama网站下载ollama
2. 下载需要的模型
3. 根据说明运行模型

模型运行好后，进行下面的代码编写。

from langchain_community.llms.ollama import Ollama

llm = Ollama(model="gemma3:1b")
llm.invoke("你好")

输出：

'你好！很高兴与你聊天。有什么我可以为你做的吗？ 😊\n'

这段代码展示了使用 LangChain 调用本地 Ollama 大模型的简洁流程：首先从 langchain_community.llms.ollama 导入 Ollama 类，然后创建实例并指定使用 gemma3:1b 模型，最后通过 invoke() 方法输入"你好"并获取模型回复。
技术要点：

1. 使用 Google 的轻量级 Gemma 3B 模型，适合资源受限环境；
2. 完全本地部署，无需网络连接，数据安全；
3. 与 LangChain 生态完美集成，支持参数配置和流式输出；
4. 体现了本地大模型调用的简洁性和实用性，是入门本地 AI 开发的理想起点。

使用流式

#使用流式
from langchain.callbacks.manager import CallbackManager