离线大模型如何搭建LangChain的开发环境?

DeepSeek介绍及使用ollama本地化部署DeepSeek-R1大模型 Ollama 是一个开源项目,它提供了一个框架和工具,用于在本地环境中运行、部署和管理大型语言模型(LLMs)。Ollama 旨在简化 LLMs 的使用,使得开发者和研究人员能够更容易地在自己的硬件上运行这些模型,而不需要依赖云服务或高性能计算资源。 阅读详情

LangChain 是一套大语言模型 (LLM) 应用开发框架,主打链式编排、任务流程组装,可快速搭建智能对话机器人、智能助手、自动化流程、知识库问答、Agent 智能体。

LangChain 支持对接各类在线大模型,包括OpenAI、文心、通义、讯飞等,也支持加载电脑本地的离线大模型。为避免在线大模型带来的大量Token消耗,接下来以离线大模型为例介绍如何搭建LangChain的开发环境。

一、安装Ollama

AI应用在加载离线大模型时用到了 Ollama ,它的安装包比较大,有1.8G左右,AI应用的智能体开发必须安装Ollama。
Ollama的下载页面为 https://ollama.com/download ,但外网速度较慢下载很耗时,建议访问博主提供的下载链接 https://www.alipan.com/s/gkea9rqEDTU 。

下载回来的Ollama安装包叫做OllamaSetup.exe,双击它即可安装至系统盘的默认目录。若想修改Ollama的安装路径,就要打开命令行,输入下面的安装命令(以安装到E盘为例):

OllamaSetup.exe /DIR="E:\Program Files\Ollama"

等待安装完毕,在安装目录下会找到“ollama app.exe”和“ollama.exe”两个程序,前者提供了可视化界面,而后者用于命令行,AI应用开发主要使用后者。

另外,需确保系统的PATH环境变量中能找到Ollama的安装目录,例如“E:\Program Files\Ollama”。如果PATH环境变量不包含Ollama的安装目录,则需手工添加该目录。

二、下载离线大模型

通过Ollama可以很方便地下载离线大模型,比如在命令行窗口执行下面命令,即可下载大模型qwen2:1.5b:

ollama pull qwen2:1.5b

不过下载回来的离线大模型默认放在系统盘的“C:\Users\你的用户名\.ollama\models”目录下,若想修改大模型的保存目录,就要新建名叫OLLAMA_MODELS的环境变量,并将变量值设为指定路径,例如“F:\ollama_models”,那么后续下载的大模型都会保存到新目录下。

等待大模型下载完毕,在命令行窗口执行下面命令,即可启动Ollama并加载大模型:

ollama serve

然后启动浏览器打开链接“http://localhost:11434/api/tags”,观察是否返回json串,有返回表示启动成功。
比如下面返回的json串表示Ollama已加载大模型qwen2:1.5b:

{
    "models": [
        {
            "name": "qwen2:1.5b",
            "model": "qwen2:1.5b",
            "modified_at": "2026-05-03T17:29:06.9028074+08:00",
            "size": 934964102,
            "digest": "f6daf2b25194025ae2d5288f2afd041997ce48116807a3b612c1a96b09bec03a",
            "details": {
                "parent_model": "",
                "format": "gguf",
                "family": "qwen2",
                "families": [
                    "qwen2"
                ],
                "parameter_size": "1.5B",
                "quantization_level": "Q4_0"
            }
        }
    ]
}

三、安装LangChain

在命令行窗口执行下面命令,即可安装LangChain及其用到的Ollama插件:

pip install langchain langchain-core langchain-ollama

在命令行窗口执行下面命令,可查看当前三个LangChain的安装版本,建议三个版本都不低于1.0:

pip show langchain
pip show langchain-core
pip show langchain-ollama

然后编写Python测试代码如下,由LangChain调用离线大模型qwen2:1.5b来回答问题:

from langchain_ollama import OllamaLLM

# 连接本地离线大模型(Ollama)
llm = OllamaLLM(model="qwen2:1.5b")

# 提问
response = llm.invoke("介绍一下人工智能")
print(response)

运行上面的Python代码,输出日志结果如下:

人工智能(Artificial Intelligence,简称AI)是一种技术,旨在构建计算机程序和系统来模拟人类智能。这些系统可以学习、推理、思考、判断、解决问题和自我优化,并且能够完成复杂的任务,如语音识别、图像处理、自然语言处理等。人工智能的研究领域包括机器学习、深度学习、强化学习和认知科学等。

可见大模型正常输出回答内容,即介绍了人工智能的概念及其应用领域,正确执行的问答结果说明LangChain已经成功安装。

想入门 AI 大模型却找不到清晰方向?备考大厂 AI 岗还在四处搜集零散资料?

别再浪费时间啦!2026 年 AI 大模型全套学习资料已整理完毕,从学习路线到面试真题,从工具教程到行业报告,一站式覆盖你的所有需求,现在全部免费分享!

👇👇扫码免费领取全部内容👇👇

​

一、学习必备:100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT,帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例?大模型电子书?这份资料帮你站在 “行业高度” 学 AI:

1. 100+本大模型方向电子书

在这里插入图片描述

2. 26 份行业研究报告:覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容,涵盖:

  • 职业趋势:《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》;
  • 商业落地:《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》;
  • 领域细分:《AGI 在金融领域的应用报告》《AI GC 实践案例集》;
  • 行业监测:《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT:听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会,包含百度、腾讯、字节等企业的一线实践:

在这里插入图片描述

  • 安全方向:《端侧大模型的安全建设》《大模型驱动安全升级(腾讯代码安全实践)》;
  • 产品与创新:《大模型产品如何创新与创收》《AI 时代的新范式:构建 AI 产品》;
  • 多模态与 Agent:《Step-Video 开源模型(视频生成进展)》《Agentic RAG 的现在与未来》;
  • 工程落地:《从原型到生产:AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看:大厂 AI 岗面试 “弹药库”,300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗?这份面试资料帮你提前 “押题”,拒绝临场慌!

1. 107 道大厂面经:覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景,包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题,每道题都附带思路解析:

2. 102 道 AI 大模型真题:直击大模型核心考点

针对大模型专属考题,从概念到实践全面覆盖,帮你理清底层逻辑:

3. 97 道 LLMs 真题:聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案,比如让很多人头疼的 “复读机问题”:


三、路线必明:AI 大模型学习路线图,1 张图理清核心内容

刚接触 AI 大模型,不知道该从哪学起?这份「AI大模型 学习路线图」直接帮你划重点,不用再盲目摸索!

在这里插入图片描述

路线图涵盖 5 大核心板块,从基础到进阶层层递进:一步步带你从入门到进阶,从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段:了解大模型的基础知识,以及大模型在各个行业的应用和分析,学习理解大模型的核心原理、关键技术以及大模型应用场景。

img

L2阶段:攻坚篇丨RAG开发实战工坊

L2阶段:AI大模型RAG应用开发工程,主要学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。

img

L3阶段:跃迁篇丨Agent智能体架构设计

L3阶段:大模型Agent应用架构进阶实现,主要学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造Agent智能体。

img

L4阶段:精进篇丨模型微调与私有化部署

L4阶段:大模型的微调和私有化部署,更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调,并通过Ollama、vLLM等推理部署框架,实现模型的快速部署。

img

L5阶段:专题集丨特训篇 【录播课】

img
四、资料领取:全套内容免费抱走,学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型,还是有基础想冲刺大厂、了解行业趋势,这份资料都能满足你!
现在只需按照提示操作,就能免费领取:

👇👇扫码免费领取全部内容👇👇

​

2026 年想抓住 AI 大模型的风口?别犹豫,这份免费资料就是你的 “起跑线”!

[特殊字符]本地部署+全面测评!阿里最强全模态大模型Qwen3-Omni史诗级更新!OCR能力、音频识别、视频理解无所不能!Qwen3-Omni-30B-A3B-Instruct支持语音输出 如果你正在寻找。 阅读详情

相关推荐

本地部署LLM(Ollama和Open-WebUI)

LLM(大语言模型)因为对设备的性能要求比较高,一般是部署在云端,通过网络远程访问。那么想在本地部署(玩一玩)能不能做到呢?Ollama就是实现这个目的的工具。Ollama是一个由Facebook AI Research开发的开源、轻量级且高效的大型语言模型(LLM)框架。它旨在使研究人员和开发人员能够更轻松地在自己的硬件上部署和运行LLM,而无需专门的云计算资源。Ollama提供了一个简单直观的界面,用于加载、运行和评估LLM。它还支持各种自定义选项,允许用户根据特定需求定制LLM。

Morejay的博客 5533

Qwen3-Omni 本地部署指南

通过以上步骤,Qwen3-Omni-30B-A3B-Instruct 成功部署在端口 9137,优化参数和音频预处理可确保高质量转录。若需进一步调试,提供日志、nvidia-smi输出或转录结果。

Sun_Seeker的博客 2703

从开发到部署,搭建离线私有大模型知识库

最近一段时间搭建了一套完整的私有大模型知识库,目前完整的服务已经完成测试部署上线。基本之前的实践过程,从工程角度整理技术方案以及中间碰到的一些问题,方便后续对这个方向有需求的研发同学们。本文是搭建离线私有大模型知识库的一次完整实践,整理了主要的实现方案以及离线部署中碰到的一些问题,记录的版本还是一个初步验证版本,知识库的实践还需要对中间环节进行大量调优,目前存在大量的论文进行这方面的研究,个人也在持续进行多轮的迭代调优,后续会持续整理和分享中间碰到的有价值的内容,欢迎持续关注。

易迟的专栏 2411

不知部署哪个版本?一文看懂Qwen3本地部署的配置要求

这几天在公众号和知乎也一直有朋友问「XX配置能部署多少B的模型」、「能不能部署更高精度的量化模型」等等问题,今天我们就来聊聊这个。在开始说显存占用之前,我们先要了解一些基础信息和概念。

2401_85390073的博客 6141

10BASE-T1S协议中的PLCA机制:实现无碰撞网络传输的关键

本文深入解析了10BASE-T1S协议中的PLCA(物理层冲突避免)机制。作为IEEE 802.3cg标准的关键部分,PLCA通过循环调度与机会传递,从根源上避免了网络碰撞,为工业与汽车等场景提供了确定性的低延迟传输保障,是实现可靠实时通信的核心技术。

weixin_29250403的博客 210

H3C模拟器HCL防火墙路由模式主备配置实验

摘要:本文详细介绍了网络拓扑规划与设备配置方案。运营商仅提供一个接口地址,通过虚IP技术实现双防火墙高可用部署:主备防火墙分别配置10.20.10.1/29和10.20.10.2/29作为实际上联地址,共享10.10.10.2/24虚IP;下联配置172.168.10.0/24网段,核心交换机配置VLAN接口及192.168.10.1、192.168.20.1两个下联接口。文章包含运营商路由器、防火墙(HA配置、VVRP设置)和核心交换机的具体命令行配置步骤,并强调需进行主备切换验证。整个方案实现了单运营商

LQ的博客 1124

15天学会AI应用开发(十四)搭建LangChain的开发环境

LangChain 是一套大语言模型 (LLM) 应用开发框架,主打链式编排、任务流程组装,可快速搭建智能对话机器人、智能助手、自动化流程、知识库问答、Agent 智能体。LangChain 支持对接各类在线大模型,包括OpenAI、文心、通义、讯飞等,也支持加载电脑本地的离线大模型。为避免在线大模型带来的大量Token消耗,接下来以离线大模型为例介绍如何搭建LangChain的开发环境。

aqi00的博客 288

深度探索:机器学习中的最大似然估计(MLE)原理及其应用

最大似然估计作为统计推断的核心方法,在机器学习领域具有广泛的应用价值和深远影响。尽管存在对模型假设敏感、易受异常值影响等局限性,但其直观的原理、坚实的理论基础以及高效的实现方式使其在实践中仍占据主导地位。随着深度学习、强化学习等新兴领域的快速发展,最大似然估计将继续演化并适应新的模型结构与优化框架。同时,结合现代优化算法、并行计算技术以及贝叶斯方法的融合,最大似然估计有望在保持其核心优势的同时,进一步提升参数估计的准确性和鲁棒性,为未来的机器学习研究与应用开辟更广阔的道路。

qq_51320133的博客 1万+

Python + LangChain 环境搭建完全指南:从零构建本地 RAG 知识库(附 Ollama 本地模型集成)

本文是一份详细的Python+LangChain环境搭建指南,教你从零构建本地RAG知识库系统。文章首先介绍了RAG技术的工作原理及其相较于纯LLM的优势,然后分步骤讲解环境准备:包括Python版本要求、Ollama本地模型服务的安装配置,以及创建Python虚拟环境。接着详细说明了LangChain生态相关依赖包的安装方法,并提供了国内镜像加速方案。教程特色在于全程本地化处理,结合Ollama运行开源大模型(Qwen2.5/LLaMA3)和ChromaDB向量数据库,实现数据隐私保护。通过本指南,读者将

lbbxmx111的博客 502

Rockchip RK3566 Buildroot SDK构建与内核编译实战指南

嵌入式Linux开发中,交叉编译环境是系统启动的基础支撑。Buildroot作为轻量级嵌入式构建框架,通过配置驱动、自动化下载和分层编译机制,显著降低定制化Linux发行版的集成门槛。其核心价值在于将内核、根文件系统与工具链统一管理,兼顾资源约束下的确定性构建与工程可复现性。典型应用场景涵盖ARM64平台(如RK3566)的固件开发、IoT设备量产镜像生成及硬件Bring-up阶段的快速验证。本文围绕Buildroot SDK全流程实践,深入解析环境搭建、Repo源码同步、离线DL库预置及内核编译等关键环节

weixin_36047538的博客 137

MicroCap声学仿真介绍(四)-扬声器仿真

将“障板”模块放置到工作区,“Param:AREAm2=”是指的是障板孔的面积,一般可以输入喇叭的面积Sb;“Param:DISTm=”指的是测试麦克风与障板的距离,这里我们可以填入1米,小喇叭可以填入0.1m;此时工作区的电阻是竖直的,为了方便,我们需要将其变成水平的。其中,频率范围为20~20KHz,仿真点数为500个点,先仿真频响曲线和相位曲线,点击左上角的run,界面如下。鼠标单击工作区,弹出如下界面:在弹出的界面中输入“.define Re 3.82 “,点击”确定“按钮。

山无忧的博客 3008

离线知识库服务(Langchain-Chatchat)本地搭建

AI Agent(人工智能体)是一种能够感知环境、进行决策和执行动作的智能实体。不同于传统的人工智能,AI Agent 具备通过独立思考、调用工具去逐步完成给定目标的能力。这个也是AutoGPT开源项目之后的一个新概念,通俗的来讲,就是这个大模型里集成了很多的工具,你可以让大模型自动调用你的工具来实现相关的业务,而这样的工具可能非常的多。就像RPA工具一样,而发号施令的人已经从人,换成了大模型本身而已。

蓝创精英团队 1万+

无线充电Qi协议正向通信FSK的解调设计

常见的FSK解调方法是使用频率锁相环(PLL)来跟踪输入信号中的频率变化。PLL根据输入信号的频率变化来生成数字信号,从而实现FSK信号的解调。本文将详细介绍无线充电Qi协议正向通信FSK的解调设计,并提供相应的源代码。在上述示例代码中,我们首先定义了FSK解调的参数,包括采样率、载波频率、每个比特的持续时间和比特判定阈值。最后,通过比较滤波后的信号与比特判定阈值,我们将解调后的数字数据转换为0和1的序列。请注意,上述代码仅为示例,实际的解调设计可能需要根据具体的应用场景和系统要求进行调整和优化。

IunScala的博客 2446

Windows使用Langchain-Chatchat与Ollama搭建本地离线知识库

为避免依赖冲突,请将 Langchain-Chatchat 放在 Python 虚拟环境中, 比如 conda, venv, virtualenv 等。基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现,开源、可离线部署的 RAG 与 Agent 应用项目。需要删除ollama之外的所有其他工具的配置,仅保留ollama相关配置。下载并安装,当前安装版本为v0.3.14。若不设置该环境变量,则自动使用当前目录。均可使用默认配置,需要修改可以参考。当前版本v0.3.1.3。

snolkmg的博客 4335

从开发到生产:Power APP 的应用和编程实践

一旦您在开发环境中完成了应用程序的开发、调试和测试,就可以将其部署到生产环境中供用户使用。在 Power APP Studio 中,您可以选择将应用程序发布到 Power APP 网关或将其嵌入到其他应用程序中。使用 Power APP Studio 内置的调试工具,您可以逐步执行应用程序并查看变量的值,以确保逻辑的正确性。在上述代码中,我们通过将两个文本输入框(TextInput1 和 TextInput2)中的文本转换为数字,并将它们相加,将结果存储在 Result 变量中。

2301_79326510的博客 1505

Python爬虫实战:模拟登录知乎 – 通过加密参数和验证码实现自动登录

通过本篇博客的讲解,我们学习了如何通过 POST请求 和 验证码识别,模拟登录知乎并爬取用户信息、问题数据。随着爬虫技术的发展,面对更复杂的反爬虫机制,我们可以不断调整策略,以绕过这些防护,实现数据的自动化抓取。

2201_76125261的博客 731

使用LangChain和中文羊驼2.0搭建离线版的ChatPDF

python代码解读复制代码n_gpu_layers = 1。

m0_64752471的博客 2461

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

搭建LangChain的开发环境

一、安装OllamaAI应用在加载离线大模型时用到了 Ollama ,它的安装包比较大,有1.8G左右,AI应用的智能体开发必须安装Ollama。Ollama的下载页面为 https://ollama.com/download ,但外网速度较慢下载很耗时,建议访问博主提供的下载链接 https://www.alipan.com/s/gkea9rqEDTU。下载回来的Ollama安装包叫做OllamaSetup.exe,双击它即可安装至系统盘的默认目录。

IV6s1LSz8的博客 208

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

从开发到部署,搭建离线私有大模型知识库_离线大模型

最近一段时间搭建了一套完整的私有大模型知识库,目前完整的服务已经完成测试部署上线。基本之前的实践过程,从工程角度整理技术方案以及中间碰到的一些问题,方便后续对这个方向有需求的研发同学们。本文是搭建离线私有大模型知识库的一次完整实践,整理了主要的实现方案以及离线部署中碰到的一些问题,记录的版本还是一个初步验证版本,知识库的实践还需要对中间环节进行大量调优,目前存在大量的论文进行这方面的研究,个人也在持续进行多轮的迭代调优,后续会持续整理和分享中间碰到的有价值的内容,欢迎持续关注。

2401_85375298的博客 1462

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

上一篇: AI Coding 不只靠 Prompt:Agent 工程闭环如何接入 DevOps
下一篇: LangChain从零到技术进阶:使用LangChain封装AI执行链
AI_小站
博客等级 码龄3年 6255粉丝 1155原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值