【源码解析】Ollama与Qwen集成LangChain：从模型加载到调用

已于 2025-03-02 12:01:26 修改
阅读量774 收藏 22
点赞数 19
CC 4.0 BY-SA版权
分类专栏： DeepSeek+LangChain与LangGraph实战 文章标签： python pip 算法 docker 机器学习 人工智能 神经网络
于 2024-11-04 16:30:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chuweiyan/article/details/143485504

国产大模型实践

如何灵活调用国产大模型

在人工智能实践过程中，涉及到如何灵活调用国产大模型，因为网络连接原因，OpenAI在国内难以连接使用，那么在实践中我们通常会使用国产大模型比如Qwen或者智普大模型来代替。

科研云服务器选择(代码中需要用到GPU)

我通常使用AutoDL来运行大模型：

  1. 付费方式 ，按量计费，可以随时打开关闭服务，价格便宜；
  2. 可以使用MobaXterm等工具来连接；
  3. 支持JupyterLab等；
  4. 可灵活选择服务器配置，灵活选择Pytorch等版本。
    在这里插入图片描述

ollama+qwen+langchain

安装Qwen需要5分钟左右，可以使用学术资源加速提升下载速度

source /ect/network_turbo

了解本专栏 订阅专栏 解锁全文 超级会员免费看
ollama教程——使用LangChain调用Ollama接口实现ReAct
walkskyer的博客
08-06 1553
简化配置：Ollama将模型权重、配置和数据捆绑在一起，从而优化了设置和配置细节。用户无需过多关注GPU使用情况，可以专注于模型的应用。易用性：安装过程相对简单，例如macOS用户可以直接从官网下载安装包并运行，而Windows用户则可以通过WSL 2以Linux方式进行安装。这种便捷性使得更多开发者能够轻松上手。支持量化：Ollama支持模型量化，这一特性可以显著降低显存要求。例如，通过4-bit量化，可以将FP16精度的权重参数压缩为4位整数精度，从而大幅减小模型权重体积和推理所需显存。
Ollama教程——模型：如何将模型高效导入到ollama框架
walkskyer的博客
04-08 1万+
本教程详细介绍了如何将GGUF、PyTorch和Safetensors格式的模型导入到ollama框架中。通过一系列步骤，从环境准备、模型转换和量化，到最终的模型创建和运行，我们为开发者提供了一个清晰的指南。此外，我们还探讨了如何发布模型到ollama平台，使得模型可以被更广泛地分享和应用。ollama框架提供了一个灵活、高效的解决方案，帮助开发者在各种环境中部署和运行机器学习模型。无论您是想将现有模型快速部署到生产环境，还是希望探索新的模型架构，ollama都能为您提供所需的工具和资源。
【AI提升】AI利器Tool Call/Function Call(二):OpenAI/qwen-agent/LangChain/Ollama
旭日跑马踏云飞的专栏
06-28 4663
在目前AI的世界里，各大模型都还是跟着OpenAI在跑，API也尽量跟OpenAI保持一致。所以这里大致会有三个场景：OpenAI，其余模型自身的封装-这里选择qwen-agent，以及通用封装框架-这里选择LangChain和Ollama。这里通过 Tool Call/Function Call 这个概念来比较在上面三种场景中的使用区别。
运用Ollama部署大语言模型Qwen
拥有必珍惜
07-18 1873
大语言模型（Large Language Model，简称LLM）是一种基于深度学习技术的人工智能模型，它能够处理和生成自然语言文本。最近两年大语言模型比较火热，而且使用过程中大家也比较担心的就是数据泄露问题(比如数据被收集用作更大模型训练)，所以想在本地服务器上搭建一个大语言模型服务，这样对于数据泄露也不用那么担心了。本地搭建，我们会使用一些开源的工具和开源的大语言模型。以上是本地通过Ollama搭建大语言模型服务，并且同时搭建一套Open WebUI的方法。“笑对人生，智慧同行！
大模型部署工程师进阶指南：从零开始部署Ollma和Qwen大模型
最新发布
2401_85375186的博客
04-25 1778
如果你真的想学习大模型，请不要去网上找那些零零碎碎的教程，真的很难学懂！你可以根据我这个学习路线和系统资料，制定一套学习计划，只要你肯花时间沉下心去学习，它们一定能帮到你！
Langchain中使用Ollama提供的Qwen大模型进行Function Call实现天气查询、网络搜索
python1234567_的博客
06-17 4445
Function Call，或者叫函数调用、工具调用，是大语言模型中比较重要的一项能力，对于扩展大语言模型的能力，或者构建AI Agent，至关重要。
学习笔记：使用Ollama项目快速本地化部署Qwen 1.5模型
weixin_42118737的博客
05-16 6065
本文记录了采用Ollama项目快速本地部署运行qwen1.5模型。
使用Ollama简单部署本地Qwen2
一个今天胜过两个明天
06-11 3595
Ollama 是一个开源的、本地运行的 AI 聊天模型，允许在自己的设备上运行 LLM，无需依赖云服务。运行完成后就可以和大模型对话了，不过ollama 只有命令行模式运行，这里我下载了chatbox软件来运行，打开软件 模型设置选择ollama 以及 对应的ollama模型。windows下选择exe ，然后运行安装，安装完成后。1.5b就是对应安装Qwen2 1.5b大模型，如果使用7b 就是 ollama run qwen2:7b。首先安装ollama， 访问官网 下载 ollama 对应版本。
基于LangChain-Chatchat + Ollama + Qwen2-7b搭建本地私有中文知识库和 chatGPT（Ubuntu24 纯CPU）
我hate吃西红柿
09-26 4711
目前好多优秀的开源大模型，如Meta的 llama 3.1、阿里的 qwen2、谷歌的 gemma2，都各有千秋，甚至媲美 chatGPT-4，最近公司准备搭建一套知识库，从数据安全考虑，准备利用网上开源的大模型和部署框架搭一套试试效果，这里记录下过程。
ollama教程——使用Ollama与LangChain实现Function Calling(函数调用)的详细教程（二）【附完整源码】
walkskyer的博客
07-15 2281
Ollama 是一个开源框架，专门设计用于在本地运行大型语言模型。它的主要特点是将模型权重、配置和数据捆绑到一个包中，从而优化了设置和配置细节，包括 GPU 使用情况，简化了在本地运行大型模型的过程。Ollama 支持 macOS 和 Linux 操作系统，并且已经为 Windows 平台发布了预览版。Ollama 的一个重要优势是其易用性。安装过程简单，例如在 macOS 上，用户可以直接从官网下载安装包并运行。对于 Windows 用户，官方推荐在 WSL 2 中以 Linux 方式使用命令安装。
Ollama教程——生成内容API：利用Ollama的原生API进行AI应用开发
walkskyer的博客
04-22 1万+
在深入探讨ollama的API接口之前，让我们先了解一下API接口的基本概念及其在软件开发中的作用。API，或称应用程序编程接口，是一套明确定义的通讯方法，允许不同软件应用之间交换数据和功能。它们是现代软件开发不可或缺的一部分，尤其是在构建模块化、可扩展和维护性强的系统时。在使用生成完成（Generate a Completion）API时，精确而具体的提示词将大大提高生成内容的相关性和质量。例如，在构建聊天机器人时，根据上下文和用户的具体问题设计提示词，能够使回答更加准确和自然。
基于LangChain调用本地部署（Ollama）的大模型Qwen(2)
weixin_44217158的博客
09-04 2407
然而，对于一些对数据安全和响应速度有较高要求的应用场景，将模型部署在本地成为了一种常见的选择。本文将详细介绍如何使用LangChain框架来调用本地部署的Ollama大模型，具体来说是如何调用Qwen模型。未来，随着更多模型的支持和技术的进步，这种方式将会变得更加普遍和高效。通过Ollama，开发者可以轻松地加载和运行不同的模型，而无需关心底层的技术细节。接下来，我们将展示如何使用LangChain中的Ollama类来创建一个模型实例，并通过它来获取Qwen模型的响应。LangChain简介。
使用ollama本地部署qwen2并api调用
热门推荐
XZH_iD的博客
06-23 2万+
ollama是一个集成了许多模型的工具，自带实现了API的整合和调用，只需要命令就可以运行一些支持的常见大模型，且支持对gguf类型的模型进行部署。微调模型可以直接压缩成这个类型的文件，对后续微调模型提供基础。
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 1617
AI菜鸟向前飞 — LLM简介
langchain_ollama调用函数
坚持自己的梦想
04-15 1166
在langchain中,结合ollama调用函数
使用 Ollama 运行 Qwen2.5.1-Coder-7B-Instruct
engchina的专栏
11-11 2465
使用 Ollama 运行 Qwen2.5.1-Coder-7B-Instruct
OLLAMA部署qwen:7b,与fastgpt集成
wengad的博客
04-18 4632
它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama 2。这里使用的是4.6.8的版本，这里是从github上拉了分支，直接部署在操作系统上的，如果是docker安装，那么请修改对应映射出来的config.local.json,然后重启fastgpt容器即可。注：本文章默认之前fastgpt都已经配置好了，这次只是新增一个qwen:7b的模型对接。在渠道清单中，点击刚才创建的渠道条目的“测试”按钮，如果配置没问题，那么测试可以通过。
ollama 部署自己微调的qwen模型
weixin_40957334的博客
10-11 1383
TEMPLATE，4：部署。
ollama + qwen2.5:7b + vscode + 3060显卡部署本地大模型实现ai辅助代码编写
比尔·马云的博客
02-08 1374
window电脑本地部署ollama+qwen2.5:7b集成vscode
ollama教程加载qwen2.5:3b模型
04-03
### Ollama教程中加载Qwen2.5:3b模型的方法 在Ollama本地部署环境中，加载特定的大规模语言模型（如Qwen2.5:3b）通常涉及配置Docker容器以及指定相应的参数。以下是基于已知信息和标准操作流程的内容： #### Docker命令中的关键部分解析 为了运行带有GPU支持的Qwen2.5:3b模型，可以参考通用的Docker镜像启动方式，并调整具体选项来适配目标模型版本[^2]。 1. **端口映射** - `-p 3000:8080` 表示将主机上的3000端口映射到容器内的8080端口。 2. **启用GPU加速** - `--gpus all` 参数用于分配所有的可用GPU资源给容器实例，这对于处理大规模AI计算至关重要。 3. **数据卷挂载** - `-v open-webui:/app/backend/data` 创建了一个名为open-webui的数据卷并将其绑定至应用目录下的data子文件夹路径上，便于持久化存储相关设置或缓存资料。 4. **重启策略设定** - `--restart always` 确保即使发生意外停止情况也能自动恢复服务状态。 5. **镜像源地址** - 使用官方提供的ghcr.io仓库链接作为基础镜像来源(`ghcr.io/open-webui/open-webui:cuda`) ，其中包含了必要的CUDA驱动程序以充分利用NVIDIA硬件性能优势。 #### 配置Qwen2.5:3b模型的具体步骤说明 尽管上述例子未明确提及如何切换不同大小变体(例如从默认版转为更轻量级的3Billion Parameters版本)，但一般可通过如下几种途径实现自定义需求: - 如果存在预构建好的对应标签，则只需简单修改拉取语句即可完成替换工作；比如假设官方维护者已经上传好了专门针对该尺寸优化过的二进制包，那么可能只需要把最后面的部分改成类似于`:qwen2.5-3b-cuda`这样的形式。 ```bash docker pull ghcr.io/open-webui/open-webui:qwen2.5-3b-cuda ``` - 另外一种可能性是通过环境变量或者额外传递CLI flags的形式告知内部逻辑应该选取哪一类权重集合来进行初始化过程，在这种情况下就需要查阅具体的文档页面寻找是否有类似的开关机制可供利用了。 下面是综合考虑后的完整样例脚本展示： ```bash docker run \ -d \ -p 3000:8080 \ --gpus all \ -e MODEL_NAME="qwen2.5-3b" \ # 设置使用的模型名称为 qwen2.5-3b 版本 -v ollama-data:/root/.ollama # 添加一个新位置用来保存下载下来的模型文件副本 --name ollama-qwen2.5-3b # 定义清晰的服务标识符方便后续管理识别 --restart unless-stopped # 更加灵活可控的重新激活条件 ghcr.io/ollama/ollama:latest # 替换为目标项目最新的稳定发行版编号 ``` > 注意事项：以上仅为推测性的指导方案之一，实际执行前仍需参照最新发布的权威指南确认细节差异之处是否存在偏差风险。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

alena_citc

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值