本地部署DeepSeek与Llama3,基于Langchain和Ollama实现本地双模型的交互对话

AI摘要

本文介绍本地部署DeepSeek与Llama3,基于Langchain和Ollama实现双模型交互对话的方法。先访问ollama官网下载安装Ollama,在cmd中安装运行大模型。创建三个Python脚本分别载入模型和同步运行,创建文本文件实现对话读取与记录。还提及可安装cuda加速,以及多轮对话的文本格式。

访问ollama官网https://ollama.com/,下载OllamaSetup.exe并安装,ollama会默认添加到环境变量中

可以在cmd中通过以下命令安装和运行大模型

通过以下命令可以查看已安装的模型列表

ollama list

在这里,我们使用deepseek-r1:14b和llama3做演示

下载需要的库

pip install langchain_community

1.创建三个python脚本,‘llm1.py’载入deepseek模型,‘llm2.py’载入llama3模型,‘main.py’用来同步运行前两个脚本

2.在目录中创建‘llm1输出.txt’和‘llm2输出.txt’用来实现两个模型之间的对话读取,创建'log.txt'记录对话

以下是‘llm1.py’的源代码

from langchain_community.llms import Ollama
import os

# 先在'llm1输出.txt'中写入问候,便于llama3读取
with open('llm1输出.txt','w',encoding='utf-8') as file:
    file.write('你好,我是Deepthink')
    file.close()

# 载入deepseek模型   
ollama = Ollama(model="deepseek-r1:14b",
                temperature=0,
)

# 这里给模型添加流式输出
def stream_generation(prompt):
#   由于deepthink输出会给一段<think>的内容,所以这里通过if分支滤去了这段内容
    i=0
    answer=''
    for chunk in ollama.stream(input=prompt):
        print(chunk, end="", flush=True)
        if i == 1:
            answer+=chunk
        if chunk == '</think>':
            i=1
    print()
#   将存入模型输出的字符串answer写入'llm1输出.txt',这里已经滤去了<think>到</think>之间的内容
    with open('llm1输出.txt','w',encoding='utf-8') as file:
        file.write(answer)
        file.close()
#   将deepseek的answer写入'log.txt'       
    with open('log.txt','a',encoding='utf-8') as file:
        file.write('【Deepseek】:'+answer+'\n')
        file.write(30*'='+'\n')
        file.close()
#   创建一个空文件夹作为控制两个模型轮流发言的信号
    os.makedirs('信号')
 

    
while True:
#   检测信号
    if os.path.isdir('信号'):
        pass
    else:
#   将Llama3的回答作为prompt传给Deepseek
        with open('llm2输出.txt','r',encoding='utf-8') as file1:
            prompt = 'Llama:'+file1.read()+'(请用中文回答)'
            file1.close()
            stream_generation(prompt)

以下是‘llm2.py’的源代码

from langchain_community.llms import Ollama
import os
with open('llm2输出.txt','w',encoding='utf-8') as file:
    file.write('你好,我是Llama3')
    file.close()



ollama = Ollama(model="llama3",
                temperature=0,
)


def stream_generation(prompt):
    answer2=''
    for chunk in ollama.stream(input=prompt):
        print(chunk, end="", flush=True)
     
        answer2+=chunk
    print()
    with open('llm2输出.txt','w',encoding='utf-8') as file:
        file.write(answer2)
        file.close()
    with open('log.txt','a',encoding='utf-8') as file:
        file.write('【Llama3】:'+answer2+'\n')
        file.write(30*'='+'\n')
        file.close()

    os.rmdir('信号')
        
while True:
    if os.path.isdir('信号'):    
        with open('llm1输出.txt','r',encoding='utf-8') as file2:
            prompt = 'Deepseek:'+file2.read()+'(请用中文回答)'
            file2.close()
            stream_generation(prompt)
    else:
        pass

以下是‘main.py’的源代码

import os
import time
import multiprocessing

def task1():
    os.system("llm1.py")
def task2():
    os.system("llm2.py")
    
process1 = multiprocessing.Process(target=task1)
process2 = multiprocessing.Process(target=task2)

if __name__ == '__main__':
    process1.start()
    process2.start()

    process1.join()
    process2.join()

确保ollama处于运行状态,然后运行脚本‘main.py’即可

为了获得更快的速度,可以安装cuda,让模型在GPU上运行

在这个实例中,可以为脚本添加上下长文本的prompt构建以实现多轮对话,输入的文本格式为:

<s>

[INST]

<<SYS>>

{{system_prompt}}

<</SYS>>

{{user_message}}

[/INST]

</s>

DeepSeek V4双模推理引擎实战指南:Flash与Pro选型、契约化提示模板与生产集成 大语言模型推理引擎是支撑AI应用落地的核心基础设施,其能力不仅体现在参数规模,更在于可控的推理路径设计与可验证的输出保障。DeepSeek V4采用动态认知分流机制,构建flash(低延迟轻量推理)与pro(高确定性深度反思)双轨架构,本质是一种面向工程SLA的‘可控推理’范式。它通过reasoning_effort参数实现算力精度调节,借助thinking_trace提供可审计的元认知过程,并以结构化输入/处理/输出三重契约替代模糊提示词,显著提升法律、金融、代码等高信度场景的准确率与合规性。本文聚焦V4 阅读详情

相关推荐

零成本本地AI Agent搭建:OpenClaw+Ollama实战指南

AI Agent是面向任务的智能体系统,其核心原理在于大语言模型驱动的工具调用与工作流编排。技术价值体现在去中心化部署、数据隐私可控、运行成本趋近于零——尤其当采用Ollama本地推理引擎与OpenClaw原生协议协同架构时,可彻底规避API调用费用与云服务依赖。典型应用场景包括自动化办公(邮件处理/报表生成)、私有知识库问答、金融法务等高敏感领域Agent开发。本文聚焦‘0成本运行’这一工程现实,深入解析Ollama的/api/chat流式协议优势与OpenClaw的动态模型发现机制,提供从环境配置、模型

weixin_34284188的博客 416

全民上手大模型ollama+langchain+deepseek本机跑通大模型

基于这些因素,导致大模型的事情总是少数人在玩,国人也是一肚子气,我们国产的大模型deepseek已经达到了世界顶级的水准,作为一名技术从业者,写下这篇文章是让大家都有一份自己的大模型,将大模型的门槛彻底打穿!过年嘛,我试着让deepseek帮忙写一首诗,可以直接感受一下,其实是不是国产的,让大模型来诗词歌赋就好了,一下子就知道是不是俺们国产的了,而且并不是简单的帮你写,内容上也是很经验的。我下载模型具体如下,因为模型确实比较大,所以要的时间也是比较久哦, 如果失败,再次执行就行,可以断点续传的。

python1234_的博客 2223

本地RAG知识库实战:用Qwen2+LangChain+Chroma搭建生产级问答系统

RAG(检索增强生成)是一种将大语言模型与外部知识源动态结合的关键技术,其核心原理是通过向量检索精准定位相关文档片段,再交由LLM生成可溯源、低幻觉的答案。相比微调,RAG具备开发成本低、知识更新快、结果可解释等显著工程优势,特别适合企业私有知识库场景。结合LangChain提供的标准化链式编排能力,以及Qwen2-7B等中文优化的本地大模型,可构建出数据不出域、响应可控、易于审计的知识服务闭环。本文聚焦RAG落地中最关键的PDF解析质量、语义分块策略、中文向量嵌入选型(如bge-m3)及Prompt约束设

weixin_30319153的博客 403

LangChain-ChatChat+Ollama+DeepSeek 构建RAG本地知识库

使用 LangChain-ChatChat+Ollama+DeepSeek 构建RAG本地知识库

bigwhitetao9527的博客 1万+

DeepSeek V4开源解析:百万上下文与推理效率双轨模型架构

大语言模型的上下文长度与推理效率是影响实际落地的核心技术指标。传统长上下文方案常面临显存爆炸、延迟陡增与语义断裂等问题,而基于分块注意力(Chunked Attention)与自适应召回(Adaptive Recall)机制的新一代架构,正推动开源模型从‘能读长文本’迈向‘读懂长文本’。DeepSeek V4 通过将推理模式(Pro)与长上下文模式(Pro-Max)解耦设计,实现了任务驱动的动态算力调度,显著提升代码理解、RAG问答与IDE集成等工程场景的实用性。其开源不仅释放了1M tokens级语义建模

weixin_33994429的博客 455

Qwen3与DeepSeek-R1:新一代开源大模型的工程落地实践

大语言模型正从通用能力导向转向垂直场景可用性,MoE架构、结构化数据训练与本地化推理栈成为关键演进方向。动态稀疏激活技术让模型在保持高精度的同时显著降低显存占用和推理延迟;多阶段对齐策略使模型更懂业务语义而非仅生成流畅文本;vLLM、llama.cpp等开源推理工具链则推动AI从‘调API’走向‘装软件’式部署。Qwen3和DeepSeek-R1正是这一代际跃迁的典型代表——它们不追求参数规模的绝对领先,而以成本可控、私有部署、业务可嵌入为核心价值,在客服、合同分析、风控等企业级场景中实现可量化的ROI提升

weixin_33717117的博客 455

【长文总结】大模型Post-Training全解析:关键技术与应用实践

本文汇总Llama3.1,DeepSeek-V3,TÜLU 3,Qwen2.5报告的后训练部分,摘录其中核心的细节。大多涉及到数据,SFT,RL(各种RM训练,DPO,GRPO,RLVR等等)。

2401_85390073的博客 3289

LangChain Model组件深度解析:协议适配器与策略中心

在大模型应用开发中,Model组件远不止是API调用封装,而是统一抽象所有模型接入方式的核心协议层。它定义了输入输出语义、管理连接生命周期、执行上下文截断与格式转换等关键策略,直接决定链(Chain)、智能体(Agent)和图(Graph)的稳定性与可维护性。尤其在混合部署场景下——如同时使用OpenAI云端服务、Ollama本地模型及HuggingFace离线推理——Model作为‘模型智商’载体,承担着协议翻译、能力探测、错误归一化与动态路由等职责。理解其三重身份(接口契约、状态机、策略中心),是构建高

weixin_30706691的博客 434

使用langchain ollama gradio搭建一个本地基于deepseek r1的RAG问答系统

使用langchain ollama gradio搭建一个本地基于deepseek r1的RAG问答系统

weixin_62428212的博客 3972

Workbuddy+DeepSeek V4:零代码Agent傻瓜流开发实践

Agent(智能体)是实现AI自动化任务的核心范式,其本质是大模型驱动下的意图理解、工具调用与多步推理闭环。传统Agent开发依赖LangChain等框架,需编写胶水代码、调试function calling、管理环境配置,门槛极高。而以Workbuddy为代表的新型本地Agent运行时,通过预编译Skill原子能力、协议级模型适配(如深度兼容DeepSeek V4的tool_calls)、UI封装与智能降级策略,将复杂流程压缩为‘选模型—传文件—打字回车’的极简交互。它不降低技术深度,而是重构交付路径——

weixin_30336061的博客 448

【AI大模型应用开发】【项目实战】29.Agent智扫引擎项目-(三)项目/代码架构,数据集介绍,ReAct模块实现,模型选择及实现(Agent模块实现,LLM模型选择及实现)

基于Streamlit和LangChain的智能客服Agent系统(InsightScan),采用ReAct框架实现动态推理与工具调用。系统核心包括Agent模块(支持思维链推理与错误回溯)、工具管理模块(安全调用外部API)、LLM模块(模型工厂统一管理)、RAG技术(处理扫地机器人产品手册数据)及提示词工程。数据来源于产品手册知识库,涵盖10类常见问题。项目使用Ollama部署多个开源模型(如Qwen、Gemma),并通过工厂模式解耦配置与代码,便于模型切换

资深系统架构,深耕高并发研发与 AI 大模型工程化落地。技术栈以 Python (AI/NLP/RAG/Agent) 与 Golang (高并发架构) 为双核心,兼具 PHP 大型应用经验。专注算法落地、复杂系统设计及团队技术赋能 159

手把手带你用DeepSeek-R1和Ollama搭建本地应用,一文搞定!

本教程详细介绍了如何使用 DeepSeek R1 和 Ollama 构建本地化的 RAG 应用系统。文档处理:使用 PDFPlumberLoader 加载 PDF 文档,并通过 RecursiveCharacterTextSplitter 将文本切分成适当大小的块。向量存储:利用 Chroma 数据库和 Ollama 的嵌入模型建立向量存储系统,为后续的相似度检索提供基础。Chain 构建:设计并实现处理链,将文档处理、提示模板和模型响应整合成流程化的处理过程。RAG 实现。

python1234_的博客 5064

DeepSeek-R1:国产双模基座驱动高精度本地知识库构建

向量检索与大语言模型协同是RAG系统的核心范式,其性能瓶颈常源于Embedding语义失真与LLM幻觉失控。DeepSeek-R1作为开源可离线的国产双模基座,通过同源训练的Embedder与LLM实现语义一致性——Embedding支持PDF结构感知与中文长尾领域高召回,LLM内置Fact Anchoring机制强制事实引用,显著提升技术文档类知识库的准确率与稳定性。该方案适用于ERP手册、SOP流程、法务合同等强逻辑、高合规场景,为中小企业提供开箱即用的本地化RAG落地路径。

weixin_34357928的博客 671

从零构建AI代理:基于本地与云端模型实现桌面自动化

AI代理是一种能够理解自然语言指令、规划并执行复杂任务的智能系统,其核心原理在于将高级任务分解为可执行的原子操作,并通过工具调用与环境交互。这项技术的价值在于显著提升重复性工作的自动化水平,降低人工操作成本,广泛应用于数据录入、文件整理、跨应用同步等办公场景。本文以Energy项目为例,深入探讨如何整合本地模型与云端API,构建一个能实际控制鼠标键盘、读取屏幕信息的AI代理助手,为开发者提供从环境搭建到核心代码实现的完整实践路径,特别关注macOS平台下的部署与应用。

weixin_30314793的博客 359

5分钟搞定CST周期性结构仿真:共面波导色散曲线快速生成技巧

本文提供了一套在CST Studio Suite中快速仿真周期性结构并生成色散曲线的标准化流程。针对共面波导设计,重点解析了周期性边界条件的核心设置、本征模求解器(JDM算法)的优化技巧,以及通过参数扫描与后处理模板实现自动化,旨在帮助射频与微波工程师在5分钟内高效完成关键性能验证。

blue的专栏 1251

Ubuntu技巧-Ubuntu远程访问之SSH反向代理

💡大家好,我是可夫小子,《小白玩转ChatGPT》专栏作者,关注AIGC、互联网和自媒体。要把内网的一台的Ubuntu服务器让外面也能访问,总共有三种可行的方案,前面已经介绍了两种方式,今天就来介绍更健壮稳定的方式——ssh反向代理。大概的框架图如下,今天就从服务器购买到设置,手把手的教程,让你花费100块以内,就拥有一个强大的「云服务器」。

可夫小子的频道 1154

Claude Code与Ollama混合编程环境搭建:平衡效率与自主权

在AI辅助编程领域,大型语言模型(LLM)正通过API服务和本地部署两种模式重塑开发工作流。其核心原理在于模型权重的高效推理与上下文理解,技术价值体现在显著提升代码生成、解释和重构的效率。应用场景广泛覆盖日常开发、学习新技术以及处理敏感代码任务。本文聚焦于如何将Claude Code的云端强大能力与Ollama本地开源模型生态相结合,构建兼顾效率与数据主权的混合AI编程环境,并深入探讨了Claude Code的IDE深度集成和Ollama的本地化部署优势,为开发者提供了一套可落地的解决方案。

weixin_34294649的博客 399

ArcGISPro小白必看:5分钟搞定3D地形图制作(附免费数据源)

本文为ArcGISPro初学者提供5步制作专业3D地形图的完整指南,涵盖免费数据获取、项目初始化、数据预处理、3D场景构建和成果输出等关键步骤。特别推荐使用NASA的SRTM高程数据和吉林一号卫星影像,帮助用户快速掌握3D地形图制作技巧,适用于教学演示和科研分析。

weixin_28314575的博客 245

解锁企业级AI对话新维度:LibreChat深度部署与架构解析

在AI技术快速演进的今天,企业如何构建一个既安全可控又功能丰富的对话系统?LibreChat作为增强版ChatGPT克隆项目,提供了从开源模型集成到企业级部署的全栈解决方案。本文将带您深入探索这个强大的AI对话平台,从架构设计到生产部署,为您揭示构建私有AI助手的核心技术路径。 ## 🔍 价值定位:为什么选择LibreChat? LibreChat不仅仅是一个简单的ChatGPT界面复制品,

gitblog_00778的博客 262

嵌入式系统开发笔记112:通过有人云测试MQTT

项目中使用到“有人”公司的WH-LTE-7S0模块,本文讲解通过有人云进行MQTT测试的方法。

snmplink的博客 999

YOLOv8推理程序

YOLOv8单独推理,有时候我们自定义的模块算子无法正常转换为其他框架,而且需要做成应用,因此需要一个单独推理的程序,返回的是识别后的照片还有各个类别及其对应数量。文章最后给出Flask封装为Server以及调用的实例还有Client请求代码,支持几十路多线程并发,只需加载一次模型,后边推理即可。

AIOT魔法师 699

Codex本地AI网关:统一多模型API路由与协议适配指南

AI开发中,本地大模型(如Ollama、LMStudio、llama.cpp)因框架异构导致API不兼容、调用混乱、上下文断裂——这是典型的‘模型孤岛’问题。其本质是缺乏标准化的模型抽象层与智能路由机制。Codex作为轻量级本地AI网关,基于OpenAI兼容协议构建统一入口,通过YAML配置实现多模型动态路由、跨框架协议适配(如Ollama/Text-Generation-WebUI/LMStudio)、会话级上下文管理及请求缓存熔断,显著提升VS Code、Obsidian等工具的AI集成稳定性与工程可用

weixin_34354173的博客 328

15.1-缓存调试解析

摘要:DSU-120提供L3缓存和监听过滤器(SF)RAM的调试功能,通过CLUSTERCDBG寄存器控制访问。该功能需在集群ON电源模式下使用,且需确保单核访问。寄存器位字段根据读写操作不同,可配置WAY、RAM类型等参数。数据读取分为监听过滤器RAM、标签RAM、数据RAM及MTE标签四种类型,各有特定的位字段解释。配置参数包括切片ID宽度、标签索引宽度等,随缓存大小变化。

baron-周贺贺-代码改变世界ctw 113

GitHub 2.7万星项目,一站式搞定 AI Agent + RAG 开发,太强了

GitHub 2.7万星项目,一站式搞定 AI Agent + RAG 开发,太强了

AAI666666的博客 850

【MATLAB】STM32电机调速闭环控制工程

本文提出了一种基于MATLAB仿真与STM32实现的直流电机闭环PID调速控制方案。通过MATLAB建立电机数学模型并进行参数整定,仿真验证了增量式PID算法在启停、稳态和抗扰动方面的优越性能。基于STM32F103搭建了硬件系统,实现了编码器测速、定时中断控制、PWM输出等功能。实测表明,该系统转速超调<2%、稳态误差±2r/min,具备快速响应和强抗扰能力。相比开环控制,闭环调速显著提升了动态性能和稳态精度。方案提供了完整的仿真代码和嵌入式工程源码,可直接应用于智能小车、工业传动等场景,具有较高的

unber的博客 50

【txt文本加密】使用 cryptography 库实现加密和解密

cryptography 库是一个强大的 Python 库,用于实现加密和解密功能。它提供了各种加密算法,包括对称加密、非对称加密、哈希函数等。

📷 图像处理践行者 | 传统算法 · 深度学习 · 多模态 | 分享实战经验与技术洞见,探索从像素到智能的无限可能。 2670
下一篇: 本地大模型实现长期记忆--让AI记住你的喜好(基于Langchain)
Хорошо_AI
博客等级 码龄2年 4粉丝 2原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值