本地部署DeepSeek与Llama3,基于Langchain和Ollama实现本地双模型的交互对话

访问ollama官网https://ollama.com/,下载OllamaSetup.exe并安装,ollama会默认添加到环境变量中

可以在cmd中通过以下命令安装和运行大模型

通过以下命令可以查看已安装的模型列表

ollama list

在这里,我们使用deepseek-r1:14b和llama3做演示

下载需要的库

pip install langchain_community

1.创建三个python脚本,‘llm1.py’载入deepseek模型,‘llm2.py’载入llama3模型,‘main.py’用来同步运行前两个脚本

2.在目录中创建‘llm1输出.txt’和‘llm2输出.txt’用来实现两个模型之间的对话读取,创建'log.txt'记录对话

以下是‘llm1.py’的源代码

from langchain_community.llms import Ollama
import os

# 先在'llm1输出.txt'中写入问候,便于llama3读取
with open('llm1输出.txt','w',encoding='utf-8') as file:
    file.write('你好,我是Deepthink')
    file.close()

# 载入deepseek模型   
ollama = Ollama(model="deepseek-r1:14b",
                temperature=0,
)

# 这里给模型添加流式输出
def stream_generation(prompt)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值