deepseek+本地知识库

部署运行你感兴趣的模型镜像

一、下载ollama工具
地址: Https://ollama.com/
目的:
1、私有化部署deepseek模型;
2、私有化部署Embedding模型;
1.1 下载安装ollama

备注:只需要双击,启动ollama服务,进入cmd,直接输入ollama;
1.1.1 进入ollama官网,通过ollama接入模型:
https://ollama.com/search
1.2 ollama接入模型
点击Model部分,通过ollama工具,接入那个模型,就选那个模型(根据自己的电脑性能,接入尺寸大小的模型)

选择接入的模型尺寸
备注:点击Model部分,通过ollama工具,接入那个模型,就选那个模型(根据自己的电脑性能,接入尺寸大小的模型),复制命令;
模型指令:ollama run deepseek-r1:1.5b
向量指令:ollama pull bge-m3
1.3 cmd运行复制命令

1.4 卸载ollama
ollama rm deepseek-r1:1.5b
1.5配置ollama的模型保存路径
OLLAMA_HOST : ollama的监听端口,监听在本机所有地址,方便其它前端服务跨主机访问。
OLLAMA_MODELS : 指定ollama模型的存放路径根据自己的需要配置一下环境变量,之后最好新开一个命令行窗口 ,或者重启一下主机,这样环境变量才会生效。

1.6 测试模型可视化路径

二、下载可视化工具(AnythingLLM官网)
地址:https://anythingllm.com/desktop
目的:
1、安装可视化平台
2、接入私有模型
2.1 安装Anythingllm
三、上传私有知识
目的:
构建私有知识库

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型(Large Language Model)训练与微调平台。通过 LLaMA Factory,可以在无需编写任何代码的前提下,在本地完成上百种预训练模型的微调

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值