一、下载ollama工具
地址: Https://ollama.com/
目的:
1、私有化部署deepseek模型;
2、私有化部署Embedding模型;
1.1 下载安装ollama
备注:只需要双击,启动ollama服务,进入cmd,直接输入ollama;
1.1.1 进入ollama官网,通过ollama接入模型:
https://ollama.com/search
1.2 ollama接入模型
点击Model部分,通过ollama工具,接入那个模型,就选那个模型(根据自己的电脑性能,接入尺寸大小的模型)
选择接入的模型尺寸
备注:点击Model部分,通过ollama工具,接入那个模型,就选那个模型(根据自己的电脑性能,接入尺寸大小的模型),复制命令;
模型指令:ollama run deepseek-r1:1.5b
向量指令:ollama pull bge-m3
1.3 cmd运行复制命令
1.4 卸载ollama
ollama rm deepseek-r1:1.5b
1.5配置ollama的模型保存路径
OLLAMA_HOST : ollama的监听端口,监听在本机所有地址,方便其它前端服务跨主机访问。
OLLAMA_MODELS : 指定ollama模型的存放路径根据自己的需要配置一下环境变量,之后最好新开一个命令行窗口 ,或者重启一下主机,这样环境变量才会生效。
1.6 测试模型可视化路径
二、下载可视化工具(AnythingLLM官网)
地址:https://anythingllm.com/desktop
目的:
1、安装可视化平台
2、接入私有模型
2.1 安装Anythingllm
三、上传私有知识
目的:
构建私有知识库

3411

被折叠的 条评论
为什么被折叠?



