为什么要本地部署?
1)保护隐私与数据安全:数据不外传:本地运行模型可以完全避免数据上传至云端,确保敏感信息不被第三方访问。
2)可定制化与优化:支持微调(Fine-tuning):可以根据特定业务需求对模型进行微调,以适应特定任务,如行业术语、企业内部知识库等。
3)离线运行,适用于无网络环境:可在离线环境下运行,适用于无互联网,连接或网络受限的场景,提高系统稳定性,即使云服务岩机,本地大模型依然可以正常工作,不受外部因素影响。
怎么在本地部署?
使用ollama
第一步,在官网地址:https://ollama.com/
下载ollama,管理不同的大模型,干净直接
第二步,下载大模型deepseek-r1,使用命令ollama pull deepseek-r1:7b,至此电脑就下载了deepseek大模型
第三步,直接和大模型对话,在mac电脑上执行命令 ollama run deepseek-r1:7b,就进入对话框,如下截图:
LM Studio图形化部署大模型
LM Studio 是一个本地部署大语言模型(LLM)平台,致力于简化LLM的使用和管理。它支持离线运行模型,并提供直观的界面,方便用户进行文本生成、模型微调和文档交互
安装:
下载模型:
去hugging face上下载模型
参考资料:
官网地址:LM Studio - Discover, download, and run local LLMs
DeepSeek 五分钟打造本地 AI编程助手 - 2025每个开发者都有一个自己专属的AI编程助手_哔哩哔哩_bilibili