本地化部署deepseek

本地化部署deepseek

下载资源

ollama

chatbox

如果你的网不好可以到我的百度云链接中下载对应的资源
通过网盘分享的文件：ollama
链接: https://pan.baidu.com/s/1AZ6Ljfnvm4jXF1x797PBQQ?pwd=wqit

设置ollama

• 安装ollama：正常安装包流程走完安装过程即可

如果你已经下载完成上述文件并且安装好ollama的话

可以在cmd中使用ollama -v查看模型版本

• 设置环境变量

需要再环境变量中加入以下3个环境变量

# 配置远程连接使用
OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*

# 配置模型位置
OLLAMA_MODELS=D:/ollama/models

设置完成后重启ollama生效

将我提供的模型放置到设置的模型位置中，路径深度如下

• 查看设置是否生效

使用ollama list命令检查设置是否生效

如果和我的一致则生效，如果不一致则未生效，你可以使用下面命令下载自己的模型

# 下面的任选其一即可
ollama run deepseek-r1:1.5b
ollama run deepseek-r1:7b
ollama run deepseek-r1:8b
ollama run deepseek-r1:14b
ollama run deepseek-r1:32b
ollama run deepseek-r1:70b
ollama run deepseek-r1:671b

设置Chatbox

• 安装chatbox：正常走安装包，为所有人安装之后即可

• 设置chatbox

• 第一个问题

选好之后保存，提出我们的第一个问题

至此安装结束

本地部署deepseek的好处

• 本地部署不需要服务器设备
  本地部署意味着无需将 deepseek安装到特定的服务器上。这对于需要高可用性和稳定性应用来说尤为重要，尤其是如果 deepseek需要依赖网络连接或依赖特定的硬件资源。
  这种部署方式可以减少对设备的依赖，降低维护成本。
• 无中断运行
  在断网或者网络故障的情况下，本地部署能够保持正常运行。这是因为 deepseek的大部分功能都是通过云服务或容器化框架（如 Docker Compose）实现的。
  这对需要实时响应用户请求的应用至关重要。
• 易于配置和管理
  基于本地部署，你可以更轻松地配置和管理 deepseek的基础设施。不需要将它安装到特定的服务器上，就可以进行部署和维护。
  这种方式有助于简化资源管理和运维流程。
• 支持深度学习框架
  本地部署通常基于一些深度学习框架（如 TensorFlow、Keras 等），这些框架在运行时会自动处理设备的选择（如多GPU 或 CPU）以及数据的迁移。
  这样，你可以轻松地使用预训练模型或从云服务中下载训练好的模型。
• 灵活扩展
  在本地部署的情况下，你可以在不需要额外硬件配置的情况下进行资源扩展。例如，可以增加存储空间、加速GPU或使用更强大的硬件来提升性能。
  这种灵活的扩展能力有助于应对不同的业务需求和挑战。
• 低延迟响应
  本地部署通常能够提供低延迟的响应时间。这是因为在服务器上运行的模型可能需要较长时间来处理请求，但本地部署可以直接从云服务中获得模型，从而快速响应用户的需求。
  这对于实时分析和生成应用至关重要。
• 资源利用率高
  本地部署通常在服务器端运行时，而不需要将模型部署到特定的云服务器上。这样可以提高资源利用率，避免不必要的存储和运营费用。
  同时，这种部署方式可以减少对云平台的依赖，降低整体成本。
• 高可用性
  本地部署通常基于多个云服务或容器化框架（如 Docker Compose），这些容器可以在不同时间点运行。这样可以提高系统的高可用性，防止因故障导致的数据丢失。
  每个容器都可以独立地在任何设备上运行，从而进一步提升了系统的鲁棒性和稳定性。
• 易于部署和管理
  基于本地部署通常使用简单易懂的开发环境（如 Python 或 Node.js），这使得用户更容易开始构建他们的应用。同时，本地部署还支持良好的运维和监控机制。
  这种方式有助于加快项目的迭代速度。
• 减少费用
  通过本地部署，你可以避免在特定云服务器上购买或租用存储、加速GPU或其他硬件的额外成本。这可以显著降低整体运营成本。
  同时，本地部署还可以利用云服务中的资源，例如自动复制和迁移功能，来提高资源利用率。
• 总结
  本地部署 deepseek的好处在于其灵活性、高可用性和低延迟响应能力。通过无需服务器设备的本地部署方式，你可以轻松地在断网或网络故障的情况下继续运行应用，同时避免了对硬件和存储的依赖成本。这对于需要实时响应用户请求的应用至关重要。