在自己的Mac电脑上部署deepseek(极简小白版)

在自己的Mac电脑上部署deepseek(极简小白版)

前言

最近deepseek好火啊。网上的本地部署攻略都有点麻烦了。我写一个极简版。文章最后也会和大家说为什么写极简版而不写原理。

简易步骤

1、在https://ollama.com/download下载Ollama,解压后安装。
2、终端输入 ollama run deepseek-r1:7b,等待下载完成后输入问题即可。

详细步骤

1在你的浏览器上输入 https://ollama.com/download
然后点这里⬇️,下载
在这里插入图片描述
2、下载下来的会是一个压缩包,接着解压安装。如图下
由压缩包解压出来一个 小猪图标。
在这里插入图片描述
接着双击安装。
在这里插入图片描述
装完之后你的电脑右上角也会有这个小猪图标
在这里插入图片描述
3打开终端输入 ollama run deepseek-r1:7b
在这里插入图片描述
4等下载完之后问问题就好,如图。
咱们问一个,3.11和3.9谁大?
在这里插入图片描述
数学答的还行,我换个语文来试试你,脑子里冒出一句。“吾孰与城北徐公美”,于是
在这里插入图片描述

结束语

在自己电脑上部署deepseek,真的超级简单。但在自己的电脑上部署LLM离线当助手,意义真的不大,一是因为问题可以直接联网问,二是个人的电脑毕竟配置有限。所以我目前只推荐ollama run deepseek-r1:7b。
https://ollama.com/library/deepseek-r1,这里网址里你看有很多,但后面的对配置的要求太高了。不建议考虑。
在这里插入图片描述
目前如果要调用deepseek,非常推荐通过API接口调用。

from openai import OpenAI
client = OpenAI(api_key="XXX", base_url="https://api.deepseek.com")

# Round 1
messages = [{"role": "user", "content": "吾孰与城北徐公美"}]
response = client.chat.completions.create(
    model="deepseek-reasoner",
    messages=messages
)

reasoning_content = response.choices[0].message.reasoning_content
content = response.choices[0].message.content
print(content)

在这里插入图片描述
就这些咯
西瓜6的啦啦啦

### 在 Mac Mini 集群上部署 DeepSeek 为了在 Mac Mini 集群上成功部署 DeepSeek,需考虑硬件配置和软件环境的适配性。由于 Apple 设备在此类设置中表现出色,特别是 M4 Mac Mini 拥有大量内存,这使得分布式模型训练成为可能[^2]。 #### 准备工作 确保每台 Mac Mini 已安装最新macOS 和必要的开发工具链,如 Xcode Command Line Tools。此外,还需准备 Python 环境以及 PyTorch 或 TensorFlow 等深度学习框架的支持库。 #### 安装依赖项 通过 pip 安装所需的 Python 库: ```bash pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cpu ``` 对于特定于 DeepSeek 的需求,建议参照官方文档获取最新的安装指南。 #### 设置集群通信 利用 MPI (Message Passing Interface) 实现节点间高效通讯。可以采用 OpenMPI 来构建可靠的网络层支持跨设备的数据交换。 ```bash brew install openmpi ``` 编写简单的测试程序验证集群连通性和性能表现: ```python from mpi4py import MPI comm = MPI.COMM_WORLD rank = comm.Get_rank() size = comm.Get_size() print(f"Hello world from rank {rank} out of {size}") ``` #### 分布式加载模型权重 考虑到 DeepSeek V3 671B 参数量巨大,在实际推理过程中只激活少量参数即可满足应用需求。因此可采取分片策略来优化资源利用率并减少单机负担。 具体实现方式如下所示: - 将整个模型切分为多个子模块; - 各个子模块分别映射到不同计算单元执行前向传播运算; - 结果汇总后再传递给下一个阶段继续处理直至完成最终预测任务。 #### 运行实例 当一切就绪之后,可以通过命令行启动多进程模式下的应用程序: ```bash mpirun -n 8 python deepseek_inference.py ``` 这里假设共有八台 M4 Mac Minis 参与协作,共同承担起庞大的神经网络计算负荷[^1]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

西瓜6

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值