DeepSeek,如何在本地部署---以Macbook(M1)为例

第一步:下载ollama,可以把它看成一个大模型的管理器,可以加载各种开源模型,网址为Ollama,选择适合自己的系统进行下载。

第二步:打开终端,运行命令ollama run deepseek-r1:1.5b,这里注意,1.5b是模型的参数的大小,这是最小的,根据自己电脑的显存合理下载,除此之外还有7b,8b,14b,32b,70b,671b。运行完这条指令,电脑会自动加载模型并下载,下载完成后就可以和小蓝鲸对话啦!

### 如何在M1芯片上部署DeepSeek-R1 #### 准备工作 为了成功安装并运行 DeepSeek R1 模型,在 M1 芯片 MacBook 上需先完成必要的准备工作。确保操作系统已更新至最新版本,并安装 Homebrew 作为包管理工具,以便后续操作更加便捷[^1]。 #### 安装依赖项 通过终端执行命令来安装 Python 和虚拟环境支持: ```bash brew install python pip3 install virtualenv ``` 创建一个新的虚拟环境用于隔离项目依赖关系: ```bash virtualenv venv source venv/bin/activate ``` 激活虚拟环境中继续安装其他所需库文件,如 PyTorch 版本应与 Apple Silicon 架构相匹配: ```bash pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cpu pip install deepspeed ``` #### 获取 DeepSeek R1 源码 前往 GitHub 或官方指定平台下载最新的 DeepSeek R1 发布版源代码压缩包,解压到本地目录下准备编译构建。 #### 编译配置 进入解压后的 DeepSeek 文件夹内,按照 README.md 中给出的具体指示调整 Makefile 配置参数以适应 ARM64 架构下的编译需求。对于某些特定选项可能需要额外设置环境变量来进行优化处理。 #### 运行测试实 一切就绪之后可以尝试启动一个简单的推理脚本来验证整个流程是否正常运作。通常情况下会有一个 demo.py 提供给开发者快速体验功能特性: ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name_or_path = "path_to_deepseek_r1" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForCausalLM.from_pretrained(model_name_or_path) input_text = "你好啊," inputs = tokenizer(input_text, return_tensors="pt").to("mps") outputs = model.generate(**inputs, max_length=50) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值