DeepSeek 本地部署(Mac版 安装教程)M1

1.首先说一下部署环境 MacBookPro M1pro 16+512版本,系统更新到了最新MacOS Sequoia 15.3

2.安装开源的大语言模型本地部署框架Ollama

Ollama,是一款开源的大语言模型本地部署框架,主要用于在本地机器上便捷地部署和运行大语言模型(LLM)。类似的部署框架还有别的,具体没有研究,从这个软件的设置可以看出。

如何安装Ollama:注意要求最低的系统

进入 Ollama 官网

安装成功后,桌面多出一个logo图标

进一步验证是否安装成功:打开终端,输入命令,看到版本号即可

ollama -v

3.下载安装 DeepSeek-R1

依旧在Ollama网站,搜索DeepSeek-R1,点击进入

ollama run deepseek-r1:1.5b 即为安装 1.5b

ollama run deepseek-r1:14b 即为安装 14b

我个人也看到了一些配置要求的帖子,我先安装了7b的版本,后装了14b的版本,运行起来均没有问题

安装过程,及成功后的情况如下

安装成功后,出现success字样即可输入问题和 DeepSeek-R1 对话了

4.ollama 的一些命令

ollama run deepseek-r1:14b 运行模型服务

ollama stop deepseek-r1:14b 停止模型服务

/bye 退出模型对话 注意:退出不会停止模型服务

ollama ps 列出正在运行的模型

ollama -v 查看ollama版本信息

5.安装客户端 Chatbox 使用本地模型,增强体验感

Chatbox,是一个开源的 AI 模型桌面客户端,支持多种主流 AI 模型 和 API。

安装成功后,打开设置

注意:使用时一定要先启动本地模型,即先 ollama run deepseek-r1:14b 运行模型服务

### 如何在 M1 芯片 Mac部署 DeepSeek #### 环境准备 对于硬件要求,在本地使用 DeepSeek-R1 模型,特别是针对 M1 芯片的 MacBook Pro,推荐至少拥有 16GB RAM 和充足的存储空间来处理模型文件和依赖项[^2]。 安装必要的软件包是成功部署的关键部分。确保已安装 Homebrew 来简化命令行工具和其他开发资源的获取过程: ```bash /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" ``` 接着通过 Homebrew 安装 Python 以及虚拟环境管理器 `pyenv`: ```bash brew install pyenv ``` 创建并激活一个新的 Python 环境用于隔离项目依赖关系: ```bash pyenv virtualenv 3.9.7 deepseek-env pyenv activate deepseek-env ``` #### 配置 Anaconda 或 Miniconda 考虑到性能优化和支持库的需求,建议采用 Conda 进行环境管理和包安装。Miniconda 是轻量级的选择,适用于大多数情况下的快速设置: 下载并执行 Miniconda 的最新本脚本: ```bash curl -s https://repo.anaconda.com/miniconda/Miniconda3-latest-MacOSX-arm64.sh -o ~/miniconda.sh bash ~/miniconda.sh -b -p $HOME/miniconda source ~/.bash_profile ``` 利用 conda 创建特定于项目的环境,并安装基础依赖: ```yaml name: deepseek-m1 channels: - defaults dependencies: - python=3.9 - pip - cudatoolkit=11.0 # 如果计划使用 GPU 加速则需此选项 prefix: ./envs/deepseek-m1 ``` 保存上述 YAML 文件为 `environment.yml` 并运行以下命令完成环境构建: ```bash conda env create -f environment.yml conda activate deepseek-m1 ``` #### 获取与加载预训练模型 根据需求选择合适的 DeepSeek 本;例如,如果追求效率可选用较小规模如 distill-qwen-1.5B 的变体。从官方仓库或其他可信源下载对应架构下编译好的二进制文件或权重参数集。 假设已经获得了模型压缩包,则解压至工作目录内: ```bash tar zxvf path/to/model.tar.gz -C /path/to/workdir/ ``` 随后按照文档说明导入模型到程序中,这一步骤可能涉及调整路径变量或将模型转换为目标框架兼容的形式。 #### 启动服务端口监听 最后一步是在终端启动应用服务器以便接收 API 请求。具体实现方式取决于所使用的 Web 框架和服务模式(RESTful, gRPC 等)。这里给出 Flask 应用的一个简单例子作为参考: ```python from flask import Flask, request, jsonify import torch from transformers import AutoModelForSequenceClassification, AutoTokenizer app = Flask(__name__) model_name_or_path = "/path/to/local_model" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForSequenceClassification.from_pretrained(model_name_or_path) @app.route('/predict', methods=['POST']) def predict(): data = request.json['data'] inputs = tokenizer(data, return_tensors="pt", truncation=True, padding=True) outputs = model(**inputs)[0].detach().numpy() result = {"prediction": str(outputs)} return jsonify(result) if __name__ == '__main__': app.run(host='0.0.0.0', port=8080) ``` 以上代码片段展示了如何基于 Flask 构建 REST 接口以提供在线推理功能[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值