macOS部署DeepSeek-r1

好奇,跟着网友们的操作试了一下

网上方案很多,主要参考的是这篇

DeepSeek 接入 PyCharm,轻松助力编程_pycharm deepseek-优快云博客

方案是:PyCharm + CodeGPT插件 + DeepSeek-r1:1.5b

假设已经安装好了PyCharm

PyCharm: the Python IDE for data science and web development

https://blog.youkuaiyun.com/ytomc/category_11724865.html

1. 下载Ollama

https://ollama.com

2. 下载之后解压,将Ollama移动到合适的位置,比如Application里

3. 运行Ollama

4. 点击Next

5. 点击Install,输入电脑密码

6. 点击Finish

7. 拉取deepseek-r1:在终端执行 ollama pull deepseek-r1:1.5b

1.5b是最小的版本,只是玩玩用这个就够了,CPU也可

在终端中输入ollama list,可以查询下载的模型

模型存储位置:  

macOS: ~/.ollama/models  

Linux: /usr/share/ollama/.ollama/models  

Windows: C:\Users\<username>\.ollama\models

<username>根据实际替换

8. 安装插件

打开PyCharm,找到Settings-Plugins,搜索“Proxy AI”,然后安装“Proxy AI”

注意,原来好像是叫CodeGPT,但我搜不到,可能是改名了

9. 配置

找到Settings-Tools-CodeGPT-Providers-Ollama (Local),Model选择刚拉取的deepseek模型

10. 回到PyCharm的项目界面,右侧点CodeGPT开始聊天

对话框可以切模型

### 如何在本地部署 DeepSeek-R1-7B 模型 为了成功地在本地环境中安装并运行 DeepSeek-R1-7B 模型,需遵循一系列特定的操作流程。此过程涉及环境准备、依赖项配置以及最终启动服务等多个方面。 #### 准备工作 确保计算机上已预先安装 Python 和 pip 工具,并且拥有足够的硬件资源来支持大型语言模型的运算需求[^1]。 #### 创建虚拟环境 建议创建一个新的Python虚拟环境以隔离项目所需的库文件和其他软件包版本冲突的风险。 ```bash python3 -m venv myenv source myenv/bin/activate # Linux/MacOS myenv\Scripts\activate # Windows ``` #### 安装必要的库 根据所选框架的不同(Ollama/vLLM/Transformers),需要下载对应的Python库。对于Hugging Face Transformers而言,则执行如下命令: ```bash pip install transformers torch sentencepiece ``` #### 下载预训练模型 通过 Hugging Face Model Hub 获取指定名称下的DeepSeek-R1-7B权重参数。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "deepseek/R1-7B" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) ``` #### 配置推理设置 调整超参如温度、top-k采样等选项可以优化生成质量;同时考虑GPU加速的可能性提高效率。 ```python import torch device = 'cuda' if torch.cuda.is_available() else 'cpu' model.to(device) # 设置推理参数 temperature = 0.9 max_length = 50 ``` #### 运行预测实例 最后一步就是编写简单的测试脚本来验证整个系统的正常运作情况。 ```python input_text = "Once upon a time," inputs = tokenizer(input_text, return_tensors="pt").to(device) outputs = model.generate(**inputs, max_length=max_length, temperature=temperature) generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True) print(generated_text) ``` 完成上述操作之后,即实现了 DeepSeek-R1-7B 在个人电脑上的私有化部署
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值