在本地实现DeepSeek - R1使用Ollama来实现在本地部署DeepSeek - R1的常用的方式。

一、DeepSeek - R1简介
DeepSeek - R1是深度求索(DeepSeek)公司开发的高性能AI推理模型。它具有很多出色的特性。

(一)强大的推理能力提升技术
在其核心技术方面,它在后训练阶段大量运用强化学习技术。这一技术特点使得它仅需极少的标注数据就能极大提升推理能力,这是非常了不起的成就。例如在一些复杂的测试场景中,如AIME和MATH - 500等具有高难度挑战的任务上,DeepSeek - R1的表现令人惊叹,相比OpenAI的o1模型毫不逊色,甚至在部分情况下还有所超越。

(二)经济实惠的API价格
API价格方面也很有竞争力,每百万输入tokens为1元(缓存命中)/ 4元(缓存未命中),每百万输出tokens为16元,较o1正式版低27 - 55倍,这对于使用者来说能大大降低成本。

(三)丰富的应用能力
该模型专注于数学、代码和自然语言推理任务。在数学方面可以解决复杂的计算和理论问题;代码方面能够帮助优化代码结构、进行代码纠错等;自然语言推理则可用于多领域的文本分析、问答等工作,例如内容创作、教育辅助、编程辅助等平常能用到各种AI服务的场景。

(四)优秀的开源生态
它遵循MIT开源协议,这意味着用户可以自由使用、修改并且能够用于商业用途。而且DeepSeek公司不仅公开了R1的训练技术,还蒸馏了6个小模型开源给社区,这为社区成员提供了丰富的资源,可以借此训练其他模型 。

二、通过Ollama在本地实现DeepSeek - R1
使用Ollama来实现在本地部署DeepSeek - R1是一种较为常用的方式,以下是具体的步骤:

(一)Ollama的概述与优势
Ollama是一个开源的本地化大模型部署工具。它主要有这些优势:
 - 多模型支持:它能够兼容多种开源模型,其中就包括DeepSeek系列,使得用户可以在一个工具上部署不同的模型,满足不同的需求。
 - 高效管理:提供了命令行工具,方便用户轻松地对模型进行操作,如下载、加载和切换模型等。命令行工具对于一些有经验的开发者来说操作更加便捷高效。
 - 跨平台支持:无论是Windows系统、macOS系统还是Linux系统,Ollama都可以轻松支持,这就方便了不同系统用户的使用需求,无需担心操作系统的限制导致无法部署模型。

(二)具体安装步骤
1. 安装Ollama
   - 首先根据自己的操作系统访问Ollama官网。如果是Windows用户,则下载OllamaSetup.exe然后双击进行安装。安装完成后,还需要打开命令行工具,输入“ollama--version”命令验证是否安装成功,如果可以显示版本号,则安装成功 。
2. 下载DeepSeek - R1模型
   - Ollama已经提供了对DeepSeek - R1的支持,模型地址为deepseek - r1。不过需要根据自己的显存来选择对应的模型,例如2G显卡只能选择1.5b的模型。选择好之后,使用“ollamarundeepseek - r1:1.5b”命令进行下载,在下载过程中,由于模型大小和网络速度的不同,下载时间也会有所差异,下载完成后这个命令还会自动加载模型到本地。
   - 下载完成后可以通过“ollamalist”命令查看模型信息,这个命令会列出本地已经下载的模型以及它们的状态。
3. 运行DeepSeek - R1
   - 使用“ollama run deepseek - r1:1.5b”(假设下载的是1.5b模型)命令启动DeepSeek - R1模型,启动成功后,模型会进入交互模式。在这个交互模式下,用户可以像在使用其他AI聊天工具一样直接输入各种问题来获取回答,例如输入为一款智能手表撰写广告文案、用Python实现快速排序或者解释牛顿第二定律等不同类型的提问都可以得到相应的回答。
4. 使用OpenWebUI增强交互体验(可选)
   - 除了在命令行里与DeepSeek - R1交互,还可以借助webUI来增强交互体验。只要是支持Ollama的webUI都可以使用,像Dify,AnythingLLM等。这里以open - webui为例。
   - 如果自己有Python环境(如Anaconda),可直接使用“pip install open - webui”进行安装。安装完成后使用“open - webuiserve”命令启动,启动后在浏览器中访问就可以进入OpenWebUI界面,在这个界面中选择已经下载的DeepSeek - R1模型,然后就可以开始对话测试,效果很不错,并且OpenWebUI还支持中文界面,如果需要可以在设置中进行语言调整 。

三、通过LeetTools在本地实现DeepSeek - R1
除了Ollama,还可以利用LeetTools来实现DeepSeek - R1的本地部署。

(一)LeetTools的安装与配置
1. 创建虚拟环境并安装LeetTools
   - 首先从anaconda.com下载并安装naconda,然后从code.visualstudio.com下载并安装VisualStudio。
   - 打开anaconda,从左侧菜单选择Environment,再点击下方的Creat,为LeetTools创建一个虚拟环境。在弹出的对话框中,给这个虚拟环境取一个名字,例如LeetTools,同时勾选Python并选择版本3.11.11,然后选择Create,这样就成功创建了LeetTools的虚拟环境。
   - 安装相应的扩展插件,在VisualStudio中选择最左侧菜单栏的Extension按钮,安装Python,PythonDebugger,Pylance,GitExtensionPack,GitHistory,GithubRepository,gitignore,Gitlens等扩展插件。
   - 点击最左侧菜单栏的SourceControl,然后点击CloneRepository按钮,在弹出的地址框中输入LeetTools的Github地址,然后在弹出的对话框中,选择下方的新建文件夹来创建一个LeetTools的存储数据的文件夹,之后选择该文件夹并点击右下方的SelectasRepositoryDestination,就完成了前期的配置工作 。
   - 完成配置后就开始LeetTools的安装。首先在桌面上端的菜单栏里选择Terminal,NewTerminal,这就在VisualStudio里打开了一个终端窗口然后就可以运行LeetTools的安装命令,依次运行“%condacreate - y - nleettoolspython = 3.11”、“%condaactivateleettools”、“%pipinstallleettools”、“%exportLEET_HOME = $HOME/leettools”、“%mkdir - p$LEET_HOME”等命令来完成安装。
2. 设置环境变量
   - 需要设置相关的端点(endpoint)和API密钥(apikey),通过“%exportEDS_LLM_API_KEY = your_openai_api_key”(这里如果要调用DeepSeek需要替换为对应的DeepSeek的端点和密钥相关信息)来设置环境变量。
3. 运行LeetTools命令
   - 在完成以上步骤后就可以运行LeetTools命令了,例如“%leetflow - tanswer - qHowdoesGraphRAGwork? - kgraphrag - linfo”等命令,可以根据不同的需求调整命令的参数,这样就能通过LeetTools调用DeepSeek来进行相关的操作了 。

四、硬件与其他要求及注意事项

(一)硬件要求
在本地部署DeepSeek - R1时,硬件是有一定要求的。由于模型的运算量较大,建议使用支持GPU的设备来运行,这样可以获得更好的性能。例如在处理一些复杂的数学计算或者较长的自然语言文本推理时,GPU的加速效果会让模型响应速度更快,减少等待时间,提升交互体验。

(二)网络配置建议
如果在下载模型或者相关组件的过程中遇到下载速度较慢的情况,可以考虑使用国内镜像加速来提高下载速度。不过具体的国内镜像加速方法可能因不同的组件而有所差异,需要根据实际情况查找对应的加速方式。

(三)本地化支持
如果使用OpenWebUI,那么有一个优势就是它支持中文界面,可以方便国内用户使用。用户可以在设置中轻松调整语言,满足自己的使用偏好 。

五、成功案例分享
有这样一个案例,春节前夕,某团队接到业务方紧急任务,需要探讨如何将DeepSeek - R1快速集成到即将上线的项目之中。在深入讨论之后,团队决定在现有RAG(检索增强生成)系统的一个核心模块中试用DeepSeek - R1,来替换原有的Qwen模型。

完成替换之后,团队对整个系统进行了一系列严格的测试,在确保系统稳定运行之后,于除夕之夜将这个改进后的系统成功上线。这个系统整合了DeepSeek - R1、LangChain(一种用于RAG工作流程的AI框架)、Ollama(负责DeepSeek - R1的本地部署)和Streamlit(提供用户界面)。通过这个系统可以对PDF文件进行处理,也就是利用LangChain读取PDF文件,并将其分割成小块,然后通过Ollama将这些小块转换成向量形式,随后DeepSeek - R1根据相关的文档小块生成准确的回答,最后通过Streamlit展示给用户。这个案例说明了DeepSeek - R1在本地环境下集成到实际项目中的可行性和价值,它可以在保证数据隐私的情况下(因为是本地操作),高效地处理如技术文档、法律文件和学术资料等内容,避免了昂贵的API订阅费用,还可以根据需求高度定制化系统,同时也展现了DeepSeek - R1强大的AI能力,能够满足复杂的项目需求。

通过以上的介绍,可以看到实现DeepSeek - R1在本地的部署有多种方式,并且在实际应用中有很好的表现,无论是它的能力、成本还是与现有工具的整合方面都具有很大的优势。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值