步骤一:创建
开箱即用的Deepseek-R1可在 HAI 中快速启动,进行测试并接入业务
步骤二:
chatbotui 是ui 页面
JupyterLab 是命令行
输入以下命令加载默认模型:
ollama run deepseek-r1
进阶使用
切换不同参数量级
若默认的1.5B蒸馏模型无法满足需求,可通过以下命令自定义模型参数量级:
DeepSeek-R1-Distill-7B
ollama run deepseek-r1:7b
DeepSeek-R1-Distill-8B
ollama run deepseek-r1:8b
DeepSeek-R1-Distill-14B
ollama run deepseek-r1:14b
1. Ollama
Ollama 是一个开源的 AI 模型管理工具,旨在简化机器学习模型的使用和部署。它允许用户轻松地下载、运行和管理各种 AI 模型,通常用于自然语言处理、图像处理等任务。
2. DeepSeek
DeepSeek 是一个特定的 AI 模型,通常用于文本生成、对话系统等任务。DeepSeek 的不同版本(如 1.5B、7B、8B、16B 和 32B)通常指的是模型的参数数量,参数数量越多,模型的复杂性和潜在的性能通常也越高。
- 1.5B:表示模型有 15 亿个参数,通常是较小的版本,适合资源有限的环境。
- 7B:表示模型有 70 亿个参数,通常在性能和资源消耗之间取得较好的平衡。
- 8B:表示模型有 80 亿个参数,通常在生成能力上比 7B 更强。
- 16B:表示模型有 160 亿个参数,适合需要更高生成质量的应用。
- 32B:表示模型有 320 亿个参数,通常是性能最强的版本,适合复杂的生成任务,但需要更多的计算资源。
模型选择
选择哪个模型通常取决于以下几个因素:
- 计算资源:更大的模型需要更多的内存和计算能力。如果您的硬件资源有限,可能需要选择较小的模型。
- 任务需求:如果您需要高质量的文本生成或复杂的对话系统,可能需要选择更大的模型。
- 响应时间:较大的模型可能会导致更长的响应时间,尤其是在实时应用中。
以上就是快速搭建的demo,如果对deepseek 感兴趣,可以自建一个进行下测试。
【高性能应用服务 HAI 快速使用 Deepseek-R1 模型-实践教程-文档中心-腾讯云】 https://cloud.tencent.com/document/product/1721/115966?from=copy