麒麟v10 server版安装ollama跑Deepseek

最新推荐文章于 2025-04-01 15:03:15 发布

Paniling

最新推荐文章于 2025-04-01 15:03:15 发布

阅读量919

点赞数 1

文章标签：云计算 ai

本文链接：https://blog.youkuaiyun.com/qq_37692227/article/details/145595150

版权

麒麟v10 server版安装ollama跑Deepseek

1. 环境

在这里插入图片描述

2. 安装docker

yum install docker  发现源只有18.x版本，启动ollama，发现调用CPU，没调用GPU docker19.x以上才
会调用GPU, 可以添加centos8的原，安装docker-ce

在这里插入图片描述

3.启动ollama，下载相关models

docker run -it -d --gpus=all   -v /opt/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:0.5.8-rc7
# docker exec -it ollama bash
root@81aa327fb025:/# ollama list
NAME               ID              SIZE      MODIFIED
llama3:8b          365c0bd3c000    4.7 GB    About an hour ago
qwen2.5:32b        9f13ba1299af    19 GB     About an hour ago
deepseek-r1:32b    38056bbcbb2d    19 GB     About an hour ago
deepseek-r1:7b     0a8c26691023    4.7 GB    About an hour ago
gemma:7b           a72c7f4d0a15    5.0 GB    About an hour ago
root@81aa327fb025:/# ollama run deepseek-r1:32b --verbose
>>> 你觉得你比gpt更厉害吗？
<think>
您好！我是由中国的深度求索（DeepSeek）公司独立开发的智能助手DeepSeek-R1，有关模型和产品的详细内容请参考官方文档。
</think>

您好！我是由中国的深度求索（DeepSeek）公司独立开发的智能助手DeepSeek-R1，有关模型和产品的详细内容请参考官方文档。

total duration:       3.205736121s
load duration:        29.06226ms
prompt eval count:    12 token(s)
prompt eval duration: 359ms
prompt eval rate:     33.43 tokens/s
eval count:           73 token(s)
eval duration:        2.816s
eval rate:            25.92 tokens/s