centos7 部署 Ollama,过程及遇到的问题(中篇)

Ollama 安装

1、在线安装(由于国内github的原因安装比较慢,预计2个小时内)

curl -fsSL https://ollama.com/install.sh | sh

2、 通过Ollama安装

ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-q4
ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-q8
ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-fp16
qwen:7b

3、 通过Ctrl+D 退出默认的通讯

3、修改端口号(为了方便管理,同时也为了其他服务可以调用)

#停止ollama服务
systemctl stop ollama
#修改ollama配置
vi /etc/systemd/system/ollama.service

4、在[Service]下边增加一行:Environment=“OLLAMA_HOST=0.0.0.0:8080”,端口根据实际情况修改

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0:9090"

[Install]
WantedBy=default.target

5、重载daemon文件

systemctl daemon-reload

6、启动ollama服务

systemctl start ollama

7、验证

ollama --version

8、查看当前模型

ollama list

9、ps显示当前正在运行的模型情况

ollama ps

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值