Ollama 安装
1、在线安装(由于国内github的原因安装比较慢,预计2个小时内)
curl -fsSL https://ollama.com/install.sh | sh
2、 通过Ollama安装
ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-q4
ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-q8
ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-fp16
qwen:7b
3、 通过Ctrl+D 退出默认的通讯
3、修改端口号(为了方便管理,同时也为了其他服务可以调用)
#停止ollama服务
systemctl stop ollama
#修改ollama配置
vi /etc/systemd/system/ollama.service
4、在[Service]下边增加一行:Environment=“OLLAMA_HOST=0.0.0.0:8080”,端口根据实际情况修改
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0:9090"
[Install]
WantedBy=default.target
5、重载daemon文件
systemctl daemon-reload
6、启动ollama服务
systemctl start ollama
7、验证
ollama --version
8、查看当前模型
ollama list
9、ps显示当前正在运行的模型情况
ollama ps