写在最前面:本人用markdown用得不太好,很尽力排版了,先准备好本地端python代码,再看后面的内容。
import ollama
import httpx
import time
# 设置Ollama服务器地址
client = ollama.Client(
host='http://(这里填你的公网IP地址):11434',
timeout=httpx.Timeout(
connect=5.0,
read=30.0,
write=30.0,
pool=None
)
)
def chat_with_ollama():
try:
# 测试连接
print("正在测试与服务器的连接...")
try:
# 尝试列出可用模型来测试连接
client.list()
print("成功连接到服务器!")
except Exception as e:
print(f"连接服务器失败: {str(e)}")
print("请检查以下几点:")
print("1. 确保服务器IP地址正确")
print("2. 确保服务器上的Ollama服务正在运行")
print("3. 确保服务器防火墙允许端口11434的访问")
print("4. 确保服务器的Ollama配置允许远程连接")
return
# 创建对话
print("\n开始与Ollama对话(输入'退出'结束对话)")
while True:
# 获取用户输入
user_input = input("\n你: ")
# 检查是否退出
if user_input.lower() == '退出':
print("结束对话")
break
# 发送请求到Ollama
try:
response = client.chat(model='qwen2.5:0.5b', messages=[
{
'role': 'user',
'content': user_input
}
])
# 打印响应
print("\nOllama:", response['message']['content'])
except Exception as e:
print(f"\n请求处理出错: {str(e)}")
print("正在尝试重新连接...")
time.sleep(2) # 等待2秒后继续
except Exception as e:
print(f"发生错误: {str(e)}")
if __name__ == "__main__":
chat_with_ollama()
云端部署好最后的效果:
Ollama - 大模型运行框架
概述
Ollama 是一个开源框架,旨在简化在本地环境中部署和管理大型语言模型(LLMs)的过程。它支持多种流行的模型,并提供了简单的命令行接口和Python库,使用户可以轻松地运行、管理和与这些模型交互。
快速开始
安装
Linux 和 macOS
通过以下命令快速安装Ollama:
curl -fsSL https://ollama.com/install.sh | sh
对于希望更细致控制安装过程的高级用户,可以手动下载二进制文件并设置为系统服务:
-
下载二进制文件:
sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama sudo chmod +x /usr/bin/ollama
-
创建Ollama用户:
sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama
-
创建服务文件
/etc/systemd/system/ollama.service
:[Unit] Description=Ollama Service After=network-online.target [Service] ExecStart=/usr/bin/o