阿里云,云端部署ollama,本地调用原创教程

写在最前面:本人用markdown用得不太好,很尽力排版了,先准备好本地端python代码,再看后面的内容。

import ollama
import httpx
import time
# 设置Ollama服务器地址
client = ollama.Client(
    host='http://(这里填你的公网IP地址):11434',
    timeout=httpx.Timeout(
        connect=5.0,
        read=30.0,
        write=30.0,
        pool=None
    )
)
def chat_with_ollama():
    try:
        # 测试连接
        print("正在测试与服务器的连接...")
        try:
            # 尝试列出可用模型来测试连接
            client.list()
            print("成功连接到服务器!")
        except Exception as e:
            print(f"连接服务器失败: {str(e)}")
            print("请检查以下几点:")
            print("1. 确保服务器IP地址正确")
            print("2. 确保服务器上的Ollama服务正在运行")
            print("3. 确保服务器防火墙允许端口11434的访问")
            print("4. 确保服务器的Ollama配置允许远程连接")
            return

        # 创建对话
        print("\n开始与Ollama对话(输入'退出'结束对话)")

        while True:
            # 获取用户输入
            user_input = input("\n你: ")

            # 检查是否退出
            if user_input.lower() == '退出':
                print("结束对话")
                break

            # 发送请求到Ollama
            try:
                response = client.chat(model='qwen2.5:0.5b', messages=[
                    {
                        'role': 'user',
                        'content': user_input
                    }
                ])

                # 打印响应
                print("\nOllama:", response['message']['content'])
            except Exception as e:
                print(f"\n请求处理出错: {str(e)}")
                print("正在尝试重新连接...")
                time.sleep(2)  # 等待2秒后继续

    except Exception as e:
        print(f"发生错误: {str(e)}")


if __name__ == "__main__":
    chat_with_ollama()

云端部署好最后的效果:
在这里插入图片描述

Ollama - 大模型运行框架

概述

Ollama 是一个开源框架,旨在简化在本地环境中部署和管理大型语言模型(LLMs)的过程。它支持多种流行的模型,并提供了简单的命令行接口和Python库,使用户可以轻松地运行、管理和与这些模型交互。

快速开始

安装

Linux 和 macOS

通过以下命令快速安装Ollama:

curl -fsSL https://ollama.com/install.sh | sh

对于希望更细致控制安装过程的高级用户,可以手动下载二进制文件并设置为系统服务:

  1. 下载二进制文件

    sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
    sudo chmod +x /usr/bin/ollama
    
  2. 创建Ollama用户

    sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama
    
  3. 创建服务文件 /etc/systemd/system/ollama.service

    [Unit]
    Description=Ollama Service
    After=network-online.target
    
    [Service]
    ExecStart=/usr/bin/o
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值