对本地部署的ChatGLM模型进行API调用

本文介绍如何在本地部署ChatGLM模型并使用Python进行API调用,包括测试GPU运行、API响应测试,以及在遇到防火墙问题时的解决方案,如配置Windows防火墙规则以确保请求通过。

ChatGLM作为一个小参数模型,给予了我们在本地部署LLM的条件,接下来我将展示如何使用python对本地部署的ChatGLM模型进行API调用

对于如何部署本地ChatGLM模型我们可以访问本地化部署大语言模型 ChatGLM

接下来我首先分享api调用的测试代码:

import time
import requests
# 测试GPU运行是否成功
def test_function_1():
    import torch
    print(torch.cuda.is_available())
    # 测试成功

# 测试api相应是否无误
def test_function_2():
    # 发送POST请求

    url = "http://localhost:8000"  # API的地址
    data = {
        "prompt": "What is your name?",
        "history": [],  # 历史对话,如果有的话,这里初始化为一个空列表
        "max_length": 2048,  # 最大生成长度
        "top_p": 0.7,  # Top-p采样参数
        "temperature": 0.95  # 温度参数
    }
    response = requests.post(url, json=data)

    # 解析响应
    if response.status_code == 200:
        answer = response.json()
        print("Response:", answer["response"])
        print("History:", answer["histor
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值