ChatGLM2使用api_key本地部署

原创 已于 2024-05-13 20:34:41 修改 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #大模型 #人工智能

于 2024-02-28 21:30:31 首次发布
本文介绍了如何在Python程序中安装并使用阿里云DashscopeAPI调用ChatGLM2-6B版本的AI助手，通过提供API_KEY并展示了一个示例请求及其输出结果。

在这里插入图片描述

安装

  按照以下网址的指示申请api_key然后替换程序中的your_api_key

https://help.aliyun.com/zh/dashscope/developer-reference/activate-dashscope-and-create-an-api-key?spm=a2c4g.11186623.0.0.459ac11aaiehfX

程序

from http import HTTPStatus

from dashscope import Generation
最低0.47元/天 解锁文章
chatglm llm实时流api接口及post访问
weixin_42357472的博客
08-17 2241
参考： https://github.com/THUDM/ChatGLM-6B/pull/573/commits/02947052eefe392fd9f9632894e9551a805c6109 https://github.com/THUDM/ChatGLM-6B/pull/573 stream_api.py 2、api访问 1）curl curl -X POST “http://127.0.0.1:8010” -H ‘Content-Type: application/json’ -d ‘{“inp
将 ChatGLM2-6B 部署成 OpenAI API 服务
人工智能
10-13 1799
使用的开源项目是FastChat。最近一直在使用 OpenAI 的 API 做一些学习和调研。使用 OpenAI 的 API，一是会产生费用，二是要解决网络问题，三是还有各种访问限速。所以尝试使用开源大语言模型搭建一个本地的 OpenAI 的 API 服务。此次使用的开源技术是 FastChat。
智谱AI：ChatGLM API调用说明
热门推荐
采菊东篱下，Python满乾坤！
02-28 2万+
智谱AI与清华KEG实验室发布的ChatGLM大语言模型，支持8k上下文，在内容创作、文本理解、信息抽取等任务上表现突出。经过海量中英标识符的预训练与人类偏好对齐训练，相比一代模型在 MMLU、C-Eval、GSM8K 分别取得了16%、36%、280%的提升，并登顶中文任务榜单C-Eval。
对本地部署的ChatGLM模型进行API调用
daada123321的博客
04-20 2325
ChatGLM作为一个小参数模型，给予了我们在本地部署LLM的条件，接下来我将展示如何使用python对本地部署的ChatGLM模型进行API调用。对于如何部署本地ChatGLM模型我们可以访问。接下来我展示一个数据分析的例子代码。接下来运行就没有问题了。
采用API的方式调用本地chatGLM2-6B，postman方式访问接口，openai格式调用接口
weixin_42118737的博客
04-30 2033
本文记录了采用api的方式访问本地chatGLM2-6B的方法
ChatGLM——SDK实现模型API调用
计算机硕士的博客
06-11 4132
ChatGLM——SDK实现模型API调用，同步调用、异步调用、SSE调用。
从零开始学AI：ChatGLM2-6B 部署测试
weixin_44626085的博客
04-04 1441
本项目提供了 ChatGLM2-6B 非量化版本在 windows 平台 2张3060显卡机型上进行部署、推理测试教程。
FastGPT+ChatGLM3本地部署
weixin_48435461的博客
04-15 2115
FastGPT结合ChatGLM的本地部署
LLMs之ChatGLM2：ChatGLM2-6B本地部署之单机推理(API/CLI/GUI)、低成本部署(GPU量化部署/CPU及其量化部署/Mac部署/多卡部署)、有限资源下高效微调(全参/P-t
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
08-27 1800
​ LLMs之ChatGLM2：ChatGLM2-6B本地部署之单机推理(API/CLI/GUI)、低成本部署(GPU量化部署/CPU及其量化部署/Mac部署/多卡部署)、有限资源下高效微调(全参/P-tuning v2)、模型评估和推理之图文教程之详细攻略 目录 一、配置基础环境及其注意事项 二、模型微调：让通用走向专业 三、模型评估和推理 一、配置基础环境及其注意事项 第一步、检测软硬件环境 设备和
本地部署Chatglm2-6B及流式API接口(sse)
weixin_43429569的博客
09-18 2178
chatglm2b 本地部署，sse流式API接口代码
python实现在线 ChatGLM调用
slient_love的博客
03-28 1422
对于需要使用 API key 来搭建应用的话，需要点击右边红框中的查看 API key，就会进入到我们个人的 API 管理列表中。智谱 AI 提供了 SDK 和原生 HTTP 来实现模型 API 的调用，建议使用 SDK 进行调用以获得更好的编程体验。在该界面，我们就可以看到我们获取到的 API 所对应的应用名字和 API key 了。并输入对应的名字即可生成新的 API key。
基于FastAPI实现的ChatGLM2-6B流式返回API接口
LuoFan_A的博客
06-26 6055
【代码】基于FastAPI实现的ChatGLM2-6B流式返回API接口。
Python 全栈系列227 部署chatglm3-API接口
yukai08008的博客
02-27 2465
上一篇介绍了基于算力租用的方式部署chatglm3, 见；本篇接着看如何使用API方式进行使用。
GLM api接口调用
GS2333的博客
03-11 1329
【代码】GLM api接口调用。
【Flask + AI】接入CHATGLM API 实现翻译接口
m0_56699208的博客
02-07 2572
实现了中英互译，注意，这两个例子非常重要，如果没有，模型可能会永远输出英文或者中文。在调用api时，把这个提示词设置为。最近的项目中，需要加一个翻译功能，正好chatglm4发布了，于是决定着手用它实现。首先，在chatglm开发者中心申请api key，这里不再赘述。其次，选择自己的开发框架，这里以 flask 为例。经过多次测试，得到了这样一个较为稳定的提示词。要实现翻译功能，一个优良的提示词十分重要。可以减小模型把这段话认为是指令的概率。
本地部署 ChatGLM2-6B
engchina的专栏
07-08 1254
本地部署 ChatGLM2-6B
【腾讯云 HAI域探秘】基于高性能应用服务器HAI部署的 ChatGLM2-6B模型，我开发了AI办公助手，公司行政小姐姐用了都说好！
风中追风
11-27 1万+
常常听起公司的行政小姐姐反馈AI要是能帮助她们在部门员工考勤记录整理；各种活动文案编写；报表核算和员工培训这些方面提供便利就好了！正好博主最近在研究和学习AIGC，首先，我对新技术非常感兴趣，对于GPT模型也非常好奇。其次，企业越来越需要复合型人才，而GPT能够帮助我快速学习和成长。因此，我决定尝试借助GPT模型的能力来先开发一个简单的AI办公助手Demo试用，来帮助企业运营提升效率，正向反馈后，持续迭代，深度集成到公司内部的办公平台，打磨出一个完整的产品！
本地部署清华大模型ChatGlm-6b、ChatGlm2-6b与ChatGlm3-6b（api接口、demo界面、流式非流式）（非常详细）
nfkjdx的博客
12-15 8334
（1）百度网盘下载地址(下载文件中附了非常详细的安装教程)：https://pan.baidu.com/s/1KQNOlYU-GMKbkPGcip1Hzw?pwd=5678（2）直接网上百度下载和安装，非常多教程，这里直接略过。
deepseek 本地部署 api如何调用
最新发布
02-05
### Deepseek 本地部署后 API 调用方法 对于希望在本地环境中调用 Deepseek API 的情况，需先完成一系列配置工作。具体而言，在 Chatbox 中配置 API 类型应选择 "OLLAMA API"，并设置接口地址为 `http://localhost:11434`[^2]。 当一切准备就绪后，通过保存设置（点击 "Save"），再利用快捷键组合 Ctrl+L 打开对话界面，并从中挑选已设定好的 deepseek-coder 方案来启动服务[^1]。 为了实现对 Deepseek API 更加灵活的应用，可以采用 Python 编写一段简单的脚本来发起请求： ```python import requests url = 'http://localhost:11434/v1/engines/deepseek-r1:8b/completions' headers = {'Content-Type': 'application/json'} data = { "prompt": "你好", "max_tokens": 50, } response = requests.post(url, headers=headers, json=data) if response.status_code == 200: result = response.json() print(result['choices'][0]['text']) else: print(f'Error {response.status_code}: {response.text}') ``` 此段代码展示了如何向指定端口发送 POST 请求以获取来自 Deepseek 模型的回答。注意这里使用的 URL 和模型名应当与先前安装时保持一致。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

晓shuo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值