如何调用大模型的 API？

原创已于 2024-11-13 23:41:38 修改 · 635 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #计算机视觉 #CNN

于 2024-11-13 22:15:23 首次发布

不少同学用了很长时间的 AI 大模型了，但却从未完成过一次大模型的 API 调用。

其实 API 调用非常简单，你可以联网调用 API，也可以将大模型下载到本地电脑上来进行调用。

区别在于联网的话很多时候需要消耗 token 数。

那么本节，就以 ChatGLM 模型为例，带大家完成一次大模型的 API 调用。

ChatGLM 是由智谱 AI 联合清华大学共同研发的一系列先进大型预训练语言模型，专注于提升对话生成任务的性能。

目前，该系列中最为出色的模型是 ChatGLM3-6B（"6B"代表整个模型有 60 亿参数，B = Bilion，代表十亿规模的参数）。
这一模型不仅支持中英文双语，而且基于先进的 General Language Model (GLM) 架构设计。

ChatGLM在研发过程中采用了与 GPT 系列相似的技术路线——
该模型经过了约 1T token的中英双语1:1训练，并融入了包括监督微调、反馈自助、人类反馈强化学习等先进技术，以生成更符合人类偏好的回答。

如何使用 Python 来调用 ChatGLM

目前的所有开源大模型的使用方法都非常简单，它们都已经适配了HuggingFace 的 transfomers 库。

因此，我们只要修改和下载权重就可以使用了。

首先，通过以下命令安装依赖库：

pip3 install transformers torch

然后，使用这篇文章中讲过的方法替换 HuggingFace 国内源，最后，使用下面的代码即可直接体验。

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True, device='cuda')
model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)
#你好👋!我是人工智能助手ChatGLM3 - 6

注意：由于模型参数较大，初次运行以上代码，会进行模型权重的下载。

时间会较长，耐心等待即可，如中途下载失败，可重新执行以上代码进行下载（会续传）。

另外，上述代码配置的是模型在 GPU 上进行推理的场景。

如果你的设备不支持 GPU计算，可以将 device=‘cuda’ 设置为 device='cpu’来运行，只不过这样的话运行速度会变慢。
在 ChatGLM 源码仓库中有更多的部署方法，有网页部署、也有针对 Intel CPU 的优化部署。

你也可以直接去官网体验官方已经在网页上部署好的 ChatGLM 模型，体验其中文对话能力。

官方网址：https://chatglm.cn/?lang=zh。

如果本文对你有帮助，欢迎点赞一下呀~