【Linux】环境ChatGLM-4-9B 模型之 openai API 服务

一、摘要

最近看到 Function Call 比较感兴趣,它的核心是赋予大模型能够调用外部API的能力,能够解决大模型功能扩展性问题,允许模型调用外部数据库或API,提供特定领域的详细信息;解决信息实时性问题,模型可以实时获取最新数据;解决数据局限性问题,大模型训练数据虽多但有限,无法覆盖所有领域,Function Call允许模型调用外部工具进行复杂计算、数据分析等。它能够满足大模型私有化部署的个性定制,就感觉特别好,因此记录在Linux环境下搭建GLM4的openai服务。

二、部署ChatGLM-4-9B

由于我之前的文章已经部署成功,因此如果大家还没部署可以参考以下这篇文章。

【Linux】环境ChatGLM-4-9B 模型部署_chatglm4-9b gguf模型-优快云博客

三、搭建 openai api 服务

前提:ChatGLM-4-9B的代码、模型及环境依赖已经准备好。

1.环境说明

目前结构如下:

 glm4:下载好的依赖环境

openai_api_server.py:启动openai api的脚本(会调用glm_server.py)

glm_ser

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值