12. Function Call实践

本文主要讲解大模型的function call能力,包括使用国内外在线模型和本地模型,以及如何微调以增强大模型的function call能力。

回顾下大模型学习思路:

1. 环境准备

1.1 平台上【模型调试】中创建

2. 调用国内外大模型测试

2.1 调用GPT-4

代码位于/code/gpt-4_weather_query.ipynb

Star平台暂时没有代理,调用GPT-4需要自行解决下网络问题。

2.2 调用GLM4-plus

代码位于/code/glm-4_weather_query.ipynb

参考:智谱AI开放平台

2.3 注意⚠️

【在平台上进行练习时】,打开新的终端准备运行代码调用线上模型之前设置代理以连接到互联网,设置命令如下

# 终端输入命令
export http_proxy=http://10.10.9.50:3000
export https_proxy=http://10.10.9.50:3000
export no_proxy=localhost,127.0.0.1

此外还需要设置对应的api-key,使用自己的api-key替换

3. 本地开源模型部署部署使用

如果是在自己的环境,需要安装以下python包;

平台上相关环境已经准备好

3.1 安装fastchat

# 这里是在设置【平台专属网络代理】,只有在平台上使用时才有效,
# 其他环境使用会出错
export http_proxy=http://10.10.9.50:3000
export https_proxy=http://10.10.9.50:3000
export no_proxy=localhost,127.0.0.1

# 这一步是在安装fschat,环境需要连接互联网
pip3 install fschat[model_worker] -i https://mirrors.ustc.edu.cn/pypi/web/simple

3.2 启动模型服务

打开三个终端,分别依次在各终端执行如下命令:

# 按顺序依次执行
# 新建终端,输入如下命令
python -m fastchat.serve.controller --host 0.0.0.0
# 新建终端,输入如下命令
python -m fastchat.serve.model_worker --mo
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ApiChain

扔个包子砸我一下吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值