本文主要讲解大模型的function call能力,包括使用国内外在线模型和本地模型,以及如何微调以增强大模型的function call能力。
回顾下大模型学习思路:
1. 环境准备
1.1 平台上【模型调试】中创建
2. 调用国内外大模型测试
2.1 调用GPT-4
代码位于/code/gpt-4_weather_query.ipynb
Star平台暂时没有代理,调用GPT-4需要自行解决下网络问题。
2.2 调用GLM4-plus
代码位于/code/glm-4_weather_query.ipynb
参考:智谱AI开放平台
2.3 注意⚠️
【在平台上进行练习时】,打开新的终端准备运行代码调用线上模型之前设置代理以连接到互联网,设置命令如下
# 终端输入命令
export http_proxy=http://10.10.9.50:3000
export https_proxy=http://10.10.9.50:3000
export no_proxy=localhost,127.0.0.1
此外还需要设置对应的api-key,使用自己的api-key替换
3. 本地开源模型部署部署使用
如果是在自己的环境,需要安装以下python包;
平台上相关环境已经准备好
3.1 安装fastchat
# 这里是在设置【平台专属网络代理】,只有在平台上使用时才有效,
# 其他环境使用会出错
export http_proxy=http://10.10.9.50:3000
export https_proxy=http://10.10.9.50:3000
export no_proxy=localhost,127.0.0.1
# 这一步是在安装fschat,环境需要连接互联网
pip3 install fschat[model_worker] -i https://mirrors.ustc.edu.cn/pypi/web/simple
3.2 启动模型服务
打开三个终端,分别依次在各终端执行如下命令:
# 按顺序依次执行
# 新建终端,输入如下命令
python -m fastchat.serve.controller --host 0.0.0.0
# 新建终端,输入如下命令
python -m fastchat.serve.model_worker --mo