大模型开发平台是一款面向高校大模型教学、科研的一站式大模型开发工具。平台能够自定义调用CPU和内存资源,自由配置专门针对大模型和深度学习等任务的硬件加速器(如GPU或XPU),能够高效地执行大模型的prompt工程、大模型应用开发和大模型的微调。平台支持主流的大模型基座,支持大模型基座私有化部署,包括智谱的ChatGLM、百川的Baichuan、阿里的Qwen等,助力用户快速进行大模型的开发和微调。平台还提供了丰富大模型开发工具、整套开发环境和资源监控功能,能够灵活分配资源,方便用户轻松使用、开发、管理大模型应用。
大模型开发平台功能简介
1、资源看板
提供资源监控页面,汇总系统的资源配置情况,包括CPU、GPU、内存、节点状态和任务实时数据。
2、数据存储
提供上传本地数据资源,支持非结构化数据和通用的表结构化数据,同时提供了数据的下载、重命名、移动和删除功能。支持将数据文件共享至公共存储空间,多用户可以复制和使用相同的数据。
3、训练任务
提供简单的界面操作,定义任务的入口程序、算力规格,完成任务创建,可设置定时任务功能,预定任务的启动时间。支持复制已有任务并进行修改,从而提高任务创建的效率。通过查看任务运行日志的功能,包括任务当前的状态、输出信息以及可能的错误提示,判断任务的运行成果。
4、微调开发
提供开发环境列表界面可以对单用户的多个开发环境进行管理,点击链接可进入在线JupyterLab开发界面。支持大模型微调,包括Qwen-7B-Chat、chatglm2-6b、vicuna-13b、vicuna-7