本次夏令营意在使参与者通过学习大模型部署、大模型检索增强生成(Retrieval Augmented Generation, RAG)实战、大模型微调实战,掌握大模型应用全栈开发
一.跑通baseline
对于像我这样的初学者而言,跑通baseline是关键的第一步,帮助熟悉比赛流程的同时在大脑里形成对大语言模型基本使用方法和功能的直观印象。官方在此贴心地提供了详细的baseline速通指南:Datawhale 大致可以划分为以下几点:
- 开通阿里云PAI-DSW试用
- 在魔塔社区开通PAI实例
- 创建demo
- 对话体验
相关步骤官方文档解释的非常清晰,按照文档一步步来就能搞定。
二.理解baseline代码
相信有不少uu像我一样,或多或少接触过大模型开发,脑海中也有一些大模型的相关理论知识,各种高大上的名词也都听闻过一点,但是缺乏实操经验,相关开发工作不知从何处入手,那么借这次夏令营的机会,读懂官方baseline代码是一个良好的开始。
1.文件下载、环境安装、启动demo部分代码
git lfs install
git clone https://www.modelscope.cn/datasets/Datawhale/AICamp_yuan_baseline.git
pip install streamlit==1.24.0
streamlit run AICamp_yuan_baseline/Task\ 1:零基础玩转源大模型/web_demo_2b.py --server.address 127.0.0.1 --server.port 6006
将项目git clone下来后安装streamlit,streamlit是一个开源python库,允许开发者快速构建和部署数据应用和网络应用,能够使开发者将数据分析、模型可视化以及原型设计快速转化为可分享的Web应用程序。它主要具有以下优点:
- 交互性高:Streamlit支持创建高度交互性的应用,用户可以通过滑块、下拉菜单、文本输入等方式与应用进行交互,可用于动态调整参数
- 实时性:通过提供的接口,用户可以将数据发送到后台服务器,实时获取推理结果
- 简单易用:可以通过通过编写简单的Python脚本,快速构建应用。它采用命令式编程范式,使得代码的编写和调试更加直观。通过Streamlit,开发者可以轻松地将应用分享给他人,只需将代码仓库分享。
最后运行web_demo_2b.py脚本,并使用server.address和se