书生·共学大模型实战营 第四期 L2-G300作业分享

书生$\cdot$共学大模型实战营第四期

本系列为InterLM 闯关作业个人完成情况分享
欢迎加入书生大模型实战训练营，赢取A100算力，丰富实战经验，完成实际项目，解锁更多可能！

---

Reference: https://github.com/syzonline/pjlearning/blob/camp4/docs/L1/Prompt/tasks.md
Affiliation: University of Science & Technology of China
Organization: Shanghai Artificial Intelligence Laboratory
Contact: zhangsy2023@mail.ustc.edu.cn

基础任务：优化prompt引导浦语大模型得出正确结果

任务描述：利用对提示词的精确设计，引导语言模型正确回答出“strawberry”中有几个字母“r”。

---

InternStudio的开发机内置了多个书生系列大模型，因此本实验建议采用开发机完成。首先在开发机上创建名为prompt_demo的环境，下载相关依赖：

# 安装一些必要的库
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y

# 安装其他依赖
pip install transformers==4.43.3

pip install streamlit==1.37.0
pip install huggingface_hub==0.24.3
pip install openai==1.37.1
pip install lmdeploy==0.5.2

（这里可参考第三期的文档https://github.com/InternLM/Tutorial/tree/camp3/docs/L1/Prompt）
使用VSCode连接开发机后，先开启终端1，在该终端中通过LMDeploy对模型进行部署：

CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333 --api-keys internlm2

后面采用终端2，使用Tutorial项目中的脚本创建图形化页面（通过streamlit）：

git clone https://github.com/InternLM/Tutorial.git
cd Tutorial/tools
python -m streamlit run chat_ui.py

在VSCode中，会自动设置端口转发，将远程端口0.0.0.0:23333转发到本地端口localhost:23333：

此时，我们在浏览器中打开localhost:23333，可以看到经过streamlit渲染的书生大模型UI界面。
我们发现，直接询问模型"strawberry"中包含几个字母"r"，它会给出错误的答案1，这里，采用的策略是，引导模型将整个任务拆解，分别考虑前半段的"straw"和后半段的"berry"含有几个目标字符，正确的答案是两段相加得到的结果。