Camp4-L1：浦语提示词工程实践

书生浦语大模型实战营第四期-浦语提示词工程实践

• 教程链接：https://github.com/InternLM/Tutorial/tree/camp4/docs/L1/Prompt
• 任务链接：https://github.com/InternLM/Tutorial/blob/camp4/docs/L1/Prompt/tasks.md
• 提交链接：https://aicarrier.feishu.cn/share/base/form/shrcnUqshYPt7MdtYRTRpkiOFJd

任务说明

基础任务 (完成此任务即完成闯关)

• 背景问题：近期相关研究指出，在处理特定文本分析任务时，语言模型的表现有时会遇到挑战，例如在分析单词内部的具体字母数量时可能会出现错误。
• 任务要求：利用对提示词的精确设计，引导语言模型正确回答出“strawberry”中有几个字母“r”。完成正确的问答交互并提交截图作为完成凭证。

参考答案 （能正确得到答案 3 即可）

进阶任务 (闯关不要求完成此任务)

任选下面其中1个任务基于LangGPT格式编写提示词 (优秀学员最少编写两组)，使用书生浦语大模型 进行对话评测。

• 公文写作助手
• 商务邮件沟通
• 温柔女友/男友
• MBTI 性格测试
• 剧本创作助手
• 科幻小说生成

达标要求

将不使用系统提示的书生浦语大模型作为 baseline 对比，提交的系统提示词要指导LLM表现出比baseline更高的性能，提供对比截图并加以分析说明即可。

• 更好的文字创作能力（更明显的风格、更优美的文字、更准确的格式、更流畅的对话）
• 更准确的回答能力
• 更准确的流程遵循能力

基础任务

第一步：基于lmdeploy和streamlit部署internlm2-chat-7b大模型

先配置langgpt的环境：

# 创建虚拟环境
conda create -n langgpt python=3.10 -y
conda activate langgpt
# 安装一些必要的库
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y

# 安装其他依赖
pip install transformers==4.43.3

pip install streamlit==1.37.0
pip install huggingface_hub==0.24.3
pip install openai==1.37.1
pip install lmdeploy==0.5.2

本地运行，需要下载模型，需要参考入门闯关时生成huggingface的token，也可以用modelscope下载，更快一点~

from huggingface_hub import login, snapshot_download
import os

os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

login(token=“your_access_token")

models = ["internlm/internlm2-chat-1_8b"]

for model in models:
    try:
        snapshot_download(repo_id=model,local_dir="langgpt/internlm2-chat-1_8b")
    except Exception as e:
        print(e)
        pass

感觉7B的模型更好点，后面用7B的搞下

新建L1_langgpt文件夹，新建run_lmdeploy_internlm2.sh，贴入下述脚本：

CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server \
    ./internlm2-chat-7b \
    --server-port 23333 \
    --api-keys internlm2

把下载好的internlm2-chat-7b模型或者别的模型软链接到文件夹L1_langgpt下面，然后开个screen，或者用tmux也行，运行上面脚本部署下internlm2-chat-7b这个模型：

点进浏览器是这个样子：

测试是否成功，需要写个脚本test_openai.py，贴入下述内容：

from openai