书生大模型实战营第四期基础岛

L1G1000

书生·浦语大模型开源开放体系

大海捞针实验

大海捞针测试（灵感来自NeedleInAHaystack）是一种评估方法，通过在长文本中随机插入关键信息，形成大型语言模型（LLM）的Prompt。该测试旨在检测大型模型能否从长文本中提取出这些关键信息，从而评估模型处理长文本信息提取的能力。这种方法反映了LLM对长文本的理解基础能力。

MinerU高效文档解析工具

HuixiangDou

L1G2000

MindSearch

书生浦语对话

多模态对话

感觉这个图片对他来说太难了，回答全错hh

L1G3000

strawberry有几个字母r

• 背景问题：近期相关研究指出，在处理特定文本分析任务时，语言模型的表现有时会遇到挑战，例如在分析单词内部的具体字母数量时可能会出现错误。
• 任务要求：利用对提示词的精确设计，引导语言模型正确回答出“strawberry”中有几个字母“r”。完成正确的问答交互并提交截图作为完成凭证。

把“straw”和“berry”这2个单词中的所有字母分别列出来，并分别统计字母“r”的总数。根据这两个单词的统计结果，分析“strawberry”这个单词字母”r“的总数

“straw”这个单词中的所有字母是：s, t, r, a, w。字母“r”的总数是1个。 “berry”这个单词中的所有字母是：b, e, r, r, y。字母“r”的总数是2个。 根据这两个单词的统计结果，我们可以看出，“straw”这个单词中只有1个字母“r”，而“berry”这个单词中有2个字母“r”。由于“strawberry”这个单词是由“straw”和“berry”这两个单词组合而成的，因此“strawberry”这个单词中字母“r”的总数应该是“straw”和“berry”中字母“r”的总数之和，即1+2=3个。所以，“strawberry”这个单词字母”r“的总数是3个。

L1G4000

git lfs install

改成apt install git-lfs

远程连接，端口映射，访问webui

L1G5000

cat assistant_Tuner_change.jsonl | head -n 3

查看微调数据

训练过程

远程连接，端口映射，微调后访问模型webui

L1G6000

使用 OpenCompass 评测浦语 API复现

# 如果出现 rouge 导入报错, 请 pip uninstall rouge 之后再次安装 pip install rouge==1.0.1 可解决问题.

本地模型评测复现

环境里没有安装以下两个

pip install -r requirements.txt
pip install huggingface_hub==0.25.2