- 博客(11)
- 收藏
- 关注
RSS订阅
3原创 书生大模型第四期 | 进阶岛 task3 LMDeploy 量化部署实践
如果是连不上raw.githubusercontent.com报错，可以修改下载数据的脚本路径在/root/.cache/huggingface/modules/datasets_modules/datasets/ptb_text_only/下有个python脚本，可以修改下载url，前面加上代理地址如https://ghproxy.cn/可以将模型权重的大小减少到原来的1/4（实际没这么简单，更精确的应该是直接用量化后的权重大小进行计算即1.5G，因为不是所有的层权重都会int4量化。
2024-11-27 10:37:13
1854
原创 书生大模型第四期 | 基础岛 task5 XTuner 微调个人小助手认知任务(包含swanlab可视化与模型上传modelscope)
环境配置与数据准备**步骤 0.使用 conda 先构建一个 Python-3.10 的虚拟环境****步骤 1.** 安装 XTuner验证安装修改提供的数据**步骤 0.** 创建一个新的文件夹用于存储微调数据**步骤 1.** 编辑&执行脚本**步骤 3.** 查看数据训练启动**步骤 0.** 复制模型**步骤 1.** 修改 Config**步骤 2.** 启动微调通过观察日志检验训练成果**步骤 3.** 权重转换**步骤 4.** 模型合并模型 WebUI 对话部署到modelscope。
2024-11-26 15:08:34
2227
原创 书生大模型第四期 | 基础岛 task6 OpenCompass 评测
这里用的数据集是CMMLU Benchmark ，待会运行代码的时候会下载到/root/.cache/opencompass/./data/cmmlu目录下，需要的同学可以查看学习。配置数据集：找到opencompass/configs/datasets/demo/demo_cmmlu_chat_gen.py 代码。pip uninstall rouge && pip install rouge==1.0.1 解决。修改最后一行：原本是'[0:4]' 即每个数据集的前4条，改为'[0:1]'只取一条。
2024-11-26 14:54:37
414
原创 书生大模型第四期 | 基础岛 task4 Llamaindex RAG 实践（包括huggingface space构建）
任务来源：https://github.com/InternLM/Tutorial/blob/camp4/docs/L1/LlamaIndex/task.md。
2024-11-24 19:47:07
1717
原创 书生大模型第四期 | 基础岛 task3 LangGPT结构化提示词编写实践
【代码】书生大模型第四期 | 基础岛 task2 LangGPT结构化提示词编写实践。
2024-11-24 10:36:11
272
原创 书生大模型第四期 | 基础岛 task2 玩转书生「多模态对话」与「AI搜索」产品 - 任务
一般情况下主节点会根据子节点得出的结论，总结形成最终回复部分情况下，主节点会根据子节点得到的结论进一步拆解子问题回到步骤 (1) 直到得到最终结论。
2024-11-24 09:30:32
328
原创 书生大模型第四期 | 基础岛 task1 书生浦语大模型开源开放体系
XTuner：微调工具，支持算法 全参数/lora/Qlora，加速方式 flash attention sequence parallel等，任务类型 pretrain SFT 多模态等，比llama_factory微调消耗更小的显存。LMDeploy：推理框架，部分支持的模型推理性能超过vllm，支持权重及KV cache量化，引擎支持TurboMind（这个快） 和pytorch推理后端，支持类openAI。n代模型，对预训练数据进行过滤评估，比如筛选重复，低质量数据，保留更高质量数据。
2024-11-23 21:52:59
291
原创 书生大模型实战第四期task2
说明第33行， res_json = json.loads(res)有问题，我们在这一行设置断点。说明从提示词入手无效，需要从代码入手将前后代码块去除。观察此时res变量值中json是带了代码块的。我们可以修改提示词，要求输出不得带代码块。如果直接执行会报如下错误。
2024-10-30 21:45:39
286
原创 书生大模型实战第四期task1
L {本地机器_PORT}:127.0.0.1:{开发机_PORT}：这是设置本地端口转发，将本地机器的指定端口（由 {本地机器_PORT} 表示）转发到远程主机（这里即 ssh.intern-ai.org.cn）的 127.0.0.1 （即本地回环地址）和指定的开发机端口（由 {开发机_PORT} 表示）。root@ssh.intern-ai.org.cn：表示要以 root 用户身份连接到 ssh.intern-ai.org.cn 这个主机。-N 表示不执行远程命令，仅建立连接用于端口转发等。
2024-10-22 20:59:39
269
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人