第三期书生大模型实战营——基础岛

原创 已于 2024-08-11 21:42:20 修改 · 470 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#LLM

于 2024-08-09 14:17:10 首次发布

1.书生大模型全链路开源体系

【书生·浦语大模型全链路开源开放体系】 https://www.bilibili.com/video/BV18142187g5/?share_source=copy_web&vd_source=711f676eb7f61df7d2ea626f48ae1769
视频里介绍了书生浦语大模型的开源开放体系，包括了其的技术发展、模型架构、开源生态等。其核心技术思路包括：
- 模型能力飞轮：广泛使用模型参与自身迭代，加速能力提升；
- 高质量合成数据：包括基于规则的数据构造、基于模型的数据扩充、基于反馈的数据生成。融合了多种数据合成方案，提升合成数据质量；
在这里插入图片描述
此外还介绍了预训练框架InternEvo、微调框架XTuner、OpenCompass评测体系、LMDeploy部署框架、智能体Lagent和MindSearch，可以看出其开源链条非常的完整，和社区生态无缝对接。

2. 8G 显存玩转书生大模型 Demo

  • 配置conda环境，编写cli_demo.py代码
    在这里插入图片描述
  • 与模型交流
    在这里插入图片描述
  • 生成小故事，可以看到后面开始重复输出内容了，可能需要进一步调整模型参数
    在这里插入图片描述
  • Streamlit Web Demo 部署 InternLM2-Chat-1.8B 模型
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • 部署 InternLM-XComposer2-VL-1.8B
    在这里插入图片描述
  • 部署 InternVL2-2B
    在这里插入图片描述

3. 浦语提示词工程实践

  • 基础任务
    在这里插入图片描述

4. Llamaindex RAG实践

  • Q：“OSDI23的HEDB是什么工作？”，使用RAG之前：
    在这里插入图片描述
  • 使用RAG之后：
    在这里插入图片描述

5. XTuner 微调个人小助手认知任务

  • 配置Xtuner环境，验证安装是否成功
    在这里插入图片描述
  • 查看目录结构
    在这里插入图片描述
  • 启动应用
    在这里插入图片描述
    在这里插入图片描述
  • 准备微调数据
    在这里插入图片描述
  • 开始微调
    在这里插入图片描述
  • 转换模型格式，合并模型
    在这里插入图片描述
  • 运行程序，重新对话
    在这里插入图片描述

6. OpenCompass 评测 InternLM-1.8B

  • 配置测试环境
    在这里插入图片描述
  • 启动测试
    在这里插入图片描述
    在这里插入图片描述
  • 使用配置文件测试
    在这里插入图片描述
    在这里插入图片描述
第四期书生大模型实战营——入门岛
qq_45880352的博客
12-30 1120
什么是git常用命令提交一份自我介绍。从远程仓库 origin 中拉取 class 分支的最新内容。在本地创建一个名为 class 的新分支。自动切换到这个新创建的本地 class 分支。设置本地的 class 分支跟踪远程的 class 分支。还没添加git配置，所以提示commit时无法识别我的身份。这里我们使用命令行配置一下即可：# 全局配置# 局部配置可以提交git push origin class_<你的uid>执行查看结果。
（第三期）书生大模型实战营——Llamaindex RAG实践
a_blade_of_grass的博客
07-27 1443
本文任务及教程来自书生大模型实战营，
第三期书生大模型实战营——入门岛
junkmachine的博客
08-08 281
1. Linux 基础知识 创建开发机 ssh链接服务器 端口映射 创建hello_world.py文件 运行程序，访问网页 2. Python基础知识 任务1 任务2 设置断点，运行debug模式 运行到断点处，查看函数中的变量 运行到下一个断点处，可以看到此时txt中没有标点符号了 3.Git基础知识 fork项目仓库，提交自我介绍 提交PR 创建仓库
第四期书生大模型实战营——基础岛第6关-L1G6000-OpenCompass 评测书生大模型实践
AbelYang1的博客
11-27 432
使用 OpenCompass 评测 internlm2.5-chat-1.8b 模型在 ceval 数据集上的性能，记录复现过程并截图。用 CMMLU Benchmark 的每个子数据集的 1 个样本进行评测，遇到问题。使用 OpenCompass 评测浦语 API 记录复现过程并截图。首先创建 conda 环境。为评测浦语 API 准备。
第四期书生大模型实战营——基础岛第3关-L1G3000-浦语提示词工程实践
AbelYang1的博客
11-15 563
具体表现在文字创作能力上，风格更鲜明，语言更优美，结构更清晰，对话更流畅；在流程上，能够遵循合理的安慰步骤，提供更有针对性的回应。将不使用系统提示的书生浦语大模型作为 baseline 对比，提交的系统提示词要指导LLM表现出比baseline更高的性能，提供对比截图并加以分析说明即可。：近期相关研究指出，在处理特定文本分析任务时，语言模型的表现有时会遇到挑战，例如在分析单词内部的具体字母数量时可能会出现错误。更好的文字创作能力（更明显的风格、更优美的文字、更准确的格式、更流畅的对话）
第三期书生大模型实战营——8G显存玩转书生大模型Demo
qq_63629606的博客
07-29 1063
注意：不要点击运行 这会使用默认的python解释器与环境 使用命令行可使用demo环境。模型，否则8gb显存不够，同时建议使用vscode的自动转发端口。模型，否则8gb显存不够，同时建议使用vscode的自动转发端口。1.打开vscode远程连接。
第四期书生大模型实战营——基础岛第5关-L1G5000-XTuner 微调个人小助手认知
AbelYang1的博客
11-27 760
在 XTuner 中提供了一键合并的命令 xtuner convert merge，在使用前我们需要准备好三个路径，包括原模型的路径、训练好的 Adapter 层的（模型格式转换后的）路径以及最终保存的路径。该命令需要三个参数：LLM 表示原模型路径，ADAPTER 表示 Adapter 层的路径， SAVE_PATH 表示合并后的模型最终的保存路径。对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。
第四期书生大模型实战营——L1G1000
最新发布
m0_67813463的博客
02-06 723
书生大模型全链路开源开放体系笔记
第四期书生大模型实战营——基础岛第4关-L1G4000-InternLM + LlamaIndex RAG 实践
AbelYang1的博客
11-25 500
（必做，参考readme_api.md）：基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前 浦语 API 不会回答，借助 LlamaIndex 后 浦语 API 具备回答 A 的能力，截图保存。（优秀学员必做） ：将 Streamlit+LlamaIndex+浦语API的 Space 部署到 Hugging Face。在 HF space 项目设置里添加 API_KEY。使用 API+LlamaIndex 得到想要的答案。
第三期书生大模型实战营——书生大模型全链路开源体系
qq_63629606的博客
08-07 449
书生·浦语大模型全链路开源体系书生·浦语社区的贡献者。
第三期书生大模型实战营——InternVL 多模态模型部署微调
qq_63629606的博客
08-29 1660
一、任务介绍follow 教学文档和视频使用QLoRA进行微调模型，复现微调效果，并能成功讲出梗图.尝试使用LoRA，或调整xtuner的config，如LoRA rank，学习率。看模型Loss会如何变化，并记录调整后效果(选做，使用LoRA或调整config可以二选一)二、根据文档搭建环境三、使用InternVL 推理部署3.1、使用pipeline进行推理3.1.1、创建test_lmdeploy.py以及推理的图片3.1.2、推理结果。
线性规划建模实战1
junkmachine的博客
09-20 3922
投资收益和风险 1问题题出： 市场上有n种资产si(i=1,2,L,n)可以选择，现用数额为M的相当大的资金作一个时期的投资。这n种资产在这一时期内购买si的平均收益率为ri，风险损失率为qi，投资越分散，总的风险越小，总体风险可用投资的si中最大的一个风险来度量。 购买si时要付交易费，费率为pi，当购买额不超过给定值ui时，交易费按购买ui计算。另外，假定同期银行存款利率是r0，既无交易费又无风险（r0=5%）。 已知n=4时相关数据如表1.1。 表1.1 投资的相关数据 si ri(%) qi
虚拟机配置spark
junkmachine的博客
09-16 2590
虚拟机配置spark
《Python源码剖析》笔记list_print()
junkmachine的博客
04-05 1611
目前学习到第三章PyListObject的内容，在最后一小节Hack PyListObject操作的时候，作者并没有给源代码，这里是我的修改。 static int list_print(PyListObject *op, FILE *fp, int flags) { int rc; Py_ssize_t i; PyObject *item; rc = Py_ReprEnter((PyObject*)op); if (rc != 0) { if (r
SparkSQL的Join的实现方式
junkmachine的博客
09-16 1549
SparkSql笔记
Matlab线性规划规范
junkmachine的博客
09-20 1101
matlab规定了线性规划的标准形式为： min cTx （求最大值用-c） s.t.{Ax≤b（不等式约束条件）（当出现>时，把对应行系数乘以负号即可）Aeqx=beq（等式约束条件）lb≤x≤ub（x上下界） s.t. \begin{cases} Ax \leq b （不等式约束条件）（当出现>时，把对应行系数乘以负号即可）\\ Aeqx = beq （等式约束条件）\\ lb \leq x \leq ub （x上下界） \end{cases} s.t.⎩⎪⎨⎪⎧​Ax≤b（不等式约束条件
《Python源码剖析》笔记ShowCharacter（）
junkmachine的博客
04-04 1064
目前学习到第三章PyStringObject的内容，在最后一小节Hack PyStringObject操作的时候，作者并没有给源代码，或者说没有直接说明如何修改源代码，这里是我的一些探索。 运行环境： window10 vs2010 python2.7.13，编译的是PC目录里面的VS9.0的项目 这是原文中的描述： 作者说是通过在string_ength中添加代码，而这个函数实际上是这样的： static Py_ssize_t string_length(PyStringObject *a) {
《Python源码剖析》笔记int_repr()
junkmachine的博客
03-24 873
在原书中,作者使用vs2003运行python2.5的项目，而现在配置这样的环境比较复杂，所以我尽量在配置环境上时间相差小一点，刚配置好，编译成功源文件，希望按照书上说的。修改int_repr()函数，结果变化有点大，弄了很久最后失败了，但把过程记录下来，以供以后考证。 运行环境： window10 vs2010 python2.7.13，编译的是PC目录里面的VS9.0的项目 先看看原书的写法： 作者在源代码中修改了int_repr()这个函数，但是我在python2.7.13版中，没有找到这个函数，作
第四期书生大模型：书生基础通关岛第三关
01-20
### 关于书生大模型第四期基础通关岛第三关 针对书生大模型第四期基础通关岛第三关的任务，此阶段主要聚焦于通过不同参数量训练模型并结合多种微调技术来优化特定任务的表现。具体而言，在对比 xcomposer2-4khd、internVL1.5 和 llava-llama3-8b 这些具有不同参数规模的预训练模型时，采用 LORA（低秩自适应）、QLORA 及 FULL 训练方法可以有效增强模型处理少量样本学习(few-shot learning)以及专门领域内图纸识别的能力[^1]。 为了成功完成这一挑战，建议采取如下策略： #### 数据准备 确保拥有高质量的数据集用于训练和验证，特别是那些能够代表目标应用场景中的特征数据，比如工业设计图或其他形式的技术绘图。 #### 模型选择与调整 基于项目需求挑选合适的基线模型，并考虑其参数大小对性能的影响。较小的模型可能更适合资源受限环境下的部署；而较大的模型则通常能提供更好的泛化能力。 #### 微调技巧应用 利用LORA或QLORA等高效微调方式快速适配新任务，减少计算成本的同时保持较高的准确性。对于更复杂的要求，则可尝试FULL fine-tuning以获得最佳效果。 ```python from transformers import AutoModelForSequenceClassification, Trainer, TrainingArguments model_name = "path_to_pretrained_model" model = AutoModelForSequenceClassification.from_pretrained(model_name) training_args = TrainingArguments( output_dir="./results", evaluation_strategy="epoch", per_device_train_batch_size=8, per_device_eval_batch_size=8, num_train_epochs=3, weight_decay=0.01, ) trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, eval_dataset=val_dataset, ) ``` 上述代码片段展示了如何设置一个简单的`Trainer`对象来进行模型微调操作。实际实现过程中还需要根据具体的任务类型调整配置项。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值