- 博客(14)
- 收藏
- 关注
RSS订阅原创 第三期书生大模型实战营——InternVL 多模态模型部署微调
一、任务介绍follow 教学文档和视频使用QLoRA进行微调模型，复现微调效果，并能成功讲出梗图.尝试使用LoRA，或调整xtuner的config，如LoRA rank，学习率。看模型Loss会如何变化，并记录调整后效果(选做，使用LoRA或调整config可以二选一)二、根据文档搭建环境三、使用InternVL 推理部署3.1、使用pipeline进行推理3.1.1、创建test_lmdeploy.py以及推理的图片3.1.2、推理结果。
2024-08-29 21:36:22
1083
原创 第三期书生大模型实战营——MindSearch 快速部署
由于是 CPU-only，所以我们选择 10% A100 开发机即可，镜像方面选择 cuda-12.2。然后我们新建一个目录用于存放 MindSearch 的相关代码，并把 MindSearch 仓库 clone 下来。
2024-08-29 15:30:12
567
原创 第三期书生大模型实战营——LMDeploy 量化部署进阶实践
自 v0.4.0 起，LMDeploy 支持在线 kv cache int4/int8 量化，量化方式为 per-head per-token 的非对称量化。模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、kv cache占用的显存，以及中间运算结果占用的显存。让我们回到LMDeploy，在最新的版本中，LMDeploy使用的是AWQ算法，能够实现模型的4bit权重量化。输入以下指令，让我们同时启用量化后的模型、设定kv cache占用和kv cache int4量化。
2024-08-29 11:49:10
1030
原创 第三期书生大模型实战营——Lagent自定义你的Agent智能体
Lagent 中关于工具部分的介绍文档位于 https://lagent.readthedocs.io/zh-cn/latest/tutorials/action.html。使用 Lagent 自定义工具主要分为以下几步：继承 BaseAction 类实现简单工具的 run 方法；或者实现工具包内每个子工具的功能简单工具的 run 方法可选被 tool_api 装饰；工具包内每个子工具的功能都需要被 tool_api 装饰。
2024-08-29 11:29:03
532
原创 第三期书生大模型实战营——OpenCompass 评测 InternLM-1.8B 实践
OpenCompass将对模型和数据集进行并行推理和评估。推理阶段生成模型输出，评估阶段比较输出与标准答案。：这是评估工作的起点，需要设定评估的模型、数据集、评估策略和计算后端，以及定义结果展示的方式。：评估完成后，结果将以表格形式呈现，并保存为CSV和TXT文件。
2024-08-18 20:15:28
213
原创 第三期书生大模型实战营——8G显存玩转书生大模型Demo
注意：不要点击运行 这会使用默认的python解释器与环境 使用命令行可使用demo环境。模型，否则8gb显存不够，同时建议使用vscode的自动转发端口。模型，否则8gb显存不够，同时建议使用vscode的自动转发端口。1.打开vscode远程连接。
2024-07-29 13:43:36
965
原创 书生实战营之Python
使用本地vscode连接远程开发机，将上面你写的wordcount函数在开发机上进行debug，体验debug的全流程，并完成一份debug笔记。请实现一个wordcount函数，统计英文字符串中每个单词出现的次数。返回一个字典，key为单词，value为对应单词出现的次数。1.ssh远程debug需要json配置，VS Code 通过。3.Linux中命名一条快速指令。2.debug帮助理解执行过程。
2024-07-21 19:19:56
217
原创 浅谈logisim中clock用法
2.如果直接使用clock元件，封装时不会出现，使用隧道也不会随着main图的clock更改。1.如果输入端使用输入引脚，封装时会出现。当clock元件作为输入端时。
2023-05-20 14:05:46
739
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人