- 博客(5)
- 收藏
- 关注
RSS订阅原创 XTuner 微调 LLM笔记
主要有两种微调范式，目的是使基座大模型成为垂直模型什么是指令微调————就是有对话数据要可以被系统利用不同模型有不同的输入/输出模板喂给模型的是拼装好的基座不变，在基座上微调lora，新建小linear，也就是adapter。主要目的是减少开销。
2024-04-21 23:22:31
354
1
原创 xtuner_llava 微调作业
evaluation_inputs = ['请描述一下这张图片','Please describe this picture']# 进入家目录 （~的意思是 “当前用户的home路径”）# 创建版本文件夹并进入，以跟随本教程。# 拉取 0.1.17 的版本源码。# 从源码安装 XTuner。开始Finetune。
2024-04-21 22:25:58
1605
1
原创 书生大模型实战笔记2
Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:
2024-04-14 18:37:33
1987
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人