Datawhale AI 冬令营 day1

Day 1

1.step1 创建大模型 嬛嬛->选择Qwen_v2.5_instruct模型

-step2 下载数据集->创建数据集

step3 开始训练

step4 创建应用（因为发布为服务时需要选择授权的应用）

step5 体验AI嬛嬛，发布为服务

day1了解了Alpaca格式的组成。大体了解到指定数据集 + 开源大模型 + 微调平台的部署过程

Alpaca的数据格式：

[
  {
	"instruction": "人类指令（必填）",
	"input": "人类输入（选填）",
	"output": "模型回答（必填）",
	"system": "系统提示词（选填）",
	"history": [
	  ["第一轮指令（选填）", "第一轮回答（选填）"],
	  ["第二轮指令（选填）", "第二轮回答（选填）"]
	]
  }
]

模型定制，一般可指微调开发（往往是使用 LoRA微调技术 ，这个我们容后再学），构建 垂直领域的大模型（与通用大模型对应）。

思考：

1.自己用数据集训练出来的模型和星火认知模型的区别

嬛嬛模型是基于数据集来回答的

2.微调是要改动提供的数据集吗

如何微调？

冬令营之后，可以解决一下问题吗

1. 如何 定制大模型 ？用到的 技术 主要是什么？
2. 什么是 微调 ？ 为什么 要微调？微调得到的是什么？
3. 微调得到的模型 可以用来做什么？怎么用？
4. 微调的 关键步骤 是什么？
5. 什么样的 数据 可以用来微调？从哪里可以找到？
6. 如何构建自己的 微调数据集 ？
7. 如何评价自己的 模型效果 ？并且有较为客观的数据支撑？
8. 我要如何基于自己的想法 定制一个效果优秀的大模型

讯飞的官方文档

https://www.xfyun.cn/doc/spark/%E6%95%B0%E6%8D%AE%E9%9B%86%E6%A0%BC%E5%BC%8F%E8%AF%B4%E6%98%8E.html#_1-alpaca%E6%A0%BC%E5%BC%8F%E8%AF%B4%E6%98%8E