大模型
关注
分享
扫一扫
文章平均质量分 88
当客
自己的学习笔记，不够完善到可以面向读者。
笔记为什么要发出来？因为要展示一下学过。
笔记都是发布时间刚记的吗？基本都不是。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
大模型--意图对齐--Instruction Tuning
原创 2023-09-24 11:03:25 · 1598 阅读 · 0 评论 -
大模型--高效微调--Prefix Tuning
给每个任务初始化一些virtual token 的 embedding 作为 prefix 添加到序列中，训练时只优化 virtual token embedding只在输入时把 task 的 token embedding 加入输入序列的 embedding。原创 2023-09-23 18:09:13 · 503 阅读 · 0 评论 -
大模型-高效微调-LoRA
freeze the pre-trained model weights, inject trainable low-rank matrices into each layer, 从而只用训练很少的参数，就可以达到全参数微调一样的效果。原创 2023-09-23 16:32:15 · 218 阅读 · 0 评论 -
大模型-计算优化-DeepSpeed
DeepSpeed 是什么，原理的简要介绍原创 2023-09-23 12:01:51 · 996 阅读 · 0 评论