- 博客(10)
- 收藏
- 关注
原创 大模型高效微调 PEFT 学习笔记:Prompt-Tuning、Prefix-Tuning/P-Tuning v2 与 LoRA
本篇是大模型学习系列笔记的第三篇(前两篇:手写 Transformer、Transformers 库入门),整理 PEFT(Parameter-Efficient Fine-Tuning,高效参数微调)库中最常用的三种方法。和平时"写提示词"的区别:人工写 prompt 是 hard prompt(离散、可读、不可训练),这里是 soft prompt(连续、不可读、可训练)。,训练完只保存这几十万级的小参数,原模型一点不动,多个任务可以像"插件"一样随时切换。
2026-09-03 22:10:46
346
原创 从零手写 Transformer:PyTorch 逐行实现与原理拆解
同时这里不能直接使用context_len来进行初始化nn.Embedding,因为这里面的高维特征是和词汇表的tokenID进行绑定的,所以不能简单的对每一个token进行初始化。下面给这些编码后的样本加上位置编码,注意这里的位置编码是一个常数,在训练过程中没有任何变化的。其中这个pos是字母的位置,i的话则是特征维度的位置,这里比较难写。位置除以10000的2i/d_model次方,这里2i的意思是,i只取一半,比如d_model是32,i就取16个。,通过三个独立的线性层分别学到不同的角色变换。
2026-08-31 14:15:06
235
原创 42. 接雨水
第一次做没有读懂题目,写的时候逻辑为每一个柱子相邻的两个高度而不是左侧右侧的最大高度,这个思路是错误的。某一格能不能存水,不看它旁边紧挨着的柱子,而看它左边所有柱子里的最高值和右边所有柱子里的最高值。
2026-08-19 11:01:22
161
原创 611.有效三角形的个数(leetcode)
但是这样是做不出来的,因为当判断指针移动条件的时候,用的是两边之和大于第三边,这里固定了最短边,通过移动短边和长边来满足不等式,可是一旦这个不等式不满足条件的时候。通常双指针移动的操作是朝着满足条件的方向移动的,但是发现无论移动左指针还是右指针都有可能使其满足条件,也就是说短边和长边的值在不等式两边都会影响这个等式,这样导致后续无法确定是移动左指针还是右指针。,这几道题都是沿用三数之和的相向双指针可以做出来,脑子里就形成了思维惯性了,没有去思考背后的一些本质,为什么这些题可以用相向双指针做出来。
2026-08-18 12:39:07
172
原创 RT-DETR中的Encoder
进行残差相加和层归一化,残差相加是防止通过注意力计算之后得到的结果不如之前一开始输入的编码序列,也可以理解成与原来的序列相加之后各个像素的所有维度信息更加丰富了。这个向量每一行表示的这个时候每一行表示的不再是对于每一个像素的描述,而是一个像素与其他像素的关系,范围在0-1,并且每一行求和等于1。其实都是由原来输入的序列乘了不同的权重矩阵得到的,也就是只经过了线性变化,矩阵经过线性变化不会改变其本质。矩阵的每一行表示的还是原来序列的每一行,这里的每一行又表示的是之前特征图展平之后的每一个像素,所以进行。
2025-04-09 21:22:25
1131
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅
1