学子的博客

微调（Fine-tuning）是迁移学习的核心技术，通过在预训练模型基础上调整参数，使其适应特定任务或领域。以下从传统方法、参数高效微调（PEFT）、新兴技术三个维度展开，覆盖主流技术及其应用场景。

基于Transformer Encoder堆叠（如BERT-base：12层，768隐层维度）。：BERT（掩码填充）、NAT（Non-Autoregressive Transformers）。：将词汇映射到低维连续向量空间，捕捉语义和语法关系。：使用[S]和[/S]标记片段边界，强化位置感知。：传统RNN编码器-解码器存在长程信息丢失。：解码时动态加权编码器隐状态，聚焦关键信息。：根据上下文生成词向量，解决多义词问题。：并行多个注意力头，捕获不同子空间特征。：各头独立计算后拼接，通过线性层融合。

Transformer 由编码器（Encoder）和解码器（Decoder）堆叠而成，每个层包含：关键特性：完全基于注意力机制，摒弃了循环和卷积结构，实现并行化处理序列数据。自注意力通过 Query-Key-Value（QKV） 三元组计算元素间依赖关系：Attention(Q,K,V)=softmax(QKTdk)VAttention(Q, K, V) = softmax\left(\frac{QK^T}{\sqrt{d_k}}\right)VAttention(Q,K,V)=softmax(dk​​

大模型进化之路

自注意力机制（Self-Attention）、位置编码、多头注意力。将参数拆分到多个设备（如Megatron-LM的Tensor并行）。：改进Adam的权重衰减分离，避免参数更新与权重衰减耦合。利用数据自身构造监督信号（如BERT的掩码语言建模）。：仅保留符号函数（sign）更新参数，降低内存占用。模型复杂度与训练数据量的平衡（奥卡姆剃刀原理）。通过概率分布描述数据生成过程（如贝叶斯网络）。基于标注数据的模型训练（如分类、回归）。无标注数据下的模式发现（如聚类、降维）。

大模型推理优化技术是提升模型部署效率、降低资源消耗的关键手段。