zhangzhentiyes的博客

通过修改中的generate# 原有代码...# 添加自定义处理逻辑custom_output = process_chunk(chunk) # 自定义处理函数在加载模型时，某些模型可能会依赖于一些自定义的代码逻辑。例如，一些模型使用了特殊的架构或者自定义的前向传播方法，这些代码并不是库中默认支持的。当你使用参数时，vLLM 会允许从远程源加载并执行这些自定义代码。这样就能让 vLLM 顺利加载和运行那些需要特殊代码实现的模型。

通过。

在PyTorch中，可以使用来实现cosine decay with warmup。

**摘要**：围绕大模型技术相关问题展开，涵盖DeepSpeed、vllm、llama - factory、unsloth等工具。阐述DeepSpeed混合精度训练配置参数、通过`--offload`参数卸载优化器状态，以及ZeRO三阶段优化策略。探讨vllm采样参数对文本多样性控制、模型并行实现及与DeepSpeed差异。说明llama - factory处理多轮对话数据格式、设计自定义训练回调。分析unsloth流式与批量输出优缺点，以及利用KV Cache优化多轮对话推理速度等

克隆仓库创建虚拟环境安装依赖pip install modelscope -U # 国内用户推荐命令行训练（示例）YAML配置文件（以为例）### model### methodstage: sft### train。

本文是大模型面试系列中微调篇的基础知识部分，重点介绍大模型微调技术中的一些常用算法，数据标注方法，微调参数设置等内容，旨在帮助读者快速掌握大模型微调的技术技术。

本文主要介绍了大模型训练过程中的一些训练优化技巧

本文主要梳理大模型训练过程中的监控以及调试知识点。

【代码】大模型最新面试题系列：训练篇之训练稳定性。

本文主要是针对大模型训练过程中的一些训练策略作讲解。

模型并行显存最优，但通信开销最大；数据并行显存压力大但通信简单；流水线并行适合长模型，需平衡气泡与显存。

【代码】大模型最新面试题系列：训练篇之数据处理与增强。

11.xx1​x2​⋯xn​]ix′xi​xi​xi​L−∑i∈M​logPxi​∣x∖i′​)Mx∖i′​ixx1​x2​⋯xn​]xi1​xi1​xi1​L−∑i1n−1​logPxi1​∣x1​⋯xi​。

假设原始的损失函数为LθL(\theta)Lθ，其中θ\thetaθ是模型的参数（权重矩阵）。L1正则化：在原始损失函数的基础上加上L1范数正则化项，得到新的损失函数LL1θLθλ∥θ∥1LL1​θLθλ∥θ∥1​，其中λ\lambdaλ是正则化系数，∥θ∥1∑i∣θi∣∥θ∥1​∑i​∣θi​∣是参数的L1范数。L2正则化：在原始损失函数的基础上加上L2范数正则化项，得到新的损失函数LL2θ。

对于一个多分类问题，假设有CCC个类别，样本xxx的真实标签为yyy（用one - hot编码表示），模型的预测概率分布为y\hat{y}y​，其中yi\hat{y}_iy​i​表示样本xxx属于第iii类的预测概率。L−∑i1Cyilog⁡yiL−∑i1C​yi​logy​i​对于一个回归问题，假设样本 (x) 的真实值为 (y)，模型的预测值为y\hat{y}y​LMSE1n∑i1n。