2501_92015334的博客

在HuggingFace Trainer微调模型时，自定义损失函数和评价指标可能导致显存爆炸。在此文章给出主要的解决方法，

本文系统介绍了LLM应用开发的完整技术栈。在模型运行方面，对比了API调用与本地部署方案，详解了提示工程和结构化输出技术。RAG构建环节涵盖文档处理、嵌入模型选择和向量数据库使用，并介绍了高级检索优化方法。探讨了代理系统的自主决策框架和多代理协作方案，以及FlashAttention等推理优化技术。部署层面分析了从本地到云端的各种方案，最后强调了提示注入、数据投毒等安全风险及防御措施。

本文概述了大语言模型(LLM)的关键技术环节：1）架构演进，从Transformer到仅解码器架构，涵盖分词化、注意力机制和文本生成技术；2）预训练过程，强调数据准备、分布式训练策略及优化技术；3）训练后数据集的构建方法，包括合成数据生成和质量控制；4）监督微调(SFT)技术，对比完全微调与参数高效方法；5）偏好对齐算法，介绍DPO、GRPO和PPO三种主要方法；6）评估体系的构建，包含自动基准、人工评估和模型评估；7）量化技术，分析不同精度转换方法及优化策略。全文系统梳理了LLM开发全流程的核心技术要点。

本文主要介绍了在模型训练和生成过程中使用的一些核心参数和功能。

本内容重点介绍【7 UNDERSTANDING THE LOW-RANK UPDATES】的内容。该章节通过实证研究深入探讨了LoRA方法中低秩更新的性质，回答了三个关键问题，揭示了低秩适应矩阵（ΔW）的特性及其在任务适应中的作用。

介绍如何使用Qwen2.5模型微调专有领域【命名实体识别】，并且使用 gradio 自己设计一个可视化界面，加载微调好的模型进行推理。

LoraConfig模块是用于配置LoRA（Low-Rank Adaptation）微调方法的核心模块，继承自PeftConfig，提供了一系列参数来控制LoRA的行为。关键参数包括：r（秩）；target_modules（目标模块）；lora_alpha（缩放因子）；lora_dropout（Dropout率）；bias（偏置）等。此外，TaskType模块用于标准化PEFT框架支持的任务类型，帮助用户明确任务目标并适配相应的参数高效微调策略。