- 博客(6)
- 收藏
- 关注
RSS订阅原创 一文读懂检索增强生成（RAG）：让大模型告别 “幻觉” 的实用技术
摘要： RAG（检索增强生成）技术通过结合外部知识库检索与生成模型，解决大模型在专业、冷门或最新知识上的“长尾问题”。其核心流程分为两阶段：1）索引阶段（数据加载、分割、向量化并存储）；2）检索生成阶段（用户提问后，检索相关片段并生成增强提示，模型据此回答）。RAG优势包括知识实时更新、减少幻觉、可追溯及低成本适配专业领域。代码示例展示了数据分割、向量化存储及检索生成的关键步骤，体现其“开卷考试”式的高效知识整合能力。
2025-10-22 18:51:34
1149
原创 LoRA 微调核心原理详解：让大模型高效适配下游任务
本文介绍了大模型微调中的关键技术LoRA，其核心思想是利用低秩矩阵分解来高效更新模型参数。LoRA通过冻结预训练权重，仅训练少量新增的低秩矩阵（A和B），大幅降低了训练成本（参数量减少1-2个数量级）和显存占用（降低50%以上）。文章详细解析了LoRA的低秩分解原理、特殊初始化策略、网络结构修改方式以及前向传播过程，并对比了与传统微调方法的优势：保留通用能力、灵活适配多任务、适合小数据场景且不增加推理延迟。LoRA技术为大模型在各行业的落地应用提供了高效的解决方案，特别适合资源有限的中小企业实现模型定制化开
2025-10-15 19:07:24
1080
原创 详解 Transformer 中的两大核心机制：掩码多头注意力与教师强制训练
本文深入解析Transformer模型的两项核心技术——掩码多头注意力机制和教师强制训练。掩码多头注意力通过并行计算多个注意力头，结合填充掩码和序列掩码处理无效字符和未来信息，实现精准的上下文建模。教师强制训练则通过使用真实序列指导解码器训练，加速模型收敛但可能引发暴露偏差。这两项技术共同构成了Transformer模型在NLP任务中卓越性能的基础，为理解BERT、GPT等先进模型提供了关键理论基础。
2025-10-13 20:41:33
1210
原创 Transformer 核心组件详解：从自注意力到层归一化
这是篇新手友好的 Transformer 核心组件总结笔记，内容涵盖自注意力（捕捉同一序列内部关联）、交叉注意力（连接不同序列，如翻译中解码器关注编码器信息）；说明填充解决序列长度不一致问题，掩码让模型忽略无意义的 [PAD]；解释位置编码为序列补充位置信息，避免模型混淆语序；讲多头注意力通过多并行 “头” 从多角度捕捉信息，层归一化则稳定深层模型训练。
2025-10-12 22:30:57
782
原创 NLP 入门不踩坑！3 大分词算法 + 注意力机制从原理到实战（小白也能懂的推理 + 避坑手册）
NLP 入门总被 “## 符号”“QKV 矩阵” 搞懵？用 BERT 做分类总对不上文本长度，用 GPT 生成满屏<UNK>？其实问题全在分词和注意力这俩基础没吃透！ 这篇全是干货：3 大分词算法（WordPiece/Unigram/SentencePiece）掰开揉碎讲，注意力机制用 “查字典”“批作业” 比喻秒懂，还穿插作者踩过的坑（比如删了 “▁” 符号模型直接报错）、能直接复制跑的实战代码。 不用啃复杂论文，小白也能搞懂分词怎么选、注意力怎么算，从此 Transformer、BERT 入门不卡壳！
2025-10-10 20:45:23
997
原创 深入理解 BPE 与 BBPE 算法：逻辑、步骤及推理
本文深入解析了自然语言处理中的两种关键分词技术：BPE（字节对编码）和BBPE（字节级BPE）。BPE通过迭代合并高频字符对生成子词词汇表，在控制词汇量的同时保留语义信息；BBPE则进一步改进，使用字节作为初始单元，完美解决多语言和特殊字符处理问题。文章通过具体实例逐步演示了两种算法的计算过程，包括初始词汇表构建、频率统计、合并迭代等关键步骤，并对比分析了它们的核心差异与适用场景。最终指出BBPE因其跨语言兼容性已成为主流预训练模型的首选分词技术，为NLP实践提供了重要基础。
2025-10-09 20:39:29
1064
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人