- 博客(4)
- 收藏
- 关注
原创 深度解析 RAG 框架:从朴素检索到模块化智能体的演进之路
检索增强生成(Retrieval-Augmented Generation, RAG)通过将外部知识检索与大语言模型生成相结合,有效缓解了 LLM 的幻觉问题和知识时效性不足的痛点。本文系统梳理 RAG 框架的核心架构、关键技术演进、评估体系及前沿趋势,涵盖从朴素 RAG 到模块化 RAG、图增强 RAG、智能体 RAG 的完整技术谱系
2026-07-17 19:26:32
372
原创 Transformer 自回归生成机制笔记
这篇笔记详细解析了Transformer的自回归生成机制,包括以下核心内容: 自回归解码流程:从初始输入开始,模型逐步预测并拼接新词,直到结束符或最大长度; 注意力机制实现:包含缩放点积注意力和多头注意力的数学原理及PyTorch代码; 关键组件:位置编码和前馈网络的结构与实现; 编码器-解码器层设计:重点说明解码器的因果掩码机制; 推理时的掩码处理:展示如何创建防止信息泄漏的下三角掩码矩阵。 全文通过数学公式配合可运行的PyTorch代码,系统性地呈现了Transformer生成文本时的内部工作机制。
2026-07-16 17:24:53
208
原创 大型语言模型(LLM)幻觉问题综述:归因理论与缓解技术进展(2023–2025)
本文综述了2023-2025年间关于大语言模型(LLM)幻觉问题的研究进展。首先定义了幻觉的两种类型:事实性幻觉(与客观事实不符)和忠实性幻觉(与输入逻辑不一致)。然后从数据、模型和推理三个层面分析了幻觉成因,包括训练数据噪声、概率生成机制和解码策略等。重点介绍了检索增强生成(RAG)和事实校验层等主流缓解技术,前者通过外部知识注入降低幻觉率,后者通过后验证机制修正错误。此外还探讨了提示工程等其他策略。最后展望了多模态模型幻觉、理论分析框架等未来研究方向。研究表明,尽管幻觉问题具有统计必然性,但通过综合技术
2026-07-16 17:24:32
427
原创 大模型永远无法跨越的鸿沟:拟合的深渊与信息的重量
《大语言模型的哲学缺陷:超级鹦鹉为何无法理解"存在"》 文章揭示了当前大语言模型在哲学思考上的根本局限:1)其本质是概率符号拟合系统而非思想者,通过统计复现人类语料而非真正理解概念;2)存在"外联缺失"的本体论断裂,无法将抽象概念与身体经验、生存体验相连接;3)表现出"逻辑A"现象,用概念避难所回避底层物理主义与表层形而上学话语的矛盾;4)这种缺陷是结构性的,无法通过扩大规模或数据来弥补。作者强调,模型虽能高效完成模式匹配任务,但永远无法实现从符号
2026-07-07 15:41:40
484
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅