- 博客(24)
- 收藏
- 关注
RSS订阅原创 RAG高级技术与实践
本文系统介绍了检索增强生成(RAG)技术的优化方法与实践。主要内容包括： RAG基础流程 索引(Indexing)：知识存储优化 检索(Retrieval)：高效召回策略 生成(Generation)：结合检索结果生成答案 高效召回方法 改进检索算法：利用知识图谱增强语义理解 重排序技术：BGE-Rerank和CohereRerank模型 查询扩展：多查询召回、双向改写 索引扩展：离散/连续/混合索引策略 Small-to-Big策略：摘要索引链接详细内容 知识库优化技术 问题生成：为知识切片生成多样化问题
2025-11-15 01:55:38
742
原创 RAG技术与应用篇
摘要：本文深入探讨了RAG（检索增强生成）技术及其在实际应用中的关键环节。首先介绍了RAG的核心原理和流程，包括数据预处理、检索阶段和生成阶段。其次详细分析了多种Embedding模型的选择标准及其适用场景。随后通过两个实际案例（银行知识库和迪士尼客服助手）展示了RAG系统的构建过程，重点阐述了文档处理、向量构建、检索优化等关键技术。文章还对比了五种文本切片策略的优缺点，并讨论了LangChain中四种问答链的适用场景。最后，针对RAG实践中的常见问题，从数据准备、知识检索到答案生成三个阶段提出了质量提升方
2025-11-12 10:47:40
863
原创 Advanced RAG前沿Paper深度解析
本文系统分析了多种先进RAG（检索增强生成）技术的核心架构与应用场景。T-RAG专注于表格数据处理，GraphRAG利用知识图谱增强推理能力，CRAG引入检索质量校正机制，Self-RAG通过自反思优化生成质量，RAG-Fusion采用多查询融合提升召回率，Rewrite-Retrieve-Read则通过查询重写优化检索效果。各技术针对不同需求场景具有独特优势，如复杂推理推荐GraphRAG，多轮对话适用Rewrite-Retrieve-Read。现代RAG系统呈现混合架构趋势，通过整合多种技术的优势来提升
2025-11-11 00:08:47
598
原创 Prompt上下文增强设计详解
文章摘要： Prompt上下文增强是通过优化输入内容提升大语言模型输出的系统性方法。核心包括六大策略：角色设定（明确模型身份）、任务细化（规定输出格式）、背景增强（提供相关信息）、示例引导（few-shot学习）、约束控制（设定边界条件）和结构优化（组织清晰输入）。这些方法可显著提升输出的相关性、准确性和实用性，适用于RAG系统、专业问答等场景。最佳实践强调清晰明确的要求、充分上下文支持和结构化输出，需通过A/B测试持续优化。合理运用上下文增强技术能让AI输出更专业可靠。
2025-11-11 00:08:36
281
原创 向量数据库
向量数据库是一种专门存储和检索高维向量数据的数据库系统，能够将文本、图像等非结构化数据转换为向量形式，并通过高效的索引算法实现快速相似性搜索。其核心功能包括最近邻搜索、多模态检索、大规模向量管理及实时数据处理。与传统数据库相比，向量数据库更适合处理语义搜索、内容推荐等场景。主流的向量数据库分为专用型（如Milvus）、扩展型（如PGVector）、云服务型（如Pinecone）和轻量级（如Chroma）。实际应用中，Chroma适合快速原型开发，Qdrant和Milvus适用于生产环境，而PGVector则
2025-11-10 09:40:08
940
原创 Embeddings向量化
摘要：本文系统介绍了文本向量化技术及其应用。向量化是将文本转换为数值向量的过程，便于语义理解、相似度计算和机器学习处理。分析了主流Embedding模型特点，包括OpenAI、百度文心、GLM和bge模型等，并提供了本地部署方案。详细讲解了余弦相似度、点积和欧式距离三种向量相似度算法及其适用场景。最后以医疗实体识别为例，展示了构建向量库、实现实体链接和优化策略的完整流程。建议根据实际需求选择模型和算法，平衡效果与性能，并定期更新优化。
2025-11-10 00:50:38
621
原创 RAG——检索增强生成
本文分析了大型语言模型(LLM)的固有缺陷，包括知识滞后、静态知识、生成幻觉等问题，并介绍了检索增强生成(RAG)技术框架，该技术通过检索、增强、生成三个核心步骤，将外部知识与LLM能力结合。文章详细阐述了RAG的三大范式(传统RAG、高级RAG、模块化RAG)及其演进脉络，并分析了RAG在企业知识问答、客服系统等多领域的应用价值。RAG技术能有效解决LLM的知识局限，提高答案准确性，是构建可靠AI应用的关键基础设施。
2025-11-09 02:20:34
670
原创 RAG——知识库构建
知识库构建包括文档加载与文本分块两个关键步骤。文档加载需将PDF、Word等格式转化为可处理文本，保留结构信息。文本分块策略主要有固定长度分块、按段落/标题分块、语义分块等，需根据文档类型和应用场景选择合适方法。分块质量直接影响后续检索效果，实践中可使用LangChain等工具库的分块功能实现最佳效果。
2025-11-07 00:16:27
715
原创 提示词工程进阶篇
文章摘要：本文系统介绍了Prompt工程的核心技术与应用。首先阐述了思维链(CoT)、自洽性和思维树三大进阶技术，详细说明其原理与实现方式。接着分析了提示词安全风险及防范措施，包括注入攻击类型和技术防护方案。然后探讨了Prompt与RAG、Agent、微调等技术的关系与整合方法。最后通过SQL生成、成本分析、24点算法等实战案例，展示了Prompt的多元化应用场景。文章还展望了自动化优化、多模态处理等未来发展趋势，强调了安全伦理问题的重要性。全文提供了Prompt从基础到高级的系统性技术框架。
2025-11-07 00:13:03
980
原创 关键技术解析：预训练、SFT、RLHF
大语言模型的核心训练流程包括三个关键阶段：1)预训练阶段通过海量无标注数据学习语言基础模式；2)监督微调(SFT)阶段利用标注数据使模型适应特定任务；3)基于人类反馈的强化学习(RLHF)阶段，通过人类偏好数据优化模型输出质量。这三个阶段从知识积累到能力塑造再到价值对齐，构成了完整的大模型训练链路，是实现智能、安全、可控AI助手的关键技术路径，也是当前AI产业应用的基础支撑。
2025-11-06 01:20:58
867
原创 Transformer理解
Transformer是一种革命性的深度学习架构，彻底改变了自然语言处理领域。它通过自注意力机制解决了传统RNN的顺序计算限制和CNN的长距离依赖问题，实现了完全并行化计算。由编码器和解码器组成的Transformer架构包含多头注意力、位置编码和前馈网络等核心组件，能高效处理序列数据并捕捉全局依赖关系。这种创新设计不仅大幅提升了训练效率，还成为GPT、BERT等大模型的技术基础，广泛应用于机器翻译、文本生成等多个领域，标志着NLP进入"Transformer时代"。
2025-11-05 00:08:54
1011
原创 理解生成式模型和大语言模型
摘要： 生成式模型是机器学习中能学习数据分布并生成新样本的模型（如GAN、VAE），适用于图像、文本等多模态数据。大语言模型（LLM）是生成式模型在NLP领域的特化，基于Transformer架构，通过海量文本预训练实现语言理解与生成（如GPT）。两者联系在于技术传承（LLM继承生成能力）与能力互补（结合多模态生成），区别在于范畴（LLM专攻文本）、目标（创造vs语言智能）及资源需求（LLM需超大规模数据）。生成式模型是通用创造工具，LLM是其语言方向的高阶应用。
2025-11-05 00:08:23
945
原创 LangChain之ReAct 范式详解
ReAct范式是LangChain中实现动态任务执行的核心框架，通过"推理-行动-观察"的闭环循环，使大语言模型突破静态文本生成限制。该框架结合思维链和工具调用能力，有效解决知识滞后和长任务处理两大痛点。LangChain通过Agent、Tool等组件封装ReAct逻辑，提供9种交互模式，涵盖从基础计算到复杂对话等场景。最佳实践包括精准工具描述、规范Prompt模板和完善错误处理。尽管存在推理漂移等局限，但ReAct仍是实现LLM动态环境交互的关键范式。
2025-11-04 01:56:08
760
原创 LangChain篇
LangChain是一个开源框架，用于开发基于大型语言模型(LLM)的应用程序。其核心思想是将LLM作为推理引擎，通过模块化架构连接外部数据、工具和记忆功能，构建复杂应用。主要特点包括： 六大核心模块： Models：统一接口支持不同LLM Prompts：提示模板管理 Indexes：实现RAG(检索增强生成)架构 Memory：对话状态管理 Chains：任务流程编排 Agents：智能决策调度工具 技术优势： 支持复杂任务分解和多工具协同 提供LCEL表达式语言简化开发 完整工具链包括LangGrap
2025-11-04 01:00:43
844
原创 提示词工程篇
文章摘要 Prompt Engineering（提示词工程）是通过优化输入指令来提升AI模型输出的关键技术。其核心包括： 基本原理：Prompt是引导模型生成相关输出的指令，通过词向量转换和自回归生成实现。 策略差异： 通用模型需结构化引导（如分步骤示例）； 推理模型需简洁指令，避免过度拆解。 技术方法：包括Zero-shot（无示例）、Few-shot（少量示例）、Chain-of-Thought（分步推理）等。 应用场景：涵盖数据清理、代码生成、文本分类、创意内容生成等，需结合具体需求设计Prompt。
2025-10-31 16:06:07
825
原创 DeepSeek本地私有化部署篇
方法1：使用WSLStep1, 打开 PowerShell（管理员权限），运行： wsl --install重启电脑后，WSL 会自动完成安装（默认安装Ubuntu）Step2, 安装 Ollama 在WSL 终端（Ubuntu）中运行：curl -fsSL https://ollama.com/install.sh | shStep3，启动Ollama 服务（保持此终端运行，另开一个新终端进行后续操作）方法2: 直接下载Windows 版。
2025-10-16 15:28:51
892
原创 DeepSeek的创新
DeepSeek-V3通过多项创新技术提升了计算效率与推理能力：1）采用MLA机制压缩键值缓存，显著减少显存占用；2）使用61个MoE模块实现稀疏激活，降低计算成本；3）创新混合精度框架（FP8）优化训练效率。在推理能力上，通过强化学习驱动的长链推理技术（CoT）达到顶尖水平，其思维链可处理数万字复杂问题。模型提供不同尺寸版本（1.5B-671B），满足从边缘设备到云端的不同需求，其中32B模型即可实现671B约90%性能。Qwen3系列模型也展现出多场景适配能力，支持119种语言和两种推理模式。
2025-10-16 12:14:35
799
原创 MQ消息队列之前置知识
目录一、前置知识二、MQ前置知识1、MQ作用2、MQ对比3、MQ的缺点4、产品选型一、前置知识当今互联网项目微服务架构成为主流，使用微服务架构，在高并发场景下，服务之间的通信问题是我们需要重点考虑的问题之一。 传统模式下，我们经常使用链式调用，如下图所示： 由上图可知：使用链式调用A服务需要串行调服务B、C、D 存在的问题：AB、AC、AD同步阻塞调用方式一旦B服务执行时间过长，在高并发的场景下会导致服务积压，会导致服务雪崩，从而导致整个服务不可用。...
2021-03-25 18:03:52
957
1
原创 搜索引擎——ElasticSearch汇总
汇总——ElasticSearch篇全文检索问题1：什么是全文检索？基本概念：对**非结构化数据/结构化数据**先建立**索引**，再对索引进行搜索**文档**的过程叫做全文检索。什么是非结构化与结构化数据？- 非结构化数据：没有固定的格式的数据（html，word，excel）---没有固定长度，字段约束，描述，散列数据- 结构化数据：有固定的格式的数据（如：数据库数据）---有固定长度（varchar（50）），字段类型，描述修饰数据搜索算法：顺序扫描法、倒排索引法- 顺序
2021-03-12 02:42:00
1675
7
原创 java基础总结之&与&&的区别
&与&&的区别a:最终得到的结果一样b:“&&”不支持位运算符，“&”支持位运算。c:“&&”是短路与，当左边的结果为false时，右边不执行。而“&”不管左边的执行结果如何，都会执行右边的代码。所以，&&的效率会更高一些，建议使用。测试&&具有短路功能，代码如下：public static v...
2018-03-18 00:05:08
176
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人