alonewolf_99的博客

本文系统介绍了检索增强生成(RAG)技术的优化方法与实践。主要内容包括： RAG基础流程 索引(Indexing)：知识存储优化 检索(Retrieval)：高效召回策略 生成(Generation)：结合检索结果生成答案 高效召回方法 改进检索算法：利用知识图谱增强语义理解 重排序技术：BGE-Rerank和CohereRerank模型 查询扩展：多查询召回、双向改写 索引扩展：离散/连续/混合索引策略 Small-to-Big策略：摘要索引链接详细内容 知识库优化技术 问题生成：为知识切片生成多样化问题

向量数据库是一种专门存储和检索高维向量数据的数据库系统，能够将文本、图像等非结构化数据转换为向量形式，并通过高效的索引算法实现快速相似性搜索。其核心功能包括最近邻搜索、多模态检索、大规模向量管理及实时数据处理。与传统数据库相比，向量数据库更适合处理语义搜索、内容推荐等场景。主流的向量数据库分为专用型（如Milvus）、扩展型（如PGVector）、云服务型（如Pinecone）和轻量级（如Chroma）。实际应用中，Chroma适合快速原型开发，Qdrant和Milvus适用于生产环境，而PGVector则

摘要：本文系统介绍了文本向量化技术及其应用。向量化是将文本转换为数值向量的过程，便于语义理解、相似度计算和机器学习处理。分析了主流Embedding模型特点，包括OpenAI、百度文心、GLM和bge模型等，并提供了本地部署方案。详细讲解了余弦相似度、点积和欧式距离三种向量相似度算法及其适用场景。最后以医疗实体识别为例，展示了构建向量库、实现实体链接和优化策略的完整流程。建议根据实际需求选择模型和算法，平衡效果与性能，并定期更新优化。

知识库构建包括文档加载与文本分块两个关键步骤。文档加载需将PDF、Word等格式转化为可处理文本，保留结构信息。文本分块策略主要有固定长度分块、按段落/标题分块、语义分块等，需根据文档类型和应用场景选择合适方法。分块质量直接影响后续检索效果，实践中可使用LangChain等工具库的分块功能实现最佳效果。

本文分析了大型语言模型(LLM)的固有缺陷，包括知识滞后、静态知识、生成幻觉等问题，并介绍了检索增强生成(RAG)技术框架，该技术通过检索、增强、生成三个核心步骤，将外部知识与LLM能力结合。文章详细阐述了RAG的三大范式(传统RAG、高级RAG、模块化RAG)及其演进脉络，并分析了RAG在企业知识问答、客服系统等多领域的应用价值。RAG技术能有效解决LLM的知识局限，提高答案准确性，是构建可靠AI应用的关键基础设施。

Transformer是一种革命性的深度学习架构，彻底改变了自然语言处理领域。它通过自注意力机制解决了传统RNN的顺序计算限制和CNN的长距离依赖问题，实现了完全并行化计算。由编码器和解码器组成的Transformer架构包含多头注意力、位置编码和前馈网络等核心组件，能高效处理序列数据并捕捉全局依赖关系。这种创新设计不仅大幅提升了训练效率，还成为GPT、BERT等大模型的技术基础，广泛应用于机器翻译、文本生成等多个领域，标志着NLP进入"Transformer时代"。

ReAct范式是LangChain中实现动态任务执行的核心框架，通过"推理-行动-观察"的闭环循环，使大语言模型突破静态文本生成限制。该框架结合思维链和工具调用能力，有效解决知识滞后和长任务处理两大痛点。LangChain通过Agent、Tool等组件封装ReAct逻辑，提供9种交互模式，涵盖从基础计算到复杂对话等场景。最佳实践包括精准工具描述、规范Prompt模板和完善错误处理。尽管存在推理漂移等局限，但ReAct仍是实现LLM动态环境交互的关键范式。

LangChain是一个开源框架，用于开发基于大型语言模型(LLM)的应用程序。其核心思想是将LLM作为推理引擎，通过模块化架构连接外部数据、工具和记忆功能，构建复杂应用。主要特点包括： 六大核心模块： Models：统一接口支持不同LLM Prompts：提示模板管理 Indexes：实现RAG(检索增强生成)架构 Memory：对话状态管理 Chains：任务流程编排 Agents：智能决策调度工具 技术优势： 支持复杂任务分解和多工具协同 提供LCEL表达式语言简化开发 完整工具链包括LangGrap

文章摘要 Prompt Engineering（提示词工程）是通过优化输入指令来提升AI模型输出的关键技术。其核心包括： 基本原理：Prompt是引导模型生成相关输出的指令，通过词向量转换和自回归生成实现。 策略差异： 通用模型需结构化引导（如分步骤示例）； 推理模型需简洁指令，避免过度拆解。 技术方法：包括Zero-shot（无示例）、Few-shot（少量示例）、Chain-of-Thought（分步推理）等。 应用场景：涵盖数据清理、代码生成、文本分类、创意内容生成等，需结合具体需求设计Prompt。

DashScope使用方法

方法1：使用WSLStep1, 打开 PowerShell（管理员权限），运行： wsl --install重启电脑后，WSL 会自动完成安装（默认安装Ubuntu）Step2, 安装 Ollama 在WSL 终端（Ubuntu）中运行：curl -fsSL https://ollama.com/install.sh | shStep3，启动Ollama 服务（保持此终端运行，另开一个新终端进行后续操作）方法2: 直接下载Windows 版。

DeepSeek-V3通过多项创新技术提升了计算效率与推理能力：1）采用MLA机制压缩键值缓存，显著减少显存占用；2）使用61个MoE模块实现稀疏激活，降低计算成本；3）创新混合精度框架（FP8）优化训练效率。在推理能力上，通过强化学习驱动的长链推理技术（CoT）达到顶尖水平，其思维链可处理数万字复杂问题。模型提供不同尺寸版本（1.5B-671B），满足从边缘设备到云端的不同需求，其中32B模型即可实现671B约90%性能。Qwen3系列模型也展现出多场景适配能力，支持119种语言和两种推理模式。