yangheng1的博客

RAG（检索增强生成）技术通过整合外部知识库提升大模型回答质量，其核心流程包括：知识库构建（文档分割与向量化存储）、查询处理（向量检索与上下文增强）、答案生成。本文以Python代码示例展示了RAG的具体实现，包括使用HuggingFace嵌入模型构建Chroma向量数据库、混合检索策略（结合向量与关键词索引）以及问答链搭建。通过将检索到的相关段落与大模型生成能力结合，RAG显著提升了专业领域问题的回答准确性，特别适用于时效性知识和私有数据场景。代码示例涵盖从文档加载到混合检索的完整流程，为开发者提供实用参

AI Agent是一种能够自主感知、决策和行动的智能系统，其核心特性包括规划任务、记忆存储、工具调用和环境交互。它区别于传统AI，融合了确定性与自主性，常见类型有零样本增强型和对话型等。Agent通过"推理+行动"框架实现自我反思和纠错，并可通过Function Call机制调用外部工具。开发者可以利用框架如LangChain构建Agent，通过代码示例展示其任务处理、自定义工具和记忆功能。Agent适用于复杂任务处理，是AI向自主化发展的重要方向。

LangChain是一个Python开发的LLM应用框架，提供构建大模型应用的核心组件和扩展功能。主要包含模型访问工具(Provider)、功能组件(Components)和工作流编排(LangGraph)三部分。安装只需pip install langchain和社区扩展包。基础使用包括：加载大模型、配置对话模板、流式输出和构建处理链(LCEL)。通过Redis可实现聊天记录持久化，工具机制允许模型调用外部函数。还支持Embedding向量化和One-API网关统一管理多模型。框架提供从基础调用到复杂工作

在使用llamaindex进行RAG（Retrieval-Augmented Generation）时，加载模型时遇到两个常见问题。首先，使用OpenAILike格式加载模型时，model参数的值必须与部署模型时的模型名称一致，而不是模型路径。例如，如果使用lmdeploy部署模型时指定了--model-name=qwen_chat，则OpenAILike中的model参数也应设置为"qwen_chat"。其次，RAG请求大模型时可能报错，原因是部署模型时未指定对话模板。解决方法是重新部

本文主要介绍xtuner 框架微调大模型的全过程

3 进入docker 利用编译好的docker 镜像启动服务，***目前官网提供docker 镜像是基于x86 架构的。确保 vm.max_map_count 不小于262144。如果小于262144 需要进行重置。

本地搭建dify 加载大模型并创建简单的应用