佑瞻的博客

标准化：遵循 OAuth2 和 JWT 国际标准，兼容性强安全性：密码哈希 + JWT 签名双重保障，数据库泄露也不会导致明文密码泄露灵活性：不绑定特定数据库或框架，可与 Django 等系统共享用户数据无状态：服务器无需维护会话状态，便于横向扩展。

我们首先定义两个关键的数据模型，它们构成了智能体与外部交互的 "语言系统"：pythoncontent: str # 资源内容node_id: str # 节点唯一标识score: Optional[float] = None # 匹配分数（可选）content: str # 消息内容sources: Optional[List[Resource]] = None # 来源资源列表（可选）Resource模型用于封装信息来源，包含内容、唯一标识和匹配分数，这在需要追溯回答来源时非常重要。

通过今天的实践，我们成功构建了一个具备代码执行和文档问答能力的 OpenAI 智能体。这种能力组合在实际应用中具有广泛场景：从企业数据分析到知识库问答系统，从代码辅助生成到学术研究支持，都能发挥重要作用。

智能体类型核心职责分诊智能体分析用户请求，决定转交至哪个专项智能体销售智能体处理产品购买、咨询等销售相关请求退款智能体处理退货、退款等售后请求人类智能体介入处理 AI 无法解决的复杂请求，提供人工决策用户智能体作为用户代理，封装人机交互逻辑主题是智能体通信的 "地址标识"：pythonsales_agent_topic_type = "SalesAgent" # 销售主题issues_and_repairs_topic_type = "IssuesAndRepairsAgent" # 售后主题。

多步查询引擎通过层次化分解策略，突破了传统问答系统在复杂查询处理上的瓶颈。语义理解深化：将 LLM 的推理能力融入查询处理流程工程可解释性：将黑盒推理转化为可追溯的子问题链条业务适应性：通过参数配置适应不同领域的查询模式。

子问题查询引擎的核心价值在于将 "复杂查询→单一回答" 的传统模式，升级为 "问题拆解→多源应答→结果合成" 的分层处理架构。

拆解复杂查询为多个步骤自定义每个处理环节组合不同模块实现复杂逻辑python# 加载数据!# 1. 输入组件：接收查询字符串# 2. LLM组件：负责生成Pandas代码# 3. Pandas指令解析器：执行生成的代码# 4. 响应合成器：将结果转为自然语言response_prompt = PromptTemplate("根据查询结果回答：{pandas_output}")

python"""支持AND/OR模式的混合检索器，实现语义与关键词检索结果的集合运算"""self,mode: str = "AND" # 默认使用交集模式，精确性优先) -> None:raise ValueError("仅支持AND/OR检索模式，当前模式无效")"""核心检索逻辑：执行双检索器查询并按模式合并结果"""# 1. 分别执行向量检索和关键词检索# 2. 提取节点ID用于集合运算# 3. 合并节点到字典，便于通过ID快速查找。

LlamaIndex 提供了基类，我们只需实现方法就能定义自己的查询逻辑。下面我们通过两种常见场景来演示如何构建自定义查询引擎。通过上面的例子，我们已经掌握了自定义查询引擎的基本实现。添加查询预处理：比如对查询进行关键词提取、意图识别优化检索逻辑：实现多阶段检索、基于用户历史的个性化检索增强响应控制：对 LLM 的 temperature、max_tokens 等参数进行动态调整集成工具调用：在查询过程中插入 API 调用、数据库查询等操作。

关系建模能力：通过知识图谱的节点和边结构，显式表示实体间的复杂关系上下文构建方式：基于查询相关的实体子图构建上下文，而非碎片化文本块语义理解深度：能处理 "多跳关系查询"（如 "找出 A 公司投资的 B 公司的竞争对手"）维度向量 RAGGraph RAG数据结构文本嵌入向量图结构（节点 + 关系）检索单元文本块实体子图关系处理隐式语义关联显式关系路径复杂查询依赖 LLM 推理直接检索关系路径通过 Graph RAG，我们实现了从 "文本匹配" 到 "关系推理" 的跨越。

全文检索如同大海捞针，尤其是面对多文档集合时大语言模型直接处理长文档会消耗大量 token 资源缺乏结构化的索引导致相似内容无法被有效关联自动提取文档核心摘要（类似书的前言）将摘要与文档节点关联（类似目录章节对应页码）通过 LLM 或向量匹配实现语义检索（比关键词搜索更智能）我们以北美五座城市的维基百科数据为例（多伦多、西雅图等），来看看如何用代码构建这个智能索引系统。除了默认模式，我们还可以定制摘要生成的查询：python运行# 假设我们想让摘要更侧重地理和经济信息。

python运行# 定义跨期查询工具metadata={"description": "用于对比分析多年UBER 10-K报告"# 合并所有工具# 创建智能体通过 LlamaIndex 的数据智能体架构，我们仅用 200 余行代码就实现了从文档解析到智能问答的完整流程。这种「分年份索引 + 跨期查询引擎」的设计模式，既保证了单年数据的查询精度，又支持复杂的跨期分析，特别适合需要管理历史文档的企业和研究场景。

pythonreturn jsonify({"error": "请提供查询文本"}), 400}), 200通过 LlamaIndex 与全栈技术的结合，我们实现了从文档上传、索引构建到智能问答的完整流程。这种架构不仅适用于企业知识库、智能客服等场景，还可通过扩展索引类型（如 TreeIndex）、优化检索策略（如 HybridRetriever）进一步提升性能。

CLIP 模型提供了文本和图像的编码器，我们需要定义两个函数来分别处理文本和图像：python运行# 加载CLIP模型，这里使用ViT-B/32变体model.eval() # 设置模型为评估模式# 图像编码函数：预处理图像，提取特征并归一化# 归一化特征向量，确保余弦相似性计算准确# 文本编码函数：分词，提取特征并归一化这里的归一化操作非常重要，因为余弦相似性基于单位向量计算，归一化可以确保不同长度的向量在比较时的公平性。

名称由来：源自俄罗斯套娃（Matryoshka），寓意 “嵌套式多尺度表示”核心思想：在模型训练阶段，让 Embedding 的前缀维度（如前 128 维、256 维）形成层次化语义表示：低维前缀（如 128 维）：捕捉文本的核心语义（如 “冒险电影”“恐怖题材”）高维后缀（剩余维度）：补充细节语义（如 “考古学家主角”“冬季酒店场景”）关键优势：无需后处理降维，原生支持 “低维快速过滤 + 高维精细排序” 的漏斗式检索流程python运行embedding_dim = 768 # 全维度。

我们需要存储电影的基础信息和向量数据，创建包含 6 个字段的集合：python运行DIMENSION = 1536 # 与OpenAI模型输出维度一致# 定义Schema，注意字符串字段需设置最大长度schema.add_field("id", DataType.INT64, is_primary=True) # 主键IDschema.add_field("title", DataType.VARCHAR, 64000) # 电影标题。

快速验证：通过可视化即时反馈嵌入质量，避免在低质量向量上浪费算力。规律发现：直观呈现数据分布，帮助定位数据噪声、模型缺陷或业务场景中的潜在规律。沟通桥梁：让非技术人员也能理解复杂的向量语义，促进跨团队协作。从小规模数据开始：先用 100-200 条数据调试流程，熟悉 t-SNE 参数对可视化效果的影响（如perplexity设为 20-40）。结合业务标注：在图表中手动标记关键数据点（如 “优质客户”“高流失风险用户”），观察其分布特征。探索进阶工具。

语义完整性：多向量表示法保留了页面内的局部语义细节，避免单一向量的信息压缩损失。检索高效性：Milvus 的 HNSW 索引和分阶段检索策略，让百万级多向量数据的检索响应时间控制在秒级。场景普适性：不仅适用于 PDF 文档，还可扩展到网页截图、图片 + 文本混合的社交媒体内容等多模态场景。从小规模数据开始：先用 10-20 页的 PDF 调试流程，确保模型加载、数据插入、检索结果符合预期。关注模型适配：ColPali 目前对英文文档支持更优，处理中文时可尝试微调模型，或寻找中文多模态预训练模型替代。

通过 Milvus 与 HDBSCAN 的结合，我们实现了从高维向量数据到有意义聚类的高效转化。效率提升：Milvus 的近邻搜索将距离计算复杂度从 O (n²) 降至 O (nk)，支持百万级数据处理。结构发现：HDBSCAN 无需预设聚类数，能捕捉任意形状的聚类，适合复杂真实数据。可解释性：通过 UMAP 可视化，让高维聚类结果变得直观易懂。从小规模数据开始验证：先用千级数据调试代码，确保流程畅通。关注嵌入质量：花时间优化文本预处理或选择更合适的嵌入模型，这对聚类效果影响巨大。探索索引优化。

通过以上步骤，我们成功搭建了一个基于 Milvus、BGE 和 GPT-4o 的多模态 RAG 系统，实现了结合图像和文本的智能检索。多模态融合：通过 BGE 模型将图像和文本转化为统一的向量空间，让检索不再局限于单一模态。高效检索：Milvus 的向量检索能力能够快速处理海量数据，满足实时搜索需求。智能解释：GPT-4o 的重排和解释功能让检索结果更具可解释性，提升用户体验。数据优化：根据项目需求扩展数据集，确保数据的多样性和代表性，提高模型的泛化能力。模型调优。