OriginHub_元枢智汇-优快云博客

原创工业级 LLM 数据工程：北京大学 DCAI 团队 DataFlow 框架的架构设计与实践

用户只需输入自然语言指令（如“帮我生成高质量 Python 算法题数据”），Agent 即可完成：拆解意图 → 检索/合成算子 → 组装 DAG → 沙箱验证 → 输出可执行 pipeline。

2026-03-18 14:31:22 474

原创知识图谱的检索增强：图结构与向量化技术的融合实践

知识图谱作为大模型时代的关键基础设施，通过结构化实体、关系和三元组来解决信息过载与语义鸿沟问题。它不仅能显式表达实体间的确定关系，还能为AI系统提供可推理、可解释的知识基础。相比单纯依赖向量检索和大模型，知识图谱引入了逻辑约束和事实校验能力，有效减少"幻觉"问题。尤其在复杂问答和决策支持场景中，知识图谱通过结构化增强（GraphRAG）成为大模型的高质量"外部显存"，使系统能够进行可解释的因果推理而非概率猜测。这种将分散信息组织成机器可理解结构的能力，正在成为智能系统

2026-02-06 16:45:00 1389

原创当大模型遇见数据库：LLM如何革新数据管理

摘要人工智能技术正在重塑数据库管理领域（AI4DB），传统方法在查询优化、索引推荐等方面已展现潜力，但面临动态适应性差、泛化能力有限、运维成本高等瓶颈。大语言模型（LLM）的兴起为数据库管理带来新机遇，其强大的语言理解、推理和泛化能力推动系统向"以意图为中心"演进。LLM4DB框架包含五大核心组件：检索增强生成（RAG）、领域特定微调、提示管理、智能体和向量数据库，协同实现智能数据管理。典型应用场景包括智能查询优化、索引推荐和数据预处理，显著提升数据库性能和效率。这一技术范式转变正在深

2026-01-27 09:45:00 770

原创 DataFlow Agent——NL2Pipeline 让用户意图轻松转换为数据准备流水线

本文介绍了DataFlow-Agent框架中的NL2Pipeline功能，它能够将自然语言描述的数据处理需求自动转化为可执行的DataFlow Pipeline。NL2Pipeline通过多轮对话理解用户意图，拆解任务并映射到现有算子，生成推荐流程并支持自动调试。文章详细展示了两种使用方式：自定义手动编排和Agent自动推荐模式，包括环境部署、参数配置和Pipeline执行全过程。该系统旨在帮助工程师快速将数据处理需求转化为可复用流程，提高工作效率。

2026-01-23 17:45:00 743

原创如何在 AI 数据库中运行复杂的 SQL 查询进行向量搜索

摘要：OriginHub MyScale基于ClickHouse构建，将SQL与向量搜索结合，支持复杂AI查询。文章介绍了高级SQL技术，包括通用表达式(CTE)、子查询和表连接，并通过示例展示如何在MyScale中应用这些技术处理向量数据。重点演示了使用CTE简化向量查询、通过子查询优化连接操作的方法，说明如何高效执行结构化数据和向量数据的联合分析。这些技术增强了数据分析能力，使复杂的高维数据查询更加精确高效。

2026-01-22 10:33:41 837

原创 DataFlow 教程｜Text-to-SQL Pipeline 为大模型训练输送高质量 SQL

摘要：Text2SQL技术面临模型生成SQL不可执行、复杂查询效果差等实际问题，其核心难点在于如何教会模型在真实数据库上正确生成SQL。DataFlow的Text2SQL Pipeline通过数据生成与过滤、训练数据构建和难度分类三阶段流程，确保产出高质量、可验证的训练数据。该系统支持优化现有数据或从零合成数据两种模式，并提供详细的配置教程，包括环境准备、数据库设置等实践指导，最终实现稳定生成可用于模型训练的Text2SQL数据。

2026-01-16 12:15:00 1041

原创文本检索在 AI 数据库中的集成实践

本文介绍了如何在基于ClickHouse的AI数据库中集成Tantivy全文搜索引擎，以提升非结构化文本数据的检索性能。面对全球数据爆炸性增长至181ZB的挑战，传统搜索引擎已无法满足精准捕捉用户意图的需求。文章详细阐述了选择Tantivy的原因，包括其BM25相关性评分、可配置分词器等核心特性，并分享了通过C++包装器实现与AI数据库无缝集成的技术方案。重点介绍了将Tantivy实现为ClickHouse跳跃索引的过程，以及如何通过TextSearch函数增强本地文本搜索功能，最终实现对海量文本数据的高效

2026-01-16 06:45:00 721

原创传统数据治理 vs Data-centric AI 数据准备——从“管住数据”到“让数据为 AI 工作”

摘要：AI时代的数据治理范式转变传统数据治理体系正面临挑战，因为AI成为数据的第一消费者。本文指出当前企业面临的核心矛盾：沿用为人设计的数据治理方式服务AI系统导致效果不佳。通过对比分析传统数据治理与AI数据准备的差异，提出数据工作应从治理转向为模型准备数据的新范式。关键转变包括：目标从数据是否合规转向能否被模型理解使用；数据形态从结构化表格转向向量化语义表示；文章介绍了DataFlow系统的创新实践，通过算子组合、流水线构建和智能Agent，实现从原始数据到AI-ready数据的系统性转化。

2026-01-13 04:15:00 1901

原创距离度量（L2、cosine、dot）对向量检索的影响

向量检索中的距离度量选择直接影响结果质量。本文对比了余弦相似度、内积和欧氏距离三种常用度量方式：余弦相似度关注向量方向，适合语义检索；内积同时考虑方向和模长，适用于推荐系统；欧氏距离测量绝对距离，适合精确匹配场景。通过实例分析，文章揭示了不同度量方式如何产生截然不同的检索结果，并指出应根据业务需求选择合适度量。在实际应用中，MyScale等向量数据库支持多种距离度量，开发者需结合数据特性和业务目标进行选择，以优化检索效果。

2026-01-02 12:45:00 1155

原创 DataFlow Agent 如何重构模型训练数据准备工程

DataFlow-Agent 是一个围绕模型训练数据准备数据流 / 工作流构建的智能 Agent 框架，致力于通过自然语言自动化模型数据准备工程。

2025-12-30 10:28:28 947

原创过滤向量搜索：重要性及技术解析

通过在一个查询中结合结构化和向量数据，过滤向量搜索在高级 RAG 系统、大规模多用户系统等方面具有广泛而重要的应用。基于列式的 ClickHouse SQL 数据库开发的 OriginHub MyScale AI 数据库支持丰富的元数据类型和函数，以及灵活的自查询能力。通过采用预过滤、列存储和算法优化，MyScale 在任意过滤比例下实现了高准确性和速度，为 LLM 应用奠定了坚实的数据基础。

2025-12-19 15:45:00 808

原创 Agentic RAG 新手指南

Agentic RAG 将 ReACT 的推理能力与 Agent 的任务执行能力相结合，创建一个动态和自适应的系统。与遵循固定 pipeline 的传统 RAG 不同，Agentic RAG 通过使用 ReACT 根据用户查询的上下文动态协调 Agent，引入了灵活性。

2025-12-18 13:53:19 981

原创如何教会模型正确检索——DataFlow AgenticRAG Pipeline 教程

AgenticRAG pipeline是一套自动化数据合成系统，旨在解决RAG系统中模型无法稳定使用检索结果的问题。该系统通过原子问答生成模块自动构建多维QA数据，再经问答质量评估模块进行多指标评分，最终产出结构化、可验证的强化学习数据集。该流水线支持从原始文档生成多样化问答对，并通过F1评分和一致性检查确保数据质量，使模型能真正掌握基于证据的回答能力。使用方法包括环境配置、知识库设置和流水线运行，输出结果包含精炼答案、黄金文档对照和可验证答案等，为Agentic RAG训练提供可靠数据基础。

2025-12-16 15:54:59 696

原创 DataFlow 安装部署最佳实践

DataFlow 是一款开源模型数据准备框架，专为大模型自动化、体系化输出高质量数据。本文旨在提供安装部署 DataFlow 的最佳实践。

2025-12-16 15:46:56 1146

原创混合检索在 AI 数据库中的落地实践

混合检索是一种结合全文检索和向量检索的技术，通过融合关键词匹配与语义理解能力，提供更精准全面的搜索结果。全文检索擅长精确匹配关键词，而向量检索能捕捉深层语义关联。MyScale AI数据库采用两种融合算法：相对分数融合(RSF)对分数归一化后加权求和，倒数排序融合(RRF)则基于排名位置合并结果。该技术在电商、医疗等场景中表现优异，既能满足精确条件筛选，又能理解复杂语义需求，已成为提升搜索质量的关键技术。

2025-12-12 11:59:45 1143