SelectDB

Apache Doris 企业版怎么选？了解 SelectDB 与 Doris 的同源关系、企业级商业支持、私有化部署、信创国产化适配，以及阿里云、华为云、腾讯云、AWS 云平台部署方案。

Apache Doris 与 SelectDB 是什么关系？了解二者的开源技术渊源，以及 SelectDB Cloud、Enterprise、阿里云瑶池数据库 SelectDB、信创适配与面向 Agent 的极速分析数据库能力。

多模态 AI 的价值，不只是把录音、图片和视频“搜出来”，而是让其中的信息能够与客户、订单、工单和生产批次关联起来，进一步参与业务分析。Vane 让原始内容变得可计算，Doris 让这些内容进入业务。从一个具体场景开始，把一类多模态数据接入现有数据体系，就可以逐步建立从内容理解、语义检索到业务分析的完整链路。与其让更多数据继续留在文件里，不如先让它成为可以被检索、关联和分析的数据。欢迎从一类真实数据开始，探索 Apache Doris 与 Vane 的组合。

物化视图将一条 SQL 查询的结果保存下来，供后续查询直接使用。基表发生变化后，这份已保存的结果也需要更新。物化视图增量维护（Incremental View Maintenance，简称 IVM），就是根据基表的新增、更新和删除，计算这些变化对查询结果的影响，再据此更新物化视图。用户仍用 SQL 定义物化视图。对于受支持的聚合或关联查询，Doris 会基于 Changelog 与 Table Stream 自动读取变化、生成增量计算计划并维护结果，无须用户逐条编写变更处理逻辑，也无须每轮重算全部数据。

该能力预计可于 10 月底发布的 Apache Doris 4.2 版本中提供体验。Doris 对 Lance 的集成深入到了查询执行的各个环节：按索引段分配任务，让多个 BE 并行检索；提前应用过滤条件，缩小搜索范围；选出 Top-K 后再补读展示列，减少数据读取和传输；通过缓存复用索引、元数据和文件内容。这些机制让 Doris 能够直接利用已有的 Lance 数据和索引，完成检索与分析。在本文的测试条件下，Doris + Lance 在 18 组查询中有 16 组耗时更低。

Variant把不断变化的数据保留为带类型的值；二进制编码减少文本转换，拆列布局为列裁剪和统计裁剪创造条件。Doris 再通过路径投影、叶子列复用、标量转换、批次计算与延迟物化，将这些条件转化为实际执行收益。保存时保留类型，读取时按需取路径，计算时尽量利用类型列，写回时保留二进制语义。Iceberg与Paimon的适配细节有所不同，但都可以沿着这条主线理解和验证。目前，Variant以及IcebergPaimonLance等多模湖仓能力已合入Doris4.2 发版分支，将随 4.2 版本正式发布。

和。以一次线上故障为例，工程师首先需要在日志中搜索、异常码或调用栈，快速定位相关日志；随后，还需要统计错误率、受影响请求数量、P99 延迟等指标，评估故障影响范围。这两类工作看似属于同一个分析流程，但长期以来通常由不同系统完成：Elasticsearch 等搜索引擎负责全文检索，等 OLAP 数据库负责聚合分析，这种架构能够发挥两类系统各自的优势，但随着日志规模增长和实时分析需求提升，也带来了一些额外的工程复杂性，例如数据需要维护两套链路、查询需要跨系统协同，以及搜索结果与分析结果可能存在同步延迟。

亲爱的社区小伙伴们，**Apache Doris 4.0.3 版本已正式发布。** 此版本新增了在 AI & Search、湖仓一体、查询引擎等方面的能力，并同步进行了多项优化改进及问题修复，欢迎下载体验！GitHub 下载：https://github.com/apache/doris/releases官网下载：https://doris.apache.org/download

​在可观测性场景中，Elasticsearch 常受限于写入性能与高昂成本。在《可观测性方案怎么选？SelectDB vs Elasticsearch vs ClickHouse》一文中提到， 在云上日志服务中，SelectDB 相比 Elasticsearch 展现出明显的性能和成本优势。为进一步探索，本文通过基准测试对比二者表现，验证 SelectDB 在日志场景下性能与成本上的显著优势。

随着大模型和多模态 AI 的快速发展，向量已成为文本、图像、音视频等多元数据的通用语义表示。在这种背景下，检索增强生成（RAG）技术成为连接私有知识与大模型的核心桥梁，而高效的向量检索则是其关键支柱。与将向量检索视为独立外挂服务的方案不同，Apache Doris 4.0 选择将向量检索能力深度集成于其 MPP 分析型数据库内核。实现向量检索与 SQL 计算、实时分析和事务保障的无缝融合。本文旨在深入剖析 Doris 向量检索的系统级设计与工程实践，展示其如何在性能、易用性与规模扩展之间取得的平衡。

为了帮助用户快速获取目标数据，Apache Doris 针对 TopN 类型查询进行了全局优化，可将此类查询的性能提升约 5 倍；同时，优化范围也从单表进一步拓展至数据湖场景与多表关联查询，显著扩大了适用范围。

AI 时代正在重塑数据库的角色。过去，数据库主要为人类分析者提供报表与查询能力；而现在，越来越多的查询来自智能代理（Agent），它们会自动检索知识、过滤数据、组合多种信号，并将数据库作为 “实时信息源” 支撑推理与决策。

本文档将作为一份官方指南，系统性地阐述 Apache Doris 的数据更新能力，内容涵盖其核心原理、多样的更新与删除方式、典型的应用场景，以及在不同部署模式下的性能最佳实践，旨在帮助您全面掌握并高效利用 Doris 的数据更新功能。

在如 Snowflake、ElasticSearch、ClickHouse.... 等传统系统中，对于 JSON 的处理往往面临灵活性及性能无法兼得的困境，而 Apache Doris 的 VARIANT 类型，通过动态子列、稀疏列存储、延迟物化和路径索引等能力，实现了灵活结构 + 列存性能的平衡。本文将对该能力的实现一一讲解，全面展示其优势。

借助AI_AGG与EMBED函数，Apache Doris 拥有了了强大的智能分析能力，极大地拓展了数据分析与智能应用的边界。AI_AGG通过其动态预聚合机制，将非结构化文本的智能聚合分析带入数据库，轻松应对海量用户评论、日志分析等场景。而EMBED函数则与 Doris 的向量函数无缝集成，提供从文本到语义向量、再到相似度检索的一站式解决方案，极大简化了问答系统、内容推荐等应用的开发。

Doris 与 ClickHouse 各有优势，但在运维效率、集群自动化能力、故障恢复机制以及开源治理模型方面，Doris 展现出了更成熟、更开放、更面向云原生架构的产品能力。对于希望构建可控、弹性、高可用分析平台的团队而言，Doris 提供了一个更具确定性和长期价值的选择。而 ClickHouse 仍是极具性能优势的分析引擎，但其闭源方向的转变可能需要用户在技术与商业之间做出更谨慎的权衡。

本文展示了 Apache Doris 中，谓词过滤、LIMIT 数据裁剪、TopK 数据裁剪、JOIN 数据裁剪四种数据裁剪方式的实现策略。目前，Apache Doris 通过这四类高效的数据裁剪策略极大提升了处理数据的效率。

Apache Doris是一个基于MPP（大规模并行处理）架构的高性能、实时的分析型数据库，旨在为用户提供毫秒级查询响应、高并发、高可用以及易于扩展的OLAP（联机分析处理）解决方案。它融合了MPP架构与分布式存储，支持PB级别的数据存储和分析，是大数据场景下理想的实时数仓选择。除此之外，2.0 版本针对 ETL 场景还做了一些性能优化：比如解决了内存资源耗费的情况。

日志分析，简而言之，就是对系统、应用或服务在运行过程中产生的日志数据进行收集、整理、分析和挖掘的过程。这些日志数据记录了系统运行的各种信息，包括用户行为、系统性能、异常事件等。通过对这些数据的分析，我们可以深入了解系统的运行状况，发现潜在问题，为优化系统性能、提升用户体验、确保系统安全提供有力支持。

随着大数据时代的来临，数据仓库成为了企业存储、管理和分析海量数据的重要基础设施。而在数据仓库的应用中，Ad Hoc查询凭借其灵活性和即时性，受到了广泛的关注和应用。接下来为您深入讲解 Ad Hoc 。

通过分析收集到的数据，CDP可以形成用户360度全景画像，洞察用户的行为、兴趣、需求等信息，更好地把握用户的生命周期，为企业提供精细化的营销和服务。同时，通过用户行为分析，将用户数据与业务场景结合，实现个性化、精细化的运营，以更加灵活的方式，触达不同场景下的用户，提升用户的体验。客户数据资产沉淀：将用户数据管理平台作为企业客户主数据中心，清洗并整合多源客户数据，如CRM系统中的结构化数据，客服产生的非结构化的通话记录，埋点程序捕捉的用户交互行为数据等；当前的解决方案难以实时响应查询需求。

实时数仓MPP查询的结构和原理是构建高效数据处理和分析系统的核心。MPP（Massively Parallel Processing）架构，通过并行处理和分布式计算，实现了对大规模数据的快速分析和查询。在查询引擎方面，Doris 采用 MPP 的模型，节点间和节点内都并行执行，也支持多个大表的分布式 Shuffle Join，从而能够更好应对复杂查询。

实时数仓的存储方式有行式存储和列式存储，所谓行式存储，指存储结构化数据时，在底层的存储介质上，数据是以行的方式来组织的，即存储完一条记录的所有字段，再存储下一条数据的所以字段，以此类推；

数仓建模是一个涉及多个学科和领域的复杂过程，它旨在构建一个高效、可靠且易于管理的数据仓库，以支持企业的数据分析和决策制定。下面我将根据上面的大点，详细阐述数仓建模的所有知识点。

流批一体是一种数据处理模式，它结合了流处理和批处理的特点，实现了对实时数据和离线数据的统一处理。在这种模式下，数据可以同时从实时数据源和离线数据源获取，然后进行统一处理和分析。

这个架构中，中间数据仓库环节有两个部分，一个是离线的数据仓库，一个是实时的数据仓库。因此就产生了 Kappa 结构。接着需要新起一个任务，从原来比较早的一个时间节点去消费 Kafka 上的数据，然后当这个新的任务运行的进度已经能够和现在的正在跑的任务齐平的时候，你就可以把现在任务的下游切换到新的任务上面，旧的任务就可以停掉，并且原来产出的结果表也可以被删掉。在实时数仓计算的部分，不需要做的特别重，尤其是聚合相关的一些逻辑，然后这样就可以保障在数据应用层能灵活的面对各种业务分析的需求变更，整个架构更加灵活。

作为中国卓越的由人工智能驱动的信贷科技服务平台，某科技公司选择将 Apache Doris 作为整体 OLAP 场景统一的分析引擎，并使用 Apache Doris 替换了 ClickHouse 和 MySQL ，使得报表分析场景 SLA 达标率提升至 99% 以上，平均查询耗时降低 50%。在更具体的领域，分析型数据库的应用包括但不限于金融分析、CRM（客户关系管理）、市场分析、科学实验室、医疗和物流等。例如，金融分析可以使用分析型数据库进行复杂的数据查询和分析，以支持投资决策和风险管理。

数据库目前是分为两大类，分别是关系型数据库和非关系型数据库，而分析型数据库是根据数据库的作用来划分的。

分析数据库是面向分析应用的数据库，与传统的数据库不同，它可以对数据进行在线统计、数据在线分析、即时查询等，从而发掘数据的价值信息，是数据库产品一个重要的分支。

Variant 的引入，使得存储和查询性能上均有显著提升，相较于 JSON 类型，存储空间减少了约 65%，查询速度提升超 8 倍。