SelectDB

本文系统梳理 Bleem 引擎在存算分离架构下的演进过程，重点介绍在千亿规模、高维向量与成本约束下，结合 IVF-ON-DISK、RaBitQ 量化与全局两层索引的设计方案与实测收益，并总结生产环境沉淀的工程经验。

Paimon 2.0的建立在普通 Paimon 表之上，有两种形态：append 表上的 Global Vector Index，以及主键表上的 PK Vector Index。两者共用同一套索引实现与检索模式，区别在于索引怎样构建、命中结果怎样回表。快手的业务表是主键表，本文后续链路对应后者。两种形态都把索引文件与数据文件物理解耦。

Data + AI 能用在哪些场景？具体落地又该如何操作？本文借助 SelectDB + AI，搭建一个用于收集、整合与分析全域用户反馈的智能洞察系统。以此实战，给有需求的用户提供可参考的基础方法论。

面对日增 3 亿行、万亿规模存量广告数据，快手广告数据平台如何突破性能瓶颈、实现架构统一与体验跃升？快手引入 Apache Doris 替换 ClickHouse、Elasticsearch，从分散存储到统一分析，实现查询性能提升 20～90%，单表写入吞吐 300 万行/秒，存储效率提升 60%！

MiniMax 作为上市大模型企业，基于阿里云 SelectDB 打造 AI 可观测中台，实现“一个平台，全球覆盖”。这一成功实践足以表明：SelectDB 能够很好满足 AI 时代海量数据实时处理与分析的需求，为同样需求的 AI 大模型企业提供了一个高性能、低成本的可靠技术解决方案。

Apache Doris 的演进给我们提供了一个生动的答案——它不仅跟随硬件与编译器的发展而演进，更主动地通过向量化、模板化、指令级并行与精细的用户态调度模式，将每一代 CPU 的潜力推向理论极限。

面对日益增长的业务体量与复杂多变的分析需求，选用一个高效、可靠的数据库系统，已成为支撑业务稳健发展与快速创新的关键。Apache Doris 以其出色的性能表现与高度灵活的架构，成为众多场景下的优选方案。

Apache Doris 上的应用规模庞大，已在生产环境中落地超 30 个项目，覆盖广泛的业务场景，展现出大规模、多类型场景并行运行的特征。

中通快递基于 SelectDB 构建了湖仓分析架构，补齐 OLAP 分析能力。在离线场景中，实现 2000+ QPS 并发点查；在实时场景中，仅以 1/3 原集群机器数量覆盖所有业务，90% 分析任务从 10 分钟缩短至 1 分钟内，投入产出比大幅提升。

在当前银行业务全面线上化、实时化的驱动下，浙江省头部城商行亟需构建一个能够同时承载海量数据加工与高并发实时查询的数据平台，以支撑精准营销、实时风控和智能决策等关键业务。

深耕银行 IT 建设领域 26 的年， 宇信科技服务超数百家金融机构，覆盖核心系统、渠道平台、风控中台等关键业务场景。其数据条线团队专注经营分析场景 20 余年，为城商行、农商行提供从报表系统到智能决策的全栈解决方案。随着银行业数字化进程步入深水区，宇信科技面临双重挑战：一方面，市场节奏的加快，让客户对“分钟级数据响应”需求迫切，传统数据平台的处理效率与扩展能力已显滞后；另一方面，决策者不再满足于“工具即报表”现状，需要一种能够实现 “智能归因-闭环决策” 的深度分析能力，以应对复杂多变的市场环境。

上海证券引入 SelectDB 作为核心实时分析引擎，有效弥补了实时数据处理与分析的能力短板，实现湖仓一体与流批一体，同时替换了原架构中的 Elasticsearch 组件。达成了写入性能提升 4 倍，支撑 1000+ QPS 高并发访问，关键决策响应速度 200 ms，开发效率提升 50%，运维成本大幅降低的关键收益。

标准 OLAP 查询：针对 2000 万行数据的过滤聚合（filter+agg）测试，Apache Doris 仅需0.9 秒完成响应，相较 Snowflake 的4.2 秒提升4.6 倍，充分验证其列式存储与向量化执行引擎的高效性。复杂多表 JOIN：在涉及多表关联的即席查询（2000 万行数据量）中，Apache Doris 以1.5 秒的平均耗时超越 Snowflake 的8 秒，性能提升达5.3 倍，凸显分布式计算架构对复杂查询的优化能力。超大规模数据处理。

本文介绍了 Apache Doris 在菜鸟的大规模落地的实践经验，菜鸟为什么选择 Doris，以及 Doris 如何在菜鸟从 0 开始，一步步的验证、落地，到如今上万核的规模，服务于各个业务线，Doris 已然成为菜鸟 OLAP 数据分析的最优选型。

本文基于 Apache Doris 数据运维治理 Agent 展开讨论，如何让 AI 成为 Doris 数据运维工程师和数据治理专家的智能助手，并在某些场景下实现对人工操作的全面替代。

森马引入阿里云 SelectDB 替换原 Elasticsearch + 业务库混合架构，统一分析 16+ 核心业务，打通 BI 组件，大幅简化数据同步链路和分析系统架构。实现复杂查询 QPS 提升 400%，响应时间缩短至秒级，亿级库存流水聚合查询缩短至 8 秒内的显著收益，有效驱动森马全渠道运营效率持续增长与业务创新。

网易云信引入 Apache Doris 统一了原有 Elasticsearch、InfluxDB 和 Hive 多技术栈系统。凭借其高性能和易扩展的特点，提供一站式的数据存储和分析服务。实现机器成本降低 70%、实时场景查询提速 11 倍、离线任务耗时缩短 80% 的显著收益。

顺丰科技引入 Doris 替换 Presto，在内部可视化数据自助分析工具丰景台场景广泛应用。目前，顺丰临时查询业务、丰景台报表业务的 Presto 场景已经 100% 切换到 Doris 集群中，日均查询量 100W+。并实现 P95 性能提升近 3 倍，硬件资源节省达 48% 显著收益。

Apache Doris 助力某头部票务平台构建实时数据仓库，全面覆盖报表开发需求，实现数字化经营。

同程数科基于 Apache Doris 构建统一实时数仓，自研一站式数据平台 Ark，实现数十倍查询提速！在任务开发、系统维护等方面均达到降本增效的收益与成果。

Apache Doris 作为叮咚买菜整体架构体系中的核心 OLAP 分析引擎，不论是作为数仓数据看板类的应用层、还是作为实时数据汇总结果接入层、或是作为 B/C 端服务数据提供方，均能够很好的满足业务需求。除此之外，Doris 使得我们无需在存储选型上耗费过多时间，大大缩短了开发的周期；同时，Doris 支持 MySQL 协议和标准 SQL ，大大降低内部人员的使用成本和门槛。未来，我们希望使用 Doris 支撑内部更多的业务场景，更大范围了提升工作效率。

导读：腾讯音乐内容库数据平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈选等内容分析服务，高效为业务赋能。目前，内容库数据平台的数据架构已经从 1.0 演进到了 4.0 ，经历了分析引擎从 ClickHouse 到的替换、经历了数据架构语义层的初步引入到深度应用，有效提高了数据时效性、降低了运维成本、解决了数据管理割裂等问题，收益显著。本文将为大家分享腾讯音乐内容库数据平台的数据架构演进历程与实践思考，希望所有读者从文章中有所启发。作者：腾讯音乐内容库数据平台 张俊、代凯。

当前 Apache Doris 的生产集群为 3 FE + 9 BE 组合， 已导入集团存量和增量数据的 60%以及部分 DW 数据生成，3 副本共占 44.4TB 的存储。依赖 Apache Doris 自身优异特性及其生态圈帮助我们快速构建了一套新的流批一体数据架构，平均每天实时入库的数据量达到上亿规模，同时支持上万个调度任务平稳运行，相比早期架构单表查询效率提升近 5 倍，数据导入效率提升近 2 倍*，内存资源使用率显著减少。

Doris 完美覆盖了原本需要多个技术栈才能实现的业务场景，极大地简化了大数据的架构体系。Doris 对 Join 支持较好，因此我们选择了将维度表放到 Doris 中进行维护，相较于之前在离线数仓中进行维护，明显地提高了开发的效率，并降低了数据出错的可能性，满足了业务上对维度表近实时更新的需求。Doris 支持 MySQL 协议和标准 SQL，开发人员学习成本低，上手简单，可以快速将原先的业务迁移至 Doris 上来。Doris 社区活跃，版本迭代速度快。在遇到任何问题时，都可以向社区求助，

基于 Doris 的新数仓架构不再依赖 Hadoop 生态组件，运维简单，维护成本低。具有更高性能，使用更少的服务器资源，提供更强的数据处理能力。支持高并发，能直接支持 WebApp 的查询服务。支持外表，可以很方便的进行数据发布，将数据推送其他数据库中。支持动态扩容，数据自动平衡。支持多种联邦查询方式，支持 Hive、ES、MySQL 等得益于新架构的优异能力，我们所用集群从18 台 16C128G 减少到 12 台 16C128G，集群资源较之前节省了33%，大大降低了投入成本；