从 Oracle、Hadoop 到 Apache Doris：哥瑞利泛半导体智能制造数据平台实践

关注

原创最新推荐文章于 2026-11-08 23:19:04 发布 449 阅读 AI 写同款· GEO 优化 ›

编程范式的本质：阴阳二分，相融相异本文源于一次真实的设计讨论，上片博客沿着四种语言实现的路子走下去，本篇博客则沿着设计模式的路线归结到计算机哲学的根。需求本身小得不能再小：给一个存放数据库读取结果的 `Dict` 列表按字段名排序。但当我们把约束加码到"字段演进时排序器永不改动"时，这个需求就不再是工程问题，而成了三种编程范式的正面交锋。沿着这条线走下去，我们最终抵达了一个更根本的结论——**编程范式不是一张并列的表格，而是一棵树，而树的根只有两个。** 阅读详情

摘要：本文介绍哥瑞利基于 Apache Doris 构建泛半导体统一 OLAP 架构的实践。该方案支撑万亿级制造数据的实时分析与生产追溯，常规交叉分析可在秒级别完成，并覆盖良率管理、设备监控和企业数据中台等核心场景。通过主键模型、分区分桶、Colocate Join 等能力，帮助制造企业减少系统复杂度，构建稳定、高效的数据分析底座。

在 Doris Summit 2025 上，哥瑞利大数据总监尹炬分享了 Apache Doris 在泛半导体智能制造领域的应用实践。本文整理自该演讲，并以演讲人第一视角进行描述。

哥瑞利是一家领先的泛半导体智能制造软件解决方案提供商，长期服务半导体、面板、PCB 及光伏等制造企业。在这些行业中，系统繁多，业务复杂，数据平台与生产过程紧密相连。一旦系统出现波动，影响的可能不只是查询速度，还可能是实际生产。

随着数据规模持续增长，哥瑞利也在不断调整技术架构，从 Oracle、Hadoop 到当前的 Apache Doris。但这并不是简单的数据库产品替换，更重要的是重新思考：制造业的数据应该如何存储、查询和维护，才能在复杂生产环境中长期稳定运行。

泛半导体制造的数据特征

泛半导体工厂通常投资规模大、工艺链路复杂，并保持 7×24 小时连续生产，因此对数据平台的稳定性、实时性和可持续运行能力要求极高。

1-泛半导体数据特征.PNG

这类制造数据具有海量、高速、多维和高价值等特点。以一座 12 英寸半导体工厂为例，一条产线每月可生产约 2 万片晶圆，叠加 Die、测试项目、多站点测试及复测数据后，仅一道工序的单表月数据量就可能达到千亿级，整体数据规模很快进入万亿级。

与此同时，工厂还会持续产生日志、文件、图片、视频以及秒级、毫秒级的时序数据。这些数据涉及设备参数、工艺配方和产品良率等核心信息，通常只能在厂区内网流转。因此，数据平台不仅要处理海量数据，还必须满足实时分析、数据安全、本地化部署和长期稳定运行等要求。

传统架构：慢、繁、难、贵

制造业在 IT 技术引入上相对谨慎，很多客户长期以 Oracle 等传统关系型数据库为主，后来也陆续建设了 Hadoop 平台。这些架构在各自阶段都解决过实际问题，但随着数据规模和实时分析需求增长，也逐渐暴露出“慢、繁、难、贵”等问题。

2-传统架构痛点.PNG

“慢”，主要体现在海量数据分析能力不足。传统数仓面对百亿、千亿级数据时，报表查询和 Ad-hoc 即席查询响应较慢，很难满足产线实时分析和快速决策的需求。

“繁”，主要来自 Hadoop 体系本身。Hive、HBase、Spark 等组件较多，技术栈重，开发和运维门槛都比较高，同时数据处理通常存在明显的 T+1 延迟。

“难”，是数据分散带来的问题。实时数据和历史数据往往分布在不同系统中，MES、FDC 等业务系统之间的数据关联复杂，出现良率问题时，很难快速完成跨系统追溯。

“贵”，则是传统商业数据库和数仓的 License、硬件及服务成本较高，数据规模越大，后续投入越明显。

面对这些问题，我们希望进一步收敛技术栈，以更简单的架构统一承载海量数据存储、加工和分析。经过多个维度的对比验证，我们逐步减少对传统 Hadoop 组件的依赖，采用以 Apache Doris 为核心的统一 OLAP 架构。

以 Apache Doris 为核心的统一 OLAP 架构

在具体项目中，数据可能来自 MySQL、Oracle、SQL Server、PostgreSQL 等业务数据库，以及设备系统、文件系统和物联网平台。我们通过自研调度平台完成实时和离线的数据采集、同步与加工，并由 Apache Doris 统一承载结构化、半结构化及时序数据的存储与分析。

对于文本、图片和视频等非结构化数据，文件本体通常保存在文件系统或专用存储中，相关元数据、索引和分析结果进入 Doris。基于这一架构，上层可以统一支撑运营分析、设备分析、生产追溯及 AI 应用。

3-doris统一架构.jpeg

通过将原本分散在多个组件中的数据加工和分析能力进行收敛，这套架构减少了系统组件和数据链路，也降低了平台的开发与运维复杂度。

在实际项目交付中，也会根据客户对部署模式、技术支持和企业级运维能力的需求，采用 SelectDB 企业级产品，在保持 Apache Doris 核心能力的基础上，进一步满足制造企业对稳定性、服务保障和长期运维的要求。

Apache Doris 在制造业场景中的关键能力

结合泛半导体行业的数据特点，我们在项目中重点使用了 Doris 的主键模型、动态分区与分桶、Colocate Join 等能力。

主键模型：减少频繁删除与重复写入。制造业务数据通常具有明确主键，并会随着生产过程持续更新。过去常见的做法是先删除旧数据，再重新写入，但在数据量较大时，频繁 Delete 会增加 Compaction 压力。因此，我们更多采用主键模型，通过 Upsert 完成数据更新，减少重复删除和写入。
动态分区与分桶：提升大规模数据查询效率。半导体制造数据通常具有明显的时间属性。我们根据数据生命周期和访问模式，按照时间维度进行动态分区，并结合业务主键或高频过滤字段进行合理分桶。通过提前规划数据分布，可以有效减少查询扫描范围，提高并发查询效率，同时简化历史数据管理。
Colocate Join：加速超大表关联分析。良率分析和生产追溯通常需要关联生产事实表、设备表、工艺表及测试结果表，其中部分表的数据规模达到千亿级。通过合理设置 Colocate Group，使关联数据按照相同规则分布在相同节点上，可以减少大表 Join 过程中的网络数据传输，显著提高多表关联查询效率。
异步物化视图：简化复杂计算链路。针对复杂指标计算，过去往往需要依赖 Flink、Spark 或多层嵌套 SQL，现在可以通过异步物化视图在 Doris 内部完成部分预计算，减少外部组件和处理链路。
UDF：可适配制造业班次时间。制造企业通常按照班次而不是自然日进行统计，例如白班从早上 8 点持续到晚上 8 点，夜班还会跨越两个自然日。因此需要通过自定义函数来实现这些特殊的时间模型。Doris 对 UDF 的良好支持，使得这一需求能够方便实现。
冷热数据管理：满足 15 年数据留存要求。制造业数据通常需要长期保留。我们会根据访问频率进行冷热分层：最近三个月的数据放在 SSD 等高性能介质上，三个月至一年以内的数据放在成本相对较低的存储介质中，超过一年的数据逐步归档到 NAS，长期数据则根据客户要求归档到磁带设备。既能满足长期数据留存要求，又能控制高性能存储的使用成本。

客户真实场景落地：从良率分析到设备监控

目前，Apache Doris 已应用于我们的多个制造业解决方案，包括 YMS 良率管理系统、FDC 设备监控系统和企业数据中台。以下结合三个项目，介绍 Doris 在质量分析、设备监控和企业级数据平台中的落地方式。

某头部半导体材料厂 YMS 项目应用

YMS，即良率管理系统，主要用于分析晶圆测试数据，是我们典型的应用场景。当芯片出现质量异常时，工程师需要判断问题来自生产工艺、设备状态、原材料还是其他环节。这一过程通常需要关联晶圆、Die、测试项目、设备、批次和材料等多个维度，具有数据规模大、查询条件多、追溯链路长等特点。

4-半导体材料厂.jpeg

客户原有系统主要基于 Oracle 建设。随着数据持续增长，复杂查询响应时间逐渐变长，历史数据也需要频繁归档。

在迁移过程中及部分低频查询场景中，我们利用 Doris 外表能力对 MySQL、Oracle、PostgreSQL 等系统进行联邦查询，避免一次性迁移全部数据；同时，通过主键模型、分区分桶和 Colocate Join 优化核心数据模型。

在当前项目的数据模型、查询条件和集群配置下，系统可支撑万亿级数据集上的分析，常规交叉分析通常可在 10～15 秒内完成，并支持历史数据自动归档。

某头部封装厂 FDC 项目

FDC，即设备故障检测与分类系统，负责持续采集和分析生产设备的运行参数。在该项目中，部分设备需要按照秒级甚至毫秒级频率采集数据，一条产线每天产生的数据量可达到数百 GB。

5-头部封装厂.png

原有 Oracle 架构在高频写入、长周期历史数据查询和多维聚合方面逐渐面临扩展压力。迁移至 Doris 后，系统通过物化视图预计算常用设备指标，并结合时间窗口计算和业务规则完成趋势分析、异常识别和设备状态判断。

在数据规模持续增长的情况下，新架构能够更稳定地支撑高频数据写入和历史趋势查询，也减少了部分离线计算链路。

某头部面板企业数中台项目应用

客户原有数据平台采用 Hadoop，并按照 ODS、DW、DWS、ADS 进行分层建设。该架构能够支撑离线数据处理，但组件数量较多、任务链路较长，实时查询能力有限。

我们将原有数仓分层和数据加工任务逐步迁移至 Doris，并通过自研调度平台替换部分商业调度工具。迁移后，客户保留了原有的数据分层和建模思路，但底层存储、加工与查询能力由 Doris 统一承载。

6-头部面板企业.jpeg

目前，部分项目的数据规模已达到 PB 级。相比原有架构，新的数据处理链路更短，需要维护的组件更少，实时查询和平台运维效率也得到改善。

携手开源社区，构建泛半导体国产数据底座

从上述项目可以看出，制造业数据平台不仅要处理海量数据，还要兼顾实时分析、长期稳定运行、系统复杂度和总体成本。国产化不只是产品替代，更要经得多重检验。

经过多个项目的实践与持续优化，我们认为，Apache Doris 已能够支撑泛半导体行业中的良率分析、设备监控、生产追溯和企业级数据分析等场景。在部分企业级交付项目中，我们也结合 SelectDB 企业级产品提供更完善的服务支持和运维保障，帮助客户更稳定地运行关键生产系统。其统一的存储与分析能力可以减少系统组件和数据链路，尤其适合希望收敛技术栈、降低运维负担的制造企业。

从 Oracle、Hadoop 到以 Doris 为核心的 OLAP 架构，我们的技术路线在不断演进，但目标始终不变：让数据平台在工厂中长期稳定运行，真正服务于生产与业务。未来，我们将继续与 Apache Doris 社区携手，把泛半导体行业的真实需求与项目经验反馈给社区，并基于 Doris 等开源技术，持续完善面向行业的大数据解决方案，共同构建自主、开放、可持续演进的国产数据底座。

关于哥瑞利

上海哥瑞利软件股份有限公司是一家领先的智能制造软件解决方案提供商。专注于泛半导体 Know-how 和 MES，持续创新，创见性领先地利用大数据，人工智能，大模型等先进算法技术，帮助优秀企业创造和提升生产优势。据沙利文报告，2024年，公司为国内最大的泛半导体智能制造软件解决方案提供商，且是首家实现泛半导体全价值链软件覆盖的中国公司。