ClickHouse、Doris、Trino和Flink的大数据架构组合

最新推荐文章于 2025-11-03 15:32:42 发布
原创 最新推荐文章于 2025-11-03 15:32:42 发布 · 1.4k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #clickhouse #flink

ClickHouse、Doris、Trino（原Presto）和Flink的组合可构建一套高性能的“流批一体”数据处理架构，兼顾实时计算、批量分析、交互式查询与数据服务能力。

在这里插入图片描述

一、架构分层与组件定位

架构层 核心组件 核心职责 技术优势
实时处理层 Flink 流式数据清洗、窗口聚合、复杂事件处理（CEP）、状态管理 低延迟（毫秒级）、Exactly-Once语义、状态容错
批处理层 Trino 离线数据ETL、跨源联邦查询（Hive/Iceberg/MySQL）、大规模批处理 联邦查询能力、兼容ANSI SQL、动态扩展计算节点
OLAP存储层 ClickHouse/Doris 高性能存储与实时分析：ClickHouse强于单表聚合，Doris擅长多表关联与更新 ClickHouse：列存+向量化引擎；Doris：MPP架构+事务支持
数据服务层
最低0.47元/天 解锁文章
Doris实践——信贷系统日志分析场景的实践应用
爱吃辣条的博客
04-02 1769
Doris实践——助贷系统日志分析场景的实践应用
万字详解：ClickHouse 与 Doris 技术选型对比分析
AI天才研究院
03-31 1156
ClickHouse 和 Doris 作为分析型数据库领域的佼佼者，各有优劣。ClickHouse 在查询性能和灵活性上表现突出，适合对实时性要求极高的场景；而 Doris 在高并发支持、易用性和生态系统上更具优势，适合复杂分析和湖仓一体需求。技术选型需结合具体业务场景、团队技能和资源条件综合考量。随着两者社区的持续迭代，未来在云原生和实时分析领域的竞争将更加激烈，用户可根据最新动态调整选型策略。对比维度ClickHouse架构设计。
开源大数据OLAP引擎最佳实践
数据一哥，公众号：数据社
03-21 3479
来源：阿里巴巴大数据计算全文共3547个字，建议10分钟阅读大家好，我是一哥。之前我也做过一些OLAP的选型对比《OLAP计算引擎怎么选？》，今天再给大家分享一篇。本篇内容将通过六个部分来...
Trino连接ClickHouse代码浅析
skyyws的博客
02-10 2288
本文简单介绍了Trino对于ClickHouse的适配，主要是从plugin的加载，catalog的加载等方面进行了简单的梳理。
Trino、Presto、Doris 2.1、Doris 3.X 选型决策
最新发布
雨笋情缘的专栏
11-03 839
本文对比了Trino、Presto、Doris2.1和Doris3.X四大查询引擎的选型要点。从核心场景匹配度来看，Trino在多源联邦查询和复杂SQL处理方面表现突出，Doris3.X在实时性和流批一体上更具优势。技术特性方面，Doris3.X新增向量执行引擎和云原生支持，性能提升30%以上。部署成本上，Doris2.1维护最简单，Trino/Presto无需数据迁移但硬件要求高。针对不同场景推荐：跨源分析选Trino+实时报表用Doris3.X，纯实时OLAP选Doris3.X，低成本跨源可选Prest
Clickhouse与Doris的区别
xiaocaij_icai的博客
10-30 7171
支持集群的在线动态扩缩容，通过内置的SQL命令 alter system add/decomission backends 即可进行节点的扩缩容，数据均衡的粒度是tablet，每个tablet大概是数百兆，扩容后表的tablet会自动拷贝到新的BE节点，如果在线扩容，应该小批量去增加BE，避免过于剧烈导致集群不稳定。***扩容时需要部署新的节点，添加新分片和副本到配置文件中，并在新节点上创建元数据，如果是扩副本数据会自动均衡，如果是扩分片，需要手工去做均衡，或自研相关工具，让均衡自动进行。
Doris vs. Trino
智海观潮的博客
08-01 558
Trino是一个开源的分布式SQL查询引擎，前身是PrestoSQL，最初由Meta（Facebook的技术部门）开发。支持多种connector，包括MySQL, Oracle, MongoDB, PG, SQL Server, Hive, Kafka, ES, Iceberg, Hudi, ClickHouse, BigQuery等。用户可以基于Doris构建大屏看板、用户行为分析、AB实验平台、日志检索分析、用户画像分析、订单分析等场景。Apache Doris最初是百度广告报表业务的Palo项目。
Trino Connector连接器集成各种数据库(Clickhouse、Kudu)
Bulut0907
01-28 1819
在所有Trino服务的etc/catalog目录下，新建配置文件clickhouse.properties，内容如下然后重启所有Trino服务。
ClickHouse和Doris的适用场景
神棍之路
07-07 883
ClickHouse与Doris并行架构解析 两者虽均为列式OLAP数据库，但定位差异显著：ClickHouse擅长大规模单表聚合（如日志分析），Doris强在复杂多表关联（如BI报表）。并行使用需满足场景互补（如日志+交易分析）或灾备需求，但面临双写一致性、运维成本翻倍等挑战。 核心建议： 1️⃣ 业务分化明显（如实时聚合+关联查询）且资源充足时，可并行部署，通过Flink实现双写； 2️⃣ 90%场景优先优化单一系统（Doris用Rollup预计算，ClickHouse用物化视图）； 3️⃣ 关键架构需
Spark、Flink、Presto、Trino、Hudi、Iceberg、Doris、StarRocks 的简介及适用场景说明
jobleap.cn求职助手首页
10-20 971
本文介绍了大数据领域8种主流工具的定位与适用场景： 计算引擎：Spark适用于批处理、机器学习等通用场景；Flink专注低延迟流处理。 SQL查询引擎：Presto/Trino支持跨数据源交互式分析。 数据湖框架：Hudi支持实时更新，Iceberg规范表格式。 OLAP数据库：Doris/StarRocks用于高并发实时分析。 实际应用中常组合使用，如Flink+Hudi实现实时数据湖，Trino查询，StarRocks生成报表，形成完整数据链路。
java后端代码，用flink从postgresql读取多个表数据到clickhouse合并成一张大表，支持新增和修改
wuai66的博客
05-30 1158
从PostgreSQL读取数据并写入ClickHouse，可进行数据转换、过滤和按需处理
Doris、ClickHouse 和 Flink 这三个技术典型的应用场景
Crazy_shark的博客
02-28 1086
Doris、ClickHouse 和 Flink 这三个技术典型的应用场景
Clickhouse 集成 prestosql(trinodb)
vkingnew 的技术博客
07-09 1634
github上开源的内容： https://github.com/zeeshanabid94/presto/tree/presto-clickhouse/presto-clickhouse
clickhouse最佳实践（一）：clickhouse千亿级日志系统单机到集群架构演进历程
希望能解决大家的问题，也欢迎老哥们来骚扰技术交流业务中的问题
10-31 2162
使用ClickHouse自带的系统表如system.metrics，system.events，监控查询的资源占用情况。：避免长时间运行的查询拖垮性能，比如可以限制查询的max_execution_time。：合理设计分区键（如按时间或业务逻辑），可以有效减少扫描的数据量，提高查询效率。：定期清理旧分区（如按时间分区），以减少表数据量，避免无关数据对性能的影响。：在分区读取时，控制最大可读分区数，从而避免数据量大的查询引起卡顿或过载。：对于频繁查询的聚合结果，可以使用物化视图，减少查询时间。
ClickHouse日志存储实践（唯品会）
HELLOW，文浩
08-26 3392
Clickhouse压缩率这么高，但没有索引，其查询速度如何？虽然没有索引，但其向量执行和SIMD配合多核CPU，可以大大缓解没有全文索引的缺点。经过多次测试对比后，其查询速度在绝大多数场景下和ES不相上下，在部分场景下甚至比ES还要快。...
presto/trino连接clickhouse 字符串问题
qq_39158142的博客
06-17 2982
当使用presto将clickhouse作为数据源进行查数据，如果其中有字符类型的话，比如说String或者FixString时，当我们对该字段进行筛选时，会报错 varbinary
兼容Trino Connector，扩展Apache Doris数据源接入能力｜Lakehouse 使用手册（四）
SelectDB
09-06 1859
Apache Doris 内置支持包括 Hive、、LakeSoul、JDBC 在内的多种 Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。而随着 Apache Doris 用户的增加，新的数据源连接需求也随之增加。因此，Trino/Presto 作为业界较早应用于湖仓查询、联邦分析的计算引擎，以广泛的数据源对接能力闻名。
海山数据库（He3DB）原理剖析：浅析Doris跨源分析能力
weixin_42744640的博客
04-09 1264
张步涛，中国移动云能力中心数据库产品部-OLAP数据库开发工程师。主要参与OLAP内核优化/湖仓一体分析的研发。
基于Flink+Doris构建亿级全端电商实时数据分析平台
05-07
上层应用业务对实时数据的需求，主要包含两部分内容：1、 整体数据的实时分析。2、 AB实验效果的实时监控。这几部分数据需求，都需要进行的下钻分析支持，我们希望能够建立统一的实时OLAP数据仓库，并提供一套安全、可靠的、灵活的实时数据服务。目前每日新增的曝光日志达到几亿条记录，再细拆到AB实验更细维度时，数据量则多达上百亿记录，多维数据组合下的聚合查询要求秒级响应时间，这样的数据量也给团队带来了不小的挑战。OLAP层的技术选型，需要满足以下几点：1：数据延迟在分钟级，查询响应时间在秒级2：标准SQL交互引擎，降低使用成本3：支持join操作，方便维度增加属性信息4：流量数据可以近似去重，但订单行要精准去重5：高吞吐，每分钟数据量在千W级记录，每天数百亿条新增记录6：前端业务较多，查询并发度不能太低通过对比开源的几款实时OLAP引擎，可以发现Doris和ClickHouse能够满足上面的需求，但是ClickHouse的并发度太低是个潜在的风险，而且ClickHouse的数据导入没有事务支持，无法实现exactly once语义，对标准SQL的支持也是有限的。所以针对以上需求Doris完全能解决我们的问题，DorisDB是一个性能非常高的分布式、面向交互式查询的分布式数据库，非常的强大，随着互联网发展，数据量会越来越大，实时查询需求也会要求越来越高，DorisDB人才需求也会越来越大，越早掌握DorisDB，以后就会有更大的机遇。本课程基于真实热门的互联网电商业务场景为案例讲解，具体分析指标包含：AB版本分析，下砖分析，营销分析，订单分析，终端分析等，能承载海量数据的实时分析，数据分析涵盖全端（PC、移动、小程序）应用。整个课程，会带大家实践一个完整系统，大家可以根据自己的公司业务修改，既可以用到项目中去，价值是非常高的。本课程包含的技术：开发工具为：IDEA、WebStormFlink1.9.0DorisDBHadoop2.7.5Hbase2.2.6Kafka2.1.0Hive2.2.0HDFS、MapReduceFlume、ZookeeperBinlog、Canal、MySQLSpringBoot2.0.8.RELEASESpringCloud Finchley.SR2Vue.js、Nodejs、Highcharts、ElementUILinux Shell编程等课程亮点：1.与企业接轨、真实工业界产品2.DorisDB高性能分布式数据库3.大数据热门技术Flink4.支持ABtest版本实时监控分析5.支持下砖分析6.数据分析涵盖全端（PC、移动、小程序）应用7.主流微服务后端系统8.天级别与小时级别多时间方位分析9.数据库实时同步解决方案10.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS+ElementUI11.集成SpringCloud实现统一整合方案12.互联网大数据企业热门技术栈13.支持海量数据的实时分析14.支持全端实时数据分析15.全程代码实操，提供全部代码和资料16.提供答疑和提供企业技术方案咨询企业一线架构师讲授，代码在老师的指导下企业可以复用，提供企业解决方案。  版权归作者所有，盗版将进行法律维权。 
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值