字节、腾讯争先部署，ClickHouse+Doris 赶超 MySQL 810 倍

原创

已于 2022-11-30 10:47:27 修改 · 278 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#clickhouse #mysql #数据库

于 2022-11-30 10:46:49 首次发布

大数据开发工程师需具备OLAP能力，ClickHouse与Doris在实时分析中展现出优秀性能。ClickHouse在大厂广泛应用，如今日头条、腾讯、携程、快手，而Doris则在京东广告等公司实践，两者都是大数据人必须掌握的核心技能。

阿里流传着这样一句话，“一切业务数据化，一切数据业务化”。

作为大数据从业者，你一定明白有数据是一回事，可要想让数据发挥价值、成为生产力是另一回事。手里得有两把刷子，才能成为大数据圈儿的“大拿”！

如何实现智能路径检测，查询出符合条件的路径详情及符合路径的用户数？关于有序漏斗转化，如果想要更准确一些该怎么做？面对大量的订单记录，如果想按照地域、时间、来源等维度等进行实时分析，该怎么实现？对于海量评论数据，想要查询好评差评的比例，如果进行准实时分析想要秒级实现的话，如何来完成？

不管是面试还是实际工作过程中，数据工程师要时时刻刻面对这些层出不穷的技术演进。随着数据的爆发式增长以及指标维度多元化， T+1 的数据报表早已无法满足需求。如何在保证高时效性的同时，让数据发挥更大的价值是筛选“王牌”大数据开发工程师的重要门槛。

01对大数据开发工程师的能力新要求

OLAP型大数据开发能力

随着全行业数字化转型和新基建时代的到来，对技术人才提出了更高的要求。

对数字化转型的公司来说，公司的业务可以分为两类：一类是OLTP型的业务，一类是OLAP型的业务。对优秀的IT工程师来说，我们需要同时具备OLTP的技术能力和OLAP的技术能力。进一步来讲，对于前者，我们需要具备线上满足高并发、高可用、高扩展的开发能力，比如根据公司业务发展阶段给出优雅的线上微服务架构解决方案；对于后者，我们需要具备线下海量大数据处理和分析的开发能力，比如电商公司收入趋势的分析和预测、抖音等短视频平台日活用户分析等开发解决方案。

伴随数字化转型的向广向深发展，具备OLAP型大数据开发能力的工程师在人才市场上将具备更强的竞争力和更丰厚的薪资收入，也必然成为新时代的香饽饽。