Clickhouse新特性Projection

最新推荐文章于 2025-03-07 18:52:15 发布
最新推荐文章于 2025-03-07 18:52:15 发布
阅读量974 收藏 1
点赞数 2
分类专栏： Clickhouse 文章标签： clickhouse 数据库 sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_39070689/article/details/128969840
版权
Clickhouse Projection 提供了一种通过预聚合数据来提高查询效率的方法，类似于物化视图但更灵活。它解决了MergeTree引擎非分区和排序字段检索效率低以及物化视图维护成本高等问题。Projection支持分区级别存储，可自动命中，且在数据更新时保持一致性。使用Alter语句即可方便地添加和删除投影，从而实现灵活维护。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Clickhouse Projection （投影）

是什么

投影允许通过存储预聚合数据来提高查询速度（空间换时间）。类似于物化视图但是比它更加灵活和强大。

Projection 的概念出自 《C-Store: A Column-oriented DBMS》这篇论文，作者是2015年图灵奖获得者、Vertica 之父，Mike Stonebraker。Projection 意指一组列的组合，可以按照与原表不同的排序存储，并且支持聚合函数的查询

Clickhouse在21.6中引入投影概念，在 22.2版本中宣布可投入生产环境而不是实验功能

基本使用

# 通过eventId查询日志数据，数据量为3亿，没有新的数据接入

# 花费19s 扫描全表数据3亿
SELECT eventId,startTime  from ailpha.ailpha_ueba_securitylog WHERE eventId='5888642880540135395';

# 添加投影
ALTER TABLE ailpha.ailpha_ueba_securitylog ADD PROJECTION p211 (SELECT * ORDER BY eventId)
最低0.47元/天 解锁文章
【clickhouse】clickhouse强大智能的 Projection (投影) 功能
九师兄
01-07 3982
相比普通物化视图是一张独立的表，Projection 物化的数据就保存在原表的分区目录中，支持明细数据的普通Projection 和 预聚合Projection。好了，今天的分享就到这里，再有了 PROJECTION 之后，可以说 ClickHouse 更加的如虎添翼了。通过刚才的例子，你能发现在查询时， PROJECTION 的使用是无感的，ClickHouse 会根据提交的 SQL 语句自动匹配。因为物化的数据保存在原表的分区，所以数据的更新、合并都是同源的，也就不会出现不一致的情况了。
大数据ClickHouse进阶（二十一）：ClickHouse的Projection投影
Lansonli（蓝深李）的博客
10-31 1159
ClickHouse Projection功能的出现完美解决了以上两点不完美。
ClickHouse Projection
haveanybody的博客
08-11 1828
ClickHouse Projection的原理和使用
ClickHouse--20--Projection (投影)
最新发布
时光里的博客
03-07 877
投影类似于物化视图，但在part-level上定义。投影存储在分区目录中。它类似于索引，但包含存储匿名MergeTree表分区的子目录。这个表是由投影的定义查询生成的如果存在GROUP BY子句，底层存储引擎变成AggregatingMergeTree，所有聚合函数都转换为AggregateFunction如果有ORDER BY子句，则MergeTree表将其用作主键表达式。在合并过程中，投影分区通过其存储的合并例程进行合并父表分区的校验和与投影分区相结合其他维护任务类似于跳过索引。
clickhouse新特性：Projection (版本：21.6+)
bigdata_player
09-24 811
一.解决目前以下痛点： 1）建表时只支持一种排序方式（order by） 建表的时候，Order By 同时决定了主键稀疏索引和数据的排序，假设 : Order BY A,B,C 那么通常过滤查询 Where A 会很快，但是 Where C 会慢一些。 2）ClickHouse物化视图无一致性保证，在明细表里做聚合查询和在物化表里做聚合查询出来的结果可能不一样 3）用户在数据查询的场景中，会有着一定的使用习惯。比如，每天定时都会查看一些特定的图表。这些图表中包含全量的数据统计，复杂的数据
Clickhouse 新功能 Projection
我是坏人哦
03-22 4849
本文详细介绍了Clickhouse新投产功能Projection的用法、案例和原理解析
clickhouse--如何使用Projection (投影) 对SQL进行提速？
penriver的博客
01-11 4128
Clickhouse的MergeTree只支持一种排序规则, Order By 同时决定了主键稀疏索引和数据的排序。物化视图本质上一张独立的表，通过原表的触发器，实时的向视图表写入数据,会存在与原表数据一致性的问题。这些限制了Clickhouse的一些使用。 clickhouse在21.8以上版本引入了Projection (投影) 功能，投影类似于物化视图，提供了一致性保证以及查询中的自动使用, 可以将SQL查询性能提升20倍以上。 本文详细介绍Projection (投影) 功能及使用方法。
4-6+Projection：ClickHouse+最新特性原理解析.pdf
03-18
同时，通过 Projection 等新特性，ClickHouse 不断优化其物化和预聚合模型，以满足更广泛的分析需求。 总之，Projection 是 ClickHouse 为应对数据物化挑战而引入的重要特性，它增强了系统的查询优化能力和灵活性，...
Clickhouse Projection 特性探索
GrowingIO 基于 BitMap 的海量数据分析
07-08 817
年初的clickhouse meetup上快手团队分享了clickhouse projection在其公司内部的实践。分享包括了projection原理、使用、性能测试等内容。从性能测试的数据上看，projeciton对查询性能有着百倍级别的提升，意味着之前分钟级的查询响应延迟，将会提升到秒级响应。秒级的查询响应延迟，将会提升到毫秒级的响应，对于使用者将会有更加完美的体验。 看完了快手同学的clickhouse projeciton的分享，在我脑中也产生了几个问题？ 没有projection功能之前
如何通过ClickHouse的Projection特性结合列式存储和向量化计算来提升复杂查询性能？
10-31
Projection特性进一步强化了ClickHouse在复杂查询上的性能。在实际应用中， Projection通过预先计算并存储特定查询模式的中间结果，使得后续相同模式的查询能够直接利用这些中间结果，从而减少了计算步骤和时间成本...
探索ClickHouse——使用Projection加速查询
方亮的专栏
09-26 1101
在测试Projection之前，我们需要先创建一张表，并导入大量数据。我们可以直接使用指令，从URL指向的文件中获取内容并导入表。但是担心网络不稳定，我们先将文件下载下来。
Clickhouse Projection
BLOCKGOLD.E的博客
06-19 661
Clickhouse一个视图本质还是表，只支持一种order By，不然要维护太多的视图。物化视图能力有限。在设计聚合功能时，考虑使用AggregateMergeTree，现在有了projections，打算尝试使用。
ClickHouse进阶（十五）：Projection投影
qq_32020645的博客
09-14 519
clickhouse Projection功能的出现完美解决了以上两点不完美。相比普通物化视图是一张独立的表，Projection 物化的数据就保存在原表的分区目录中，支持明细数据的普通Projection和预聚合Projection。可以对一张 MergeTree 创建多个 Projection ，当执行 Select 语句的时候，能根据查询范围，自动匹配最优的 Projection 提供查询加速。如果没有命中 Projection,就直接查询底表。
ClickHouse 特性
80后大叔爱学习
10-31 411
特性
Clickhouse projection（物化视图增强版）
u011611051的博客
09-01 1144
clickhouse materialize view的增强版，构建lazy模式的projection，空间换时间，解决物化视图查询可能不一致的问题，构建projection，上层应用无感知，查询会自动匹配最优projection进行计算。 参考：https://mp.weixin.qq.com/s/X5yoBF7ePwdkEIXTpuxubw ...
clickhouse MPPDB数据库--新特性使用示例
penriver的博客
04-04 1266
从clickhouse 22.3至最新的版本24.3.2.23，clickhouse在快速发展中，每个版本都增加了一些新的特性，在数据写入、查询方面都有性能加速。 本文根据[clickhouse blog](https://clickhouse.com/blog)中的clickhouse release blog中，学习并梳理了一些在实际工作中可能用到的新特性。
ClickHouse的Projection特性在快手的应用
努力努力再努力！的博客
09-07 1468
ClickHouse的Projection原理解析 本文是ClickHouse的Projection特性在快手的实际应用 1.ClickHouse在快手OLAP的服务 ClickHouse在快手内部是作为OLAP引擎，提供多集群架构，对于不同业务有不同的集群保障，上层是查询代理层，进行统一的查询管控和接入路由以及统一的监控服务，这样可以把ClickHouse“手动挡”应用模式逐步变成一个可用的服务，提供给用户。同时最底层的数据写入，由于ClickHouse的数据写入需要一些相关的知识，所以把ETL服务抽取
Clickhouse物化视图进阶：Projection
weixin_44378305的博客
06-17 5040
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 ProjectionClickhouse物化视图进阶：Projection概念特点缺陷分类如何选择正确地ProjectionClickhouse物化视图痛点Projection使用通用的机制完备地解决了前述三大问题Projection的一致性保障 Clickhouse物化视图进阶：Projection 概念 Projection概念由C-Store提出，并在Vertica数据库中落地发展(不同于SQL中的Projection运算) Pr
利用投影提升ClickHouse查询性能
neweastsun的专栏
06-19 2536
本文介绍了排序键对查询的作用，并通过示例对比使用projection提升查询性能，最后也提及如何在命令行下查询性能统计信息。参考文档：https://www.tinybird.co/clickhouse/knowledge-base/improve-performance-inverted-index。
ClickHouse投影特性深度解析
Projection是ClickHouse的一个重要新特性，它旨在优化查询性能。Projection允许预计算并存储特定查询模式的中间结果，从而在后续的相似查询中可以直接使用，减少了不必要的计算步骤。这一特性对于提高复杂查询效率，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值