clickhouse关于大小表关联的问题

最新推荐文章于 2024-07-16 11:41:36 发布
原创 最新推荐文章于 2024-07-16 11:41:36 发布 · 5.4k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了数据库中大小表关联的优化策略，指出小表置于JOIN操作右侧可减少内存消耗，适用于多并行任务场景，提供了具体案例进行说明。

关于大小表关联问题，一般情况小表放在join右边消耗内存会比较小（一般比较多并行任务建议使用这种方式），放在join左边消耗内存会比较大，下图是大小表管理案例：

1、小表在后（join右边）

2、小表在前（join左边）

yipiantian
关注
Clickhouse表连接
我是坏人哦
12-03 6272
背景 datas表是原始数据表，现在要对datas表中的app类型进行分析。于是需要建立一张app名称与app类型关系表，对两张表进行连接查询。 方案一 简单粗暴，直接建立关联表，直接进行join关联。 --建立关联表 create table app_type_mapping( `m_app` String, `m_type` String )ENGINE = TinyLog --插入数据 insert into app_type_mapping values('app...
ClickHouse之单表多表查询优化
致力于不留技术债务cuizb.top
12-18 3791
1 本文简介 2 单表查询优化 1 Prewhere 替代 where 2 数据采样 3 指定select字段查询与分区裁剪 4 orderby结合 where、limit 5 避免构建虚拟列 6 uniqCombined 替代 distinct 7 使用物化视图 8 其他注意事项 (1)查询熔断 (2)关闭虚拟内存 (3)配置 join_use_nulls (4)批量写入时先排序 (5)关注 CPU 3 多表查询优化 1 准备表和数据 2 用 IN 代替 JOIN（强烈建议） 3 大小表 JOIN 4 注
ClickHouse查询分布式表LEFT JOIN改RIGHT JOIN的大坑
FaN()
08-29 9192
ClickHouse查询分布式表LEFT JOIN改RIGHT JOIN的大坑 由一个慢查询衍生出的问题 我们线上有一个ClickHouse集群, 总共6个服务器, 配置均为16C 64G SSD, 集群配置为三分片两副本 有两个表这里称为small_table和big_table. 都是ReplicatedMergeTree引擎(三个分片两个副本). small_table有79w数据, big_table有5亿数据(数据在之后的示例中没有任何变化), 在下文中small_table和big_table都
【数据库】优化处理效率——关联表法
hyj
10-13 1447
关联表法分析表数据
Clickhouse优化详解
空城的博客
05-24 2485
索引列必须执行，Clickhouse中的索引列即排序列，通过order by执行，一般在查询条件中经常被用来充当筛选条件的属性被纳入进来，可以是单一的维度，也可以是组合维度的索引，通常是高级列在前、查询频率较大的列在前的原则，筛选后的数据满足在百万以内最佳。批量写入数据时，必须控制每个批次的数据中涉及到的分区的数量，在写入之前最好对需要导入的数据进行排序，无序的数数据或者涉及到的分区太多，会导致Clickhouse无法及时对新导入的数据进行合并，从而影响查询性能。
clickhouse优化-小表在右
xtsheng123456的博客
07-16 394
clickhouse优化-小表在右
【Clickhouse系列】clickhouse中的join
优快云站内信: https://i.youkuaiyun.com/#/msg/chat/qyj19920704
02-24 2597
clickhouse中的join ClickHouse JOIN查询语法如下： SELECT <expr_list>FROM <left_table>[GLOBAL] [INNER|LEFT|RIGHT|FULL|CROSS] [OUTER|SEMI|ANTI|ANY|ASOF] JOIN <right_table>(ON <expr_list>)|(USING <column_list>) ... 从right_table 读取该表全量数据，
ClickHouse MergeTree副本表和分布式表（切片）
haveanybody的博客
04-13 3424
在前面的文章中我们详细介绍了 MergeTree 表引擎、MergeTree 家族其他表引擎、MergeTree 二级索引等内容，clickhouse数据库都是在单节点上运行的，作为OLAP处理的大数据利器，clickhouse 显然少了两个功能——数据高可用（HA）和横向扩展。HA的目的是为了如果有一个数据副本丢失或者损坏不至于完全丢失数据，至于横向扩展自然是为了提高数据存储能力了。 1. MergeTree副本表 ClickHouse MergeTree 副本表的数据一致性同步是通过Zookeeper实
clickHouse相关知识详解
weixin_41821642的博客
03-17 2672
clickHouse相关知识详解clickHouse介绍大数据技术背景什么是clickHouse合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 clickHouse介绍 大数据技术背景 2006年开源项目Hadoop的出现，标志着大数据技术
clickhouse 重命名表_基于Flink+ClickHouse打造轻量级点击流实时数仓
weixin_30599809的博客
02-01 1336
Flink 和 ClickHouse 分别是实时计算和（近实时）OLAP 领域的翘楚，也是近些年非常火爆的开源框架，很多大厂都在将两者结合使用来构建各种用途的实时平台，效果很好。关于两者的优点就不再赘述，本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。点击流及其维度建模所谓点击流（click stream），就是指用户访问网站、App 等 Web 前端时在后端留下的轨迹数据，也是流量分析...
Clickhouse常用系统表概览
三思的博客
03-02 3075
文章目录一、常用系统表1.1 集群配置相关1、clusters2、macros3、disk4、storage_policies1.2 数据库运行情况概要信息1、metrics、events2、asynchronous_metrics3、metric_log1.3 库表统计信息1、databases2、tables3、columns4、parts5、parts_columns1.4 日志相关1、query_log2、query_thread_log3、trace_log 一、常用系统表 1.1 集群配置相关
如何做大表和大表的关联？
mark_to_win的专栏
05-24 1734
如何做大表和大表的关联？ 对于大表和大表的关联： 1.reducejoin可以解决关联问题，但不完美，有数据倾斜的可能，如前所述。 2.思路：将其中一个大表进行切分，成多个小表再进行关联。 package com; import org.apache.commons.lang.StringUtils; import org.apache.hadoop.io.LongWritable; import...
ClickHouse的join优化
csdncjh的博客
06-04 2966
多表 JOIN 时Clickhouse 性能表现不佳。
大表关联小表hint和explain的使用
大数据、数据仓库、数据治理、数据开发、数据库等相关数据方面经验分享~
01-12 972
spark中大表关联小表hint和explain的使用 1. 问题背景： 在工作中中遇到个问题，那就是一个 大表A left join 一个很小的表 B 查询速度总是很慢， 就想着怎么去优化，于是就查了些资料，得到可以通过 设置 broadcastjoin的方式来优化，但是呢，这种方法很多都是使用scala 的语法去写dataframe的方式实现，但是这太大费周章了，于是找到了hint的方法 2. spark关联方式的知识(broadcast join、shuffle hash join和sort merg
面试宝典-多个表进行连接操作大表在前还是小表在前
qq_34861505的博客
04-27 4770
答案：小表在前。 假设A表200条数据，B表20万条数据。两个做连接操作： 如果小的循环在外层，对于表连接来说就只连接200次 ; 如果大的循环在外层，则需要进行20万次表连接，从而浪费资源，增加消耗 ; 小表驱动大表的主要目的是通过减少表连接创建的次数，加快查询速度 。 ...
mysql关联时候数据量大的表放哪边_sql语句中 用 inner join 连接两张表，大表放在前面比较快还是小表放在前面比较快。...
weixin_35668158的博客
01-19 6592
展开全部小表在前可以提高sql执行效率。62616964757a686964616fe58685e5aeb931333431363661首先将大表放在前面,即如图(tmp2表数据量为40亿，tmp1数据量只有81条)，这样执行时间为3小时21分钟，然后再将小表放在前面，执行速度为10分钟。扩展资料：结构化查询语言包含6个部分：1、数据查询语言(DQL:Data Query Language)：其语...
clickhouse 关联查询_ClickHouse性能提升 SQL使用规范
weixin_34563472的博客
12-29 6700
本文经作者授权，独家转载：作者主页：https://www.jianshu.com/u/8f36a5e63d181. 不要用select *反例：select*fromapp.user_model正例：selectlogin_id,name,sexfromapp.user_model理由：只查询需要的字段可以减少磁盘io和网络io，提升查询性能2.不要在大结果集上构造...
SQL Join连接大小表在前在后的重要性（小表在前提高执行效率）
热门推荐
山山来驰的博客
03-25 1万+
经常看到一些Hive优化的建议中说当小表与大表做关联时，把小表写在前面，这样可以使Hive的关联速度更快，提到的原因都是说因为小表可以先放到内存中，然后大表的每条记录再去内存中检测，最终完成关联查询。这样的原因看似合理，但是仔细推敲，又站不住脚跟。 多小的表算小表？如果所谓的小表在内存中放不下怎么办？我用2个只有几条记录的表做关联查询，这应该算是小表了，在查看reduce的执行日志时依然是有写磁...
在阿里云的ClickHouse云数据库环境中，如何设计表结构和关联查询以提升OLAP性能？
最新发布
11-10
在设计ClickHouse表结构以支持高效关联查询时，需要综合考虑数据模型、索引策略以及查询模式等因素。针对云数据库环境，可利用ClickHouse的分布式特性以及其存储引擎MergeTree的分区和索引优化机制。具体步骤如下： 参考资源链接：[ClickHouse云数据库技术分享：表结构设计与关联查询优化](https://wenku.youkuaiyun.com/doc/43x2pwkaa1?spm=1055.2569.3001.10343) 1. 表结构设计：根据业务需求和查询模式，合理设计表的分区键、排序键和主键。如在处理订单业务时，可按照卖家昵称和下单时间进行分区，订单ID作为排序键和主键，这样可以加速按卖家和时间的查询。 2. 选择合适的存储引擎：对于OLAP场景，MergeTree系列存储引擎是最佳选择，其支持数据的自动分区、索引和压缩，极大提升了查询效率。 3. 索引优化：合理设置索引粒度（index_granularity），可以在查询速度和存储效率之间找到平衡。索引粒度越大，索引占用的空间越小，查询速度可能更快，但精准度降低。 4. 分区策略：合理设置分区键和分区大小，可以将数据切分成较小的片段，便于管理和查询。例如，按照月度分区可以避免单分区过大导致查询慢。 5. 数据类型选择：根据数据特点选择合适的数据类型，可减少存储空间，提高查询效率。例如，对于时间类型，ClickHouse提供了高效的时间戳数据类型。 6. 使用物化视图：对于频繁执行的复杂查询，可以使用物化视图来预计算和存储结果，以减少实时查询的负担。 通过上述策略，可以在阿里云的ClickHouse云数据库环境中设计出既符合业务需求又能够高效执行关联查询的表结构。《ClickHouse云数据库技术分享：表结构设计与关联查询优化》一书中详细介绍了这些策略的实施方法和最佳实践，对于深入理解和掌握ClickHouse中的表结构设计与关联查询优化有着重要的指导作用。 参考资源链接：[ClickHouse云数据库技术分享：表结构设计与关联查询优化](https://wenku.youkuaiyun.com/doc/43x2pwkaa1?spm=1055.2569.3001.10343)
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值