Clickhouse数据写入机制

Clickhouse支持异步数据插入,通过async_insert参数控制。当数据达到async_insert_max_data_size,或者经过async_insert_busy_timeout_ms时间,或者达到async_insert_max_query_number次插入时,内存中的数据会被刷写到磁盘。异步插入可以减少频繁的小批量写入,但数据在写入磁盘后才对客户端可见。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Clickhouse数据写入机制

Clickhouse数据写入方式

clickhouse数据写入方式由async_insert 和 wait_for_async_insert 两个参数控制

async_insert 作用于服务端

  • async_insert 默认为0,表示同步插入数据,每次插入数据都会在服务端生成一个分区目录(part),如图1所示

  • async_insert = 1,表示异步插入数据,服务端会攒够一定数据量的数据才会生成一个分区目录,并把数据写入分区目录(part)如图2所示,注意:这部分数据只有在数据写入分区目录之后才会被客户端查询到,
    在这里插入图片描述

图1

wait_for_async_insert作用于客户端

  • wait_for_async_insert 默认为1 ,等服务端把数据写入分区目录之后,才认为本次数据写入成功,如图2
  • wait_for_async_insert = 0,数据传输到服务端之后,不等服务端把数据写入分区目录,立即返回成功,如图3

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值