clickhouse 批量插入数据_ClickHouse是如何批量写入的？

最新推荐文章于 2025-04-27 17:51:05 发布

惊奇影像

最新推荐文章于 2025-04-27 17:51:05 发布

阅读量1.3w

点赞数 2

文章标签： clickhouse 批量插入数据

本文链接：https://blog.youkuaiyun.com/weixin_35910783/article/details/112520460

版权

本文深入分析clickhouse-go驱动的源代码，揭示了ClickHouse批量插入数据的实现逻辑。批量写入通过维护本地缓存block，并设置block_size控制缓存大小，当达到阈值时刷新数据到ClickHouse。此特性提高了数据写入的效率，但block_size的设置影响内存使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简介

批量写入又称为bulk write，对于单表插入多条数据的场景，可以减少插入请求数量，提高吞吐量和效率。clickhouse官方Golang驱动clickhouse-go[1]支持该关键特性，但是文档的介绍不是很详细，只有一句：

Bulk write support : begin->prepare->(in loop exec)->commit

并没有详细介绍用法和原理，笔者在开发业务时使用的库是sqlx[2]，sql也支持clickhouse-go驱动。参考了官方样例代码[3]：

...tx, err := connect.Begin()checkErr(err)stmt, err := tx.Prepare("INSERT INTO example (country_code, os_id, browser_id, categories, action_day, action_time) VALUES (?, ?, ?, ?, ?, ?)")checkErr(err)for i := 0; i

我写的bulk write类似上面的代码，但是提交给同事review时，他提出了疑问：stmt.Exec是每次执行都发送写请求到数据库吗？这个问题其实我不敢肯定，官方文档也说得不明确。考虑到严谨性，让自己的PR更有说服力，自己去翻看了相关源代码。

这里需要指出，如果利用编辑器里的代码跳转功能会跳到database/sq

最低0.47元/天解锁文章