【clickhouse】clickhouse_sinker 是一个将 kafka 消息传输到ClickHouse的 sinker 程序

九师兄

已于 2023-02-14 20:46:41 修改

阅读量1k

点赞数

分类专栏： 2025最新-clickhouse 文章标签： clickhouse kafka 分布式

于 2023-02-14 20:45:58 首次发布

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/125720050

版权

2025最新-clickhouse 专栏收录该内容

139 篇文章 ¥19.90 ¥99.00

订阅专栏

clickhouse_sinker是一个用于将Kafka消息高效传输到ClickHouse的工具，支持多种Kafka客户端和安全机制，具备容错与负载均衡能力。它允许通过配置文件轻松部署，且能处理多种数据类型，包括JSON和CSV。在基准测试中，展示了良好的性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

1.概述
2.特征
3.支持的数据类型
4.基准

5LuK5aSp6Z2Z6Z2Z5oOF5Lq66IqC5ZKM5aWz5pyL5Y+L5LiA6LW35ZCD5ZGo5a625aSn6Zmi77yM5LuW5Lus5pyN5Yqh5LiN5aW9LOWKoOWFpem7keWQjeWNlQ==

1.概述

官网：https://housepower.github.io/clickhouse_sinker/dev/introduction.html#features

github: https://github.com/housepo

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九师兄

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

【Clickhouse】基于TCP的一个clickhouse写入软件clickhouse_sinker性能测试

九师兄

02-16

966

在这个里面有一些测试性能报告，但是和我们的没有对比，因此我想根据我们的数据和表结构进行测试一下。我们的是日志数据，表结构有500多个字段，然后我们的数据大概是100到150个字段的写入，字段并不是都有值。每条数据大小在 1.2k到2k之间。

【clickhouse】clickhouse kafka 引擎常见问题

九师兄

02-09

2549

1.概述首先看看 kafka clickhouse 引擎相关内容。翻译：https://altinity.com/blog/clickhouse-kafka-engine-faq Kafka是一种将数据流式传输到ClickHouse的流行方法。ClickHouse为此提供了一个内置连接器-Kafka引擎。我们来自Cloudfare的朋友最初将此引擎贡献给ClickHouse。自那时以来，Kafka引擎已经进行了大量的重新设计，现在由Altinity开发人员进行维护。但是，并不总是很清楚如何以最有效的方式

参与评论您还未登录，请先登录后发表或查看评论

ClickHouse Sinker: 实现从Kafka到ClickHouse的数据流

gitblog_00937的博客

08-16

925

ClickHouse Sinker: 实现从Kafka到ClickHouse的数据流项目地址:https://gitcode.com/gh_mirrors/cl/clickhouse_sinker 项目介绍 ClickHouse Sinker 是一款高效的数据导入工具，专为将数据从Kafka传输至ClickHouse而设计。它利用原生的ClickHouse客户端-服务器TCP协议，相较于HTTP...

探秘数据流转新星：clickhouse_sinker - 开启大数据高效入仓之旅

gitblog_00573的博客

08-18

469

探秘数据流转新星：clickhouse_sinker - 开启大数据高效入仓之旅 clickhouse_sinkerEasily load data from kafka to ClickHouse项目地址:https://gitcode.com/gh_mirrors/cl/clickhouse_sinker 在这个数据洪流的时代，如何高效处理和存储海量数据成为企业技术栈中的关键挑战。今天，我...

ClickHouse Sinker 项目教程

gitblog_00292的博客

08-18

415

ClickHouse Sinker 项目教程 clickhouse_sinkerEasily load data from kafka to ClickHouse项目地址:https://gitcode.com/gh_mirrors/cl/clickhouse_sinker 目录结构及介绍 ClickHouse Sinker 是一个用于将 Kafka 消息传输到 ClickHouse 的工具。...

推荐项目：ClickHouse Sinker - 实时数据入库存储利器

gitblog_00044的博客

04-18

476

clickhouse_sinker

10-26

clickhouse_sinker是一个用于将数据从各种数据源同步到ClickHouse数据库的工具。它以高性能、高可扩展性和易于配置而闻名。 clickhouse_sinker支持从多种主要数据源中读取数据，例如MySQL、PostgreSQL、Kafka、...

ClickHouse的kafka验证配置

ws271的博客

01-29

2680

ClickHouse的kafka验证配置问题描述： ClickHouse创建kafka引擎进行消费，如果kafka有验证，如何配置？解决方案：比如kafka使用了sasl_plaintext验证，在ClickHouse建立kafka引擎之前，需要在config.xml内加上验证配置 <kafka> <security_protocol>sasl_plaintext</security_protocol> <sasl_mechan

clickhouse sinker

08-24

ClickHouse Sinker是一个开源工具，它主要用于将数据从外部数据源如Kafka、Fluentd等日志系统实时流式地同步到ClickHouse数据库中。ClickHouse是一种列式数据库，特别适合处理大量实时数据并提供高速查询性能。...

技术流 | ClickHouse工具ckman v3.1.3 & sinker v3.1.8 版本发布

边逛边看边学习

06-13

610

ckman和clickhouse_sinker分别带来了全新的版本。让我们一起来看看，新版本都有哪些新特性吧！

clickhouse--kafka引擎接入同步表.docx

12-26

Clickhouse—kafka引擎接入到同步表同样可同步，等同于直接插入同步表,说明只要同步表有变化久同步，和具体变化源没关系，merger系列引擎对外没有区别，可互相转化

基于云原生架构的ckman和clickhouse-sinker应用实战

智能运维及数据中台探索

05-26

1636

ckman使用go作为开发语言，go程序有非常好的跨平台运行的能力，编译后生成的是可一键运行的可执行文件，同时执行效率和垃圾回收机制是公认当前云原生开发的事实标准语言，强大的kubernetes编排工具就是使用go语言开发的。以下是一个ckman应用通过kubernetes部署的全过程。

【自定义Source、Sink】Flink自定义Source、Sink对ClickHouse进行读和批量写操作_flink 读取clickhouse

2401_84183492的博客

04-12

947

使用 Flink-jdbc-connector + 批量写入 + sql语句的预编译写入 Clickhouse。* @param object: clickhouse表PO对象的属性字段所对应的数据类型。* 1. getDeclaredFields()：获取所有的字段，不会获取父类的字段。* 2. getFields(): 只能会public字段，获取包含父类的字段。(img-HY3Fe3hD-1712872556520)]* @param fields: clickhouse表PO对象的属性字段。

Flink动态ClickhouseSink+自动建表

javaMylife的博客

07-04

1809

通过自定义注解的形式，对JdbcSink进行封装，支持自动建表、自动拼接insert语句

ClickHouse Sinker 项目常见问题解决方案