【Clickhouse】基于TCP的一个clickhouse写入软件clickhouse_sinker性能测试

九师兄

已于 2023-02-16 20:39:11 修改

阅读量974

点赞数

CC 4.0 BY-SA版权

分类专栏： 2025最新-clickhouse 文章标签： clickhouse tcp/ip kafka

于 2023-02-16 20:38:07 首次发布

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/125720626

2025最新-clickhouse 专栏收录该内容

139 篇文章 ¥19.90 ¥99.00

订阅专栏

本文介绍了基于TCP的clickhouse_sinker软件在将Kafka消息写入ClickHouse时的性能测试。针对拥有500多个字段的日志数据，每条数据1.2k到2k大小，测试结果显示每秒写入7千条，相较于自写程序的2000多条，性能显著提升。文章涵盖安装步骤及Nacos运行配置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述

神秘代码：写博客不容易，求大佬们支持一下，越支持写的越多，写的越好。

5Lmd5biI5YWE5ZSv5LiA5Y6f5
Yib5paH56ug77yM56aB5q2i6L2
s6L29LOmSiemSiToxNTA1NzE3
MDA1OSzllpzmrKLop6PlhrPpl67
popjvvIzlj6/ku6XlhY3otLnpl67pl
67popg=

1.概述

首先参考官网的测试：【clickhouse】clickhouse_sinker 是一个将 kafka 消息传输到ClickHouse的 sinker 程序在这个里面有一些测试性能报告，但是和我们的没有对比，因此我想根据我们的数据和表结构进行测试一下

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九师兄

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

【clickhouse】clickhouse_sinker 是一个将 kafka 消息传输到ClickHouse的 sinker 程序

九师兄

02-14

1043

github:clickhouse_sinker 是一个将 kafka 消息传输到ClickHouse的 sinker 程序（打开新窗口）.指的是如何工作的设计。

【clickhouse】clickhouse 如何实现tcp方式发送数据

九师兄

02-01

1901

添加链接描述clickhouse 是一个查询非常快的数据库，但是写入需要注意不要高频低量写入这样非常慢还可能会引发 too parts many ……………… 之内错误。在实际应用中需要把数据先攒起来，到了一定的量了才写入。不过这样稍微麻烦些，有么有实时任意量写入的办法，又不引发 too parts many错误呢？有的，不过只能使用tcp客户端，流试写入这种写入速度非常快，本人在云服务器上测试1000w 基本12s左右能就能写完。可以参考one-ck。

参与评论您还未登录，请先登录后发表或查看评论

clickhouse单机读写性能测试（附带运行截图）

Aiky哇

11-16

4977

使用版本 20.10.3.30 云主机配置数据及操作来源 https://clickhouse.tech/docs/zh/getting-started/example-datasets/star-schema/ 表类型及数据量表名表结构表定义语句表数据量 customer CREATE TABLE customer\ (\ C_CUSTKEY UInt32,\ C..

【亲测免费】 ClickHouse Sinker: 实现从Kafka到ClickHouse的数据流

gitblog_00937的博客

08-16

968

ClickHouse Sinker: 实现从Kafka到ClickHouse的数据流项目介绍 ClickHouse Sinker 是一款高效的数据导入工具，专为将数据从Kafka传输至ClickHouse而设计。它利用原生的ClickHouse客户端-服务器TCP协议，相较于HTTP协议具有更高的性能。此项目简化了数据迁移过程，无需复杂的编码工作，只需关注配置即可轻松集成，使得大数据量从消息队列...

ClickHouse性能测试

热门推荐

AI天才研究院

01-31

1万+

近年来，ClickHouse发展势头迅猛，社区、大厂纷纷跟进使用。面对万亿级的数据查询分析也能做到亚秒级响应。那么，ClickHouse 到底是何方神圣？为什么如此受青睐？各位看官，欲知 ClickHouse 为何方神圣，且往下看。本章我们先来了解什么是ClickHouse，内容包括ClickHouse是什么，它具有哪些特性，适用哪些应用场景等。1.1 ClickHouse 概述本节介绍 ClickHouse 是什么、发展历程，以及ClickHouse在 OLAP 生态中的位置。同时，简单介绍了 OLAP

clickhouse sinker

08-24

ClickHouse Sinker是一个开源工具，它主要用于将数据从外部数据源如Kafka、Fluentd等日志系统实时流式地同步到ClickHouse数据库中。ClickHouse是一种列式数据库，特别适合处理大量实时数据并提供高速查询性能。...

ClickHouse 性能测试

ClickHouseDB的博客

06-26

1136

例如，当我们发现一个竞争数据库引擎使用 sum 聚合函数完成查询的速度是我们的两倍时，我们测试了几十种 sum 的实现，最终找到了性能最佳的（参见关于此的演讲，俄语）。软件是一个不断变化的有机体，而 ClickHouse 的变化速度非常快——为了解释这一规模，仅在 2021 年 7 月，我们就合并了由 60 位不同作者提交的 319 个拉取请求（实时统计数据在这里）。这个测试有更多的失败模式，而不仅仅是功能测试，更糟糕的是，这些失败有些是定量的，而不是二元的。最近的一次是我们提到的 PR 带来的加速。

ClickHouse.jl：ClickHouse TCP本机协议的Julia Lang客户端

02-04

ClickHouse.jl：ClickHouse TCP本机协议的Julia Lang客户端

Clickhouse（20.4.2.9） SSB性能测试

聂雄超的博客

02-24

1788

SSB（Star Schema Benchmark）是麻省州立大学波士顿校区的研究人员定义的基于现实商业应用的数据模型，业界公认用来模拟决策支持类应用，比较公正和中立。

探秘数据流转新星：clickhouse_sinker - 开启大数据高效入仓之旅

gitblog_00573的博客

08-18

484

探秘数据流转新星：clickhouse_sinker - 开启大数据高效入仓之旅在这个数据洪流的时代，如何高效处理和存储海量数据成为企业技术栈中的关键挑战。今天，我们带来了一个亮眼的解决方案 —— clickhouse_sinker，一个专为加速数据从Kafka到ClickHouse迁移而设计的开源项目。让我们一探究竟，看看它如何在技术舞台中熠熠生辉。项目介绍 clickhouse_sinke...

clickhouse 性能简单测试

雨花石

11-18

944

clickhouse 单机性能测试。

ClickHouse性能测试方案

swpmvp的专栏

08-12

559

确定测试目标和需求：准备测试环境：准备测试数据：设计测试场景：执行性能测试：监控和分析性能指标：优化和调优：多次测试和验证：性能测试报告和总结：

推荐项目：ClickHouse Sinker - 实时数据入库存储利器

gitblog_00044的博客

04-18

497

ClickHouse Sinker 项目教程

gitblog_00292的博客

08-18

425

ClickHouse Sinker 项目教程目录结构及介绍 ClickHouse Sinker 是一个用于将 Kafka 消息传输到 ClickHouse 的工具。以下是项目的目录结构及其介绍： clickhouse_sinker/ ├── cmd/ │ └── kafka_gen_log/ ├── config/ ├── docs/ ├── pkg/ │ ├── clickhouse/...

clickhouse HA 及性能测试

humanity11的博客

02-17

4721

目录需求说明逻辑架构图物体架构图测试性能测试指标说明： sql语句准备环境准备测试结论报告（1） HA测试，停止某台服务，对外服务是否正常访问（2）spark 以(5/10/20/40)个并发模拟写数据时，读性能(读50/100/150并发）测试 2.1 写并发测试 2.2 qps并发性能测试 （3）租户划分使用场景（4）缓存结论需求说明针对clickhouse作为生产环境的底层数据存储，为了能保证生产环境服务稳定可用，做如下性能测试： ..

学习(mianshi)必备-ClickHouse高性能查询/写入和常见注意事项(五)

点滴记忆，分享成长之路

02-25

2368

全称 Log-Structured Merge-Tree 日志结构合并树，但不是树，而是利用磁盘顺序读写能力，实现一个多层读写的存储结构是一种分层，有序，面向磁盘的数据结构，核心思想是利用了磁盘批量的顺序写要远比随机写性能高出很多大大提升了数据的写入能力，但会牺牲部分读取性能为代价HBase、LevelDB、ClickHouse这些NoSQL存储都是采用的类LSM树结构在 NoSQL 系统里非常常见，基本已经成为必选方案, 为了解决快速读写的问题去设计的可以分两个部分理解。