Yuhang.Pei 's blog

监控类工具/视图 ：Zabbix promtheus Grafana Loki 等对于ClickHouse 监控 ，原理上大同小异 ：监控工具 prom 定时监控一些系统参数, 展示到Grafana 可视化界面。而Grafana 与 Zabbix 自身也可修改Source源，通过SQL监控一些数据库参数。本文介绍： Grafana 的使用 ，以ClickHouse Source 为例官网：https://grafana.com安装就先不介绍了，博客都有。...

最近k8s热度很高，于是调研一下clickhouse on k8s 的相关资料，并总结如下：情景一：用 ClickHouse 记录 K8S 产生的 集群日志。 1. 为什么不用es : es上手难度高，故障排查困难，维护索引和映射麻烦，性能不高. es优势 ：固定文本结构与格式、日志处理、分析不需要全文索引。 个人认为 ：es 处理日志，文本，模糊查询之类的优势还是很大的。 ...

1、日期类函数1.1 时间或日期截取函数（to）—— 返回非日期函数 用途 举例 结果 toYear() 取日期或时间日期的年份 toYear(toDateTime(‘2018-12-11 11:12:13’)) toYear(toDate(‘2018-12-11’)) 返回 2018 返回 2018 toMonth() 取日期或时间日期的月份 toMonth(toDateTime(‘2018-12-11 11:12:13’)) toMonth

当前环境：clickhouse 19.15.1.1 （19年的老版本ch ，还未更新过）kettle 8.1.0.0-365 (因为8.1对parquet 支持较好，所以选了这个版本)当前问题：kettle -8 目前提供的JDBC 没有clickhouse。 需要自己手写插件，集成到kettle 系统。前期准备：搜到过类似新增JDBC的文章，包括：官网提供的自定义连接的方法 和 神通数据库的案例。官网提示地址：https://help.pentaho.com/Documen...

最新部署了一套新的测试集群，更改config.xml 的<listen_host>::</listen_host>监听所有ip 的访问时，遇到配置无效。server restart return UNKNOW .或者server 启动后自动断开查看/var/log/clickhouse-server/*发现问题/9000端口被占用了<Error> Application: DB::Exception: Listen [::]:9000 faile...

ClickHouse 自带MYSQL引擎，KAFKA引擎，JDBC等尝试clickhouse查询mysql/oracle/sql server数据，此处应用到JDBC 疫情。使用JDBC引擎，需安装第三方插件clickhouse-jdbc-bridge。目前clickhouse-server 还未集成该功能（后面可能会有此处优化）。因此需自主下载插件，安装到server 环境中clickhouse-jdbc-bridge github地址 ：https://github.com/Click...

ls-alh 显示文件大小du -sh * 显示当前目录下的文件大小scp发送文件： scp ./a.xml dev_big@172.16.20.47:/home/dev_big/a.xmlwc -l 查看总行数tail -n 200 查看最后200行tail -100 |grep error 查看最后200行errorsed -n '7197000,7197500p' clickhouse-server.err.log 查看指定行区间内容top 实时cpu memfree.

一.配置本地ODBC 1.下载clickhouse ODBC 源 ，安装至本机 地址： https://github.com/ClickHouse/clickhouse-odbc/releases/download/v1.1.7.20200414/clickhouse-odbc-1.1.7-win64.msi 2.打开开始菜单，搜索ODBC配置数据源3.添加本地clickhouse ODBC driver4.按要求填写 host,port,name,datab...

join：1.Alter table mt drop partition '' 可删除本地分区 集群表的分区需要依次删本地表alter table dwd_dms_msg_detial_di drop partition ('201912','20191226')2.join 减少列，临时表不能起别名，只能更改字段名 避免冲突模糊不清3.普通join数据发到远程服务器形成右表 gl...

1.重命名 rename table t1 to t22. SQL row() number 问题 因为clickhouse不支持开窗函数，特此写一个复杂sql 代替该函数的功能 select uid, value, row_number from( select uid, groupArray(value) as value_list, arrayEnumerate...

1. clickhouse-jdbc 使用 google 的 cityhash128 算法实现，可SELECT cityHash128(*) 查看2.python 连接 from clickhouse_driver import Client client = Client(host='127.0.0.1', database='ads', user='default', ...

之前看过ck中文社区，看到了很多莫名其妙的Exception 但并没有解答。自己测试集群小量数据抽取也没有遇到这些问题。果不其然，生产集群部署都跳了一遍新增相关配置：网上找的，与我原本的配置的一些不同点<receive_timeout>800</receive_timeout> <send_timeout>800</send_time...

clickhouse时间时区问题，配置文件：clickhouse.config.xml配置标签：<timezone>Asia/Shanghai</timezone>机器系统时间：date 、 timedatectl问题描述：业务接口实时插入数据（包含当前时间字段），但插入后显示时间为纽约时间、莫斯科时间等可能原因：1.建表时，元数据默认机器或莫斯科...

Join 语句问题SELECT <expr_list>FROM <left_subquery>[GLOBAL] [ANY|ALL] INNER|LEFT|RIGHT|FULL|CROSS [OUTER] JOIN <right_subquery>(ON <expr_list>)|(USING <column_list>) .....

clickhouse 更多应用在 查询select 和写入insert 上。 提供部分更新操作，但相比其他各大数据库的更新操作来说，效果已经很好了，下面来详细介绍一下 更新这一块。更新：1.update 及 delete 可以借用 alter table 进行单机表少量数据操作，（提示：truncate table 大量数据会造成卡顿，若在未完全清理情况下 ctrl+c 强行退...

业务场景：存在实时数据，需要更新当前情况：单机表可以实现 增删改查操作。但是集群表不行，特此引入ReplacingMergeTree引擎，实施ch后台自动去重操作特别提示：该引擎不能完全依赖去做去重，可能因为merge合并及诸多原因，存在极少量去重失败情况实际部署：本地表：ReplacingMergeTree(【ver】) PARTITION BY day PRIMARY KE...