大数据
关注
分享
扫一扫
林的BLOG
编著《Hive性能调优实战》。
长期从事与互联网大数据一行的开发，历经基于关系型数据仓库，数据平台和数据中台的构建，以及基于现有当下的数据技术构建的离线数据仓库，实时数据仓库，数据中台构建过程。在离线数据平台，实时数据平台，数据中台有长期的钻研和沉淀。
主要技术栈：
大数据以及数据仓库技术栈：Spark,Hive,Presto,ClickHouse,Flume,Kafka,NiFi，离线数仓建模，实时数据仓。
平台和工具技术栈：WINFORM，ASP.NET，Java Web，SpringBoot，MySql，Oracle，Docker，Git，HTML/CSS，JavaScript，flas
展开
-
clickhouse小工具&小技巧收集汇总
0x01. 排查clickhouse问题找到问题发生的时间点，可以对照grafana中的资源监控来看时间点找/var/log/clickhouse-server/clickhouse-server[-err].log对应时间点的日志查看system.query_log/processes具体的一些动作，定位问题0x02. 琐碎的小技巧和系统表改名rename table ods_data.single_point_log_2 to ods_data.single_point_log on原创 2020-12-25 21:45:50 · 572 阅读 · 0 评论 -
使用clickhouse搭建2分片2副本的4节点集群
0x1 环境说明本人使用的环境debian9（ubuntu18类似),clickhouse的安装遵循官网的做法，本文不赘述。clickhouse的版本20.0.7.*以上zookeeper版本3.4.9及以上（clickhouse文档要求）0x2 环境配置搭建分布式集群需要zookeeper,zookeeper的安装请自行解决1. clickhouse中zookeeper配置/etc/clickhouse-server/config.xml中确保存在这样的配置，默认情况下，装完click原创 2020-12-25 21:13:06 · 1407 阅读 · 0 评论