数据中台
关注
分享
扫一扫
林的BLOG
编著《Hive性能调优实战》。
长期从事与互联网大数据一行的开发，历经基于关系型数据仓库，数据平台和数据中台的构建，以及基于现有当下的数据技术构建的离线数据仓库，实时数据仓库，数据中台构建过程。在离线数据平台，实时数据平台，数据中台有长期的钻研和沉淀。
主要技术栈：
大数据以及数据仓库技术栈：Spark,Hive,Presto,ClickHouse,Flume,Kafka,NiFi，离线数仓建模，实时数据仓。
平台和工具技术栈：WINFORM，ASP.NET，Java Web，SpringBoot，MySql，Oracle，Docker，Git，HTML/CSS，JavaScript，flas
展开
-
clickhouse小工具&小技巧收集汇总
0x01. 排查clickhouse问题找到问题发生的时间点，可以对照grafana中的资源监控来看时间点找/var/log/clickhouse-server/clickhouse-server[-err].log对应时间点的日志查看system.query_log/processes具体的一些动作，定位问题0x02. 琐碎的小技巧和系统表改名rename table ods_data.single_point_log_2 to ods_data.single_point_log on原创 2020-12-25 21:45:50 · 572 阅读 · 0 评论 -
使用clickhouse搭建2分片2副本的4节点集群
0x1 环境说明本人使用的环境debian9（ubuntu18类似),clickhouse的安装遵循官网的做法，本文不赘述。clickhouse的版本20.0.7.*以上zookeeper版本3.4.9及以上（clickhouse文档要求）0x2 环境配置搭建分布式集群需要zookeeper,zookeeper的安装请自行解决1. clickhouse中zookeeper配置/etc/clickhouse-server/config.xml中确保存在这样的配置，默认情况下，装完click原创 2020-12-25 21:13:06 · 1407 阅读 · 0 评论 -
数据开发协作与埋点管理系统
埋点管理系统与埋点地图在介绍埋点管理系统之前，我们来回顾下，之前的埋点工作是怎么做的。从开发协作演化反思埋点管理协作流程0.1版本：上图是刚成立之初，在人员紧缺，数据开发的工程环境几乎为0的情况下，整个团队的协作流程：产品经理输出功能需求和数据需求 业务开发和数据开发分别承接对应的功能需求和数据需求的开发 数据需求和业务开发的需求是没法同步进行的，需要等待业务开发完，确认了最终的数据格式和数据标准，并且已经正常生产数据时，才开始介入开发。所以需要频繁去确认业务开发功能是否开发完毕原创 2020-09-20 01:11:26 · 933 阅读 · 0 评论