
从零搭建离线大数据平台
文章平均质量分 94
第二次搭建测试集群了,过程中发现之前写的笔记太过简陋,导致搭建过程中还需要思考,浪费了挺多时间的,开个专栏记录搭建过程,做到只需 CV 就可完美搭建集群,拒绝无意义重复思考,集中精力做有价值的事情。
大数据坚为
数据创造价值,每天进步一点点~
展开
-
基于Seatunnel连通Hive数仓和ClickHouse的实战
背景 目前公司的分析数据基本存储在 Hive 数仓中,使用 Presto 完成 OLAP 分析,但是随着业务实时性增强,对查询性能的要求不断升高,同时许多数据应用产生,比如对接 BI 进行分析等,Presto不能满足需求,在这个阶段我们引入了ClickHouse,用来建设性能更强悍,响应时间更短的数据分析平台,以满足实时性要求,但如何连通 Hive 数仓和ClickHouse呢? 没错,当然是 Seatunnel 啦! 01 环境准备 官方推荐的 seatunnel1.5.7+spark2.4.8+sc原创 2022-01-19 19:44:38 · 3842 阅读 · 0 评论 -
Atlas2.1.0实战:安装、配置、导入hive元数据、编译排坑
2022-01-12T09:31:21,610 INFO [main] org.apache.hadoop.hive.conf.HiveConf - Found configuration file file:/u/module/hive/conf/hive-site.xml Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/mapred/JobConf at org.apache.hadoop.hiv原创 2022-01-18 15:52:43 · 3145 阅读 · 2 评论