lwb314的专栏

Spark Structured Streaming

方式很多，我使用的是Export与Import感觉还挺好用的，我使用的场景有几种，以下会分别说明：我的需求是将老集群数据迁移到新集群，但是有两种情况：1.两个集群网络能够联通；2.两个集群网络不能联通。先说能联通的情况及遇到的问题：root登陆集群1.执行以下命令，我的前提是我执行hbase shell是可以正常执行的。hbase org.apache.hadoop.hbase.mapreduce...

最近要把项目从HDP2.4.0 升级到HDP3.0.1 其中各种坑，这里记录一下. 先列一下主要用到的技术与版本 老环境 HDP-2.4.0 HADOOP 2.7.1.2.4 HBase 1.1.2.2.4 Storm 0.10.0.2.4 ZooKeeper 3.4.6.2.4 Kafka 0.9.0.2.4 新环境 HDP-3.0.1 HADOOP 3.1.1 HBase ...