Jack_Roy的博客

【pyspark】hive推数程序（至Hbase）前言效果pyspark脚本Submit脚本后记前言首先要说明博主这里的hive与Hbase是在物理隔离的两个集群里，如果是同一个集群环境的话，理论上运行速度是会更快的。采用Shell+Python编写的spark程序，client模式下，输出做了高亮处理，让运行过程更直观（cluster模式需要对输出进行微调，不然会找不到相关类的错误，这是由于lib包的问题导致的）。效果正常运行效果：异常运行效果：pyspark脚本我们直接上脚本（需要改z

【Hbase数据迁移】使用hbase org.apache.hadoop.hbase.mapreduce.Export 实现跨集群数据迁移描述数据导出数据导入后记描述工作中，有时会碰到进行两个物理隔离的Hbase集群间数据迁移的需求，如果Hbase表足够大，那么走网络迁移路线无疑是很慢的，这种情况下走物理线路是最快选择，我们可以将生产库的表导成文本，再将这些文本移至目标库上，再执行导入命令即可。数据导出需要注意的是，该命令一定要在运行了Hbash节点实例的服务器上执行：#!/bin/bash#