CDH的sqoop2，hue，oozie集成

最新推荐文章于 2025-03-03 10:10:06 发布

wen_cl

最新推荐文章于 2025-03-03 10:10:06 发布

阅读量677

点赞数

分类专栏：随笔文章标签： sqoop hue oozie

本文链接：https://blog.youkuaiyun.com/wcl722109/article/details/100554864

版权

5 篇文章

订阅专栏

压缩所有cdh的jar包
操作： jar cv0f cdh-libs.jar -C /opt/cloudera/parcels/CDH/jars/ .
上传到hdfs
sudo -u hue hadoop fs -put cdh-libs.jar /user/hue/
上传mysql驱动到hdfs
sudo -u hue hdfs dfs -put mysql-connector-java.jar /user/hue/sqoop/
进入hue操作平台，新建root用户。由于本人之前已经把root赋权为supergroup了，具体操作见https://blog.youkuaiyun.com/fenglibing/article/details/82261340；使用root能避免权限问题，所以才在hue中建一个root用户
新建一个workflow，选择action->sqoop;
输入命令：import --connect jdbc:mysql://172.18.135.40/zcloud --username zcloud --password 4rfv%TGB --table zd_customer --direct --hive-import --hive-overwrite --create-hive-table --hive-table default.ZD_CUSTOMER
在下面的文件添加中添加cdh-libs.jar和 mysql-connector-java.jar，以及在右边的settings中的job.xml中添加hive-site.xml文件（千万要添加，不然会看不出来报啥错）
万事俱备，生成后已经可以在hue的table界面看到数据了