- 博客(5)
- 收藏
- 关注
RSS订阅原创 sqoop从hive导出数据到mysql的三种方式
1、最常见方式sqoop-export –connectjdbc:mysql://localhost:3306/wht –username root –password cloudera –tablewht_test2 –fields-terminated-by ‘\t’ –export-dir /user/hive/warehouse/wht_test1此方式需要考虑到建hive表时的分隔符，如果没指定此方式行不通（个人没测通，如果有大佬测通了可以私信分享我，谢谢）2、方式二sqoop
2021-08-16 12:14:51
11372
3
原创 在腾讯云环境下，dolphinscheduler调度sqoop脚本从mysql写数据到hive表报unKnowHostException和NullPointerException异常处理
在腾讯云环境下，dolphinscheduler海豚调度sqoop脚本可以正常从mysql消费数据到hive表中，但是DS的状态却显示为失败。看DS的运行日志，出现了空指针异常，获取应该的状态失败。查看DS的worker日志，发现DS每次是去连接host:8088获取应用的状态，而腾讯云的httpaddress端口为5004。解决方法：1、在DS的conf中的common.properties配置文件中加入配置resource.manager.httpaddress.port=50042、将每个
2021-07-27 15:55:38
2011
1
原创 mysql数据通过sqoop直接导入hive的指定分区的脚本模板
#!/bin/bash# 定义变量sqoop=/usr/local/service/sqoop/bin/sqoophive=/usr/local/service/hive/bin/hivemysql_db=**mysql_table=**hive_db=**hive_table=**columns="***"# 获取mysql配置文件中的配置source /usr/local/config/mysql.confighost=${host_15}port=${port_15}u
2021-07-27 15:23:47
712
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人