CaptainJava的博客

  如果你需要批量导出hive库中的表结构那么你可以试试 运行以下shell脚本即可将表名导出到tables.txt，建表语句导出到tablesDDL.txt中。 #!/bin/bash hive -e "use huntor_tmp;show tables;" > tables.txt echo sleep start sleep 3 echo sleep end cat...

问题起因：定时执行azkaban任务时报错：WARN security.UserGroupInformation: PriviledgedActionException as:hadoop (auth:SIMPLE) cause:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeMode...

使用场景：  公司大数据平台ETL操作中，在使用sqoop将mysql中的数据抽取到hive中时，由于mysql库中默写字段中会有换行符，导致数据存入hive后，条数增多（每个换行符会多出带有null值得一条数据），导致统计数据不准确。   解决办法： 利用一下两个参数可以实现对换行等特殊字符的替换或者删除 --hive-delims-replacement --hive-drop-i...