CaptainJava的博客

 如果你需要批量导出hive库中的表结构那么你可以试试运行以下shell脚本即可将表名导出到tables.txt，建表语句导出到tablesDDL.txt中。#!/bin/bashhive -e "use huntor_tmp;show tables;" > tables.txtecho sleep startsleep 3echo sleep endcat...

问题起因：定时执行azkaban任务时报错：WARN security.UserGroupInformation: PriviledgedActionException as:hadoop (auth:SIMPLE) cause:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeMode...

使用场景： 公司大数据平台ETL操作中，在使用sqoop将mysql中的数据抽取到hive中时，由于mysql库中默写字段中会有换行符，导致数据存入hive后，条数增多（每个换行符会多出带有null值得一条数据），导致统计数据不准确。 解决办法：利用一下两个参数可以实现对换行等特殊字符的替换或者删除--hive-delims-replacement --hive-drop-i...