sqoop数据抽取数据库密码加密

#创建
hadoop credential create mysql.cock.passwd -provider jceks://hdfs/user/password/mysql.cock.passwd
#删除
hadoop credential delete mysql.cock.passwd -provider jceks://hdfs/user/password/mysql.cock.passwd

 

#示例数据库连接

hadoop, jdbc:mysql://172.16.2.103:3306/cock, mysql.cock.passwd, jceks://hdfs/user/password/mysql.cock.passwd

登入名               数据库地址+库名                                     密码别名                                                   密码文件地址

 

 

示例：

 

  jceks_path=jceks://hdfs/user/password/mysql.cock.passwd

  url= jdbc:mysql://172.16.2.103:3306/cock

  uid=hadoop

 

 

sqoop import 

  -Dhadoop.security.credential.provider.path=${jceks_path}   

  --connect ${url}

  --username ${uid}

  --password-alias   ${pwd}   

  --hive-import

  --hive-overwrite

  --hive-database ${hive_datebase}

  --hive-table ${hive_table}

  --fields-terminated-by 'x01'

  --lines-terminated-by ' '

  --null-string '\N'   

  --null-non-string '\N'   

  --hive-delims-replacement ' '

  --compress

  --compression-codec org.apache.hadoop.io.compress.SnappyCodec

  --hive-partition-key $hive_partition_key 

  --hive-partition-value  ${etl_time} 

  --target-dir /user/hdfs/${hive_table} 

  --query  "select ${columns} from ${tableName}  where $CONDITIONS" 

  --split-by id 

  -m ${parallel_count}