sqoop数据抽取 分区表的示例

--分区表

#!/bin/bash

#mysql表名

 tableName=t_sys_file

#字段名

 columns=id,biz_field_name,biz_id,biz_table_name,bucket_name,content_type,created_date,disp_order_no,download_times,file_key,file_size,filename

#hive-database

 hive_datebase=ods

#hive-table

 hive_table=s01_t_sys_file

#partition

 hive_partition_key=etl_time

 #etl_time=`date "+%Y-%m-%d %H:%M:%S"`

 etl_time=`date "+%Y%m%d"`

#m个数

parallel_count=16

 for i in {1..1}

 do

  #redo rmr hdfs

  hadoop fs -rmr /user/hdfs/${hive_table}

  hadoop fs -rmr /user/hdfs/${tableName}

  cfg=`grep -v '^#' /home/gamaxwin/mo9_azkaban/database_set.cfg | grep -i "jianghujiuji_riskdb"`

  uid=`echo $cfg|awk -F, '{print $2}'`

  url=`echo $cfg|awk -F, '{print $3}'`

<