Sqoop分批导入Mysql上亿条数据的表到HDFS

最新推荐文章于 2024-03-19 14:07:53 发布

zhangbinu

最新推荐文章于 2024-03-19 14:07:53 发布

阅读量5.1k

点赞数 6

CC 4.0 BY-SA版权

分类专栏：大数据 Hadoop 文章标签： sqoop hive shell

本文链接：https://blog.youkuaiyun.com/zhangbinu/article/details/82153368

因数据量过大，运行sqoop跑不动或者卡内存，于是通过写脚本分批导入到HDFS，然后再加载到Hive表中。
shell脚本如下：

#!/bin/bash
source /etc/profile

host=127.0.0.1

for((i=1; i<=100; i++))
do   
    start=$(((${i} - 1) * 100000 + 1))
    end=$((${i} * 100000))

    sql="select person_id,capture_time,write_time,capture_resource_id,major_capture_image_url,minor_capture_image_url,sex,age,orientation,glasses,knapsack, bag,messenger_bag,shoulder_bag,umbrella,hair,hat,mask,upper_color,uppe