关于Hive建表以及使用Sqoop将Hive表转入底层（如MYSQL）的一些笔记

原创于 2023-05-25 02:38:50 发布 · 123 阅读

CC 4.0 BY-SA版权

文章标签：

文章讲述了在使用sqoop从Hive导出数据到MySQL时，由于Hive中的NULL值默认为String类型，导致底层处理int型列时出现错误。通过添加`--map-column-javamyintcolumn=Integer`参数，可以将特定int列的NULL值转换为Java的Integer类型，从而避免转换问题。示例的sqoopexport命令包含了这个解决策略。

--map-column-java myintcolumn=Integer \

上句用于处理Hive转向底层时int型列有值为空时产生的错误，因为NULL值默认为String，转向底层时无法自动识别，且其底层逻辑为java，所以使用上述语句将某一int列的NULL值声明为int的包装类，完整sqoop转向底层语句如下：

sqoop export \
--connect jdbc:mysql://192.168.56.1:3306/tbproject \
--username root \
--password 01088606008 \
--table ad_feature \
--export-dir /user/hive/warehouse/tbproject.db/ad_feature \
--input-fields-terminated-by ',' \
--map-column-java myintcolumn=Integer \
--columns "adgroup_id, cate_id, campaign_id, customer_id, brand, price" \
--m 1