Sqoop 同步问题

gwd777

已于 2023-04-25 10:30:51 修改

阅读量129

点赞数

文章标签： hive hadoop 大数据

于 2023-04-25 10:30:10 首次发布

本文链接：https://blog.youkuaiyun.com/gwd777/article/details/130359206

版权

该文描述了如何使用sqoop命令先清空MySQL中的历史表ads_before_6_mth_ma，然后从Hive仓库同步数据到这个MySQL表，涉及的工具包括sqoop,JDBC连接，以及特定的数据分隔符和空值处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

-- 先清空mysql历史表
sqoop eval \
  --connect jdbc:mysql://localhost:3306/your_db_name \
  --username your_db_name \
  --password '123123' \
  --e "truncate table ads_before_6_mth_ma;"

-- 在将 hive 同步到 mysql
sqoop export \
   --connect jdbc:mysql://localhost:3306/your_db_name \
   --username your_db_name \
   --password '123123' \
   --table ads_before_6_mth_ma \
   --columns agent_relname_level1,cal_cnt,cal_mth \
   --export-dir /user/hive/warehouse/ads/ads_before_6_mth_ma \
   --input-fields-terminated-by '\t' --input-null-string '\\N' --input-null-non-string '\\N' \