sqoop从hdfs导出到mysql

最新推荐文章于 2025-09-03 15:58:35 发布

转载最新推荐文章于 2025-09-03 15:58:35 发布 · 74 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/jsunday/p/3872793.html

文章标签：

#数据库 #大数据

本文详细介绍了如何使用SQOOP导入数据，包括处理导入数据中为NULL的值，以及如何通过设置参数避免插入冲突和重复数据。同时，文章提供了使用临时表作为中间步骤的方法来确保数据正确导入数据库。

create database logs;

use logs

create table weblogs_from_hdfs(
md5 varchar(32),
url varchar(64),
request_date date,
request_time time,
ip varchar(15)
);

sqoop export -m 1 --connect jdbc:mysql://hadoop:3306/logs --username root --password root --table weblogs_from_hdfs --export-dir /data/weblogs/import --input-fields-terminated-by '\t'
对于通过sqoop导入的数据为NULL的在导出到数据库中时依然保持为NULL.即使在文件中保存为字符串为'null'。
sqoop默认为insert 插入新的语句
--update-key 'md5' 则将创建更新语句，update ....where md5 = '.......'
如果--update-key 'md5' 设置的值没有找到，可以设置--update-mode allowinsert 允许新增这行数据

每个mapper默认默认插入1000条记录，然后提交事务，若mapper失败，可能出现插入冲突或者插入重复数据，可以通过一个临时表--staging-table temptableName,等一个事务完成再将数据复制到--table指定的表中，临时表结构必须与最终表一致
create table temp_table as select * from real_table where 1=0;
临时表必须为空表，否侧必须配置参数--clear-staging-table 在插入数据前清空临时表

转载于:https://www.cnblogs.com/jsunday/p/3872793.html