sqoop增量数据采集，并与全量数据的合并

最新推荐文章于 2023-08-03 11:24:29 发布

原创

最新推荐文章于 2023-08-03 11:24:29 发布 · 1.4k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#数据采集 #sqoop #hive #ETL

该博客介绍了如何通过sqoop从MySQL数据库中进行数据增量采集，然后将增量数据与全量数据在Hive中进行合并。首先，在MySQL创建了game_player测试表并插入数据。接着，全量导入数据到Hive的all_game_player表。随后，在MySQL更新和插入新数据，再增量导入到Hive的inc_game_player表。最后，详细说明了如何合并增量数据到all_game_player的新分区。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、在MySQL数据库中创建测试表 game_player

CREATE TABLE `game_player` (
  `player_id` int(10) NOT NULL AUTO_INCREMENT,
  `player_name` varchar(64) DEFAULT NULL,
  `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `update_time` timestamp NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`player_id`)
) ENGINE=InnoDB AUTO_INCREMENT=5 DEFAULT CHARSET=latin1;

二、插入测试数据（T-2） T日：2019-05-16

insert into game_player(player_name,create_time) values('hanxin','2019-05-14 10:10:10');
insert into game_player(player_name,create_time) values('dianwei','2019-05-14 10:10:20');

mysql> select * from game_player;
+-----------+-------------+---------------------+-------------+
| player_id | player_name | create_time