本文介绍了如何使用sqoop将mysql数据库中的数据导入到hdfs，并进一步将数据加载到hive表中。首先，环境配置包括hadoop、mysql、sqoop和hive。接着，通过sqoop的import命令，选择特定字段并设置目标目录，将数据压缩并导入到hdfs。然后，在hive中创建表结构，使用load data inpath命令将hdfs数据导入hive表。最后，直接使用sqoop的hive-import功能，将mysql数据直接导入到hive表，确保所有配置正确避免执行时卡住。
首先准备工具环境：hadoop2.7+mysql5.7+sqoop1.4+hive3.1
准备一张数据库表：
接下来就可以操作了。。。
一、将MySQL数据导入到hdfs
首先我测试将zhaopin表中的前100条数据导出来，只要id、jobname、salarylevel三个字段。
再Hdfs上创建目录
hadoop fs -mkdir -p /data/base #用于存放数据
我们cd到sqoop目录下执行命令
# \ 用于换行
bin/sqoop import\--connect jdbc:mysql://172.18.96.151:3306/zhilian \ #连接数据库--username root \ #用户名--password 123456\ #密码--query 'select id, jobname, salarylevel from zhaopin where $CONDITIONS LIMIT 100'\ #选取表的字段信息--target-dir /data/base \ #上传到Hdfs的目录--delete-target-dir \ #如果指定文件目录存在则先删除掉--num-mappers 1
最低0.47元/天 解锁文章
扫一扫
1552
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
