UniqueChunBlog

前言㈠Sqoop官网释义Apache Sqoop(TM) is a tool designed for efficiently transferring bulk data between Apache Hadoop and structured datastores such as relational databases.⑴Sqoop分Sqoop1(1.4.X)和Sqoop2(1.99.X

一、Sqoop导入的参数是import可以通过sqoop import –help查看import的具体用法[root@hadoop001 conf]# sqoop import --help参数太多就不列举了，大家可以自己去测试看看。二、导入数据 1、执行以下命令 sqoop import –connect jdbc:mysql://hadoop001:3306/sqoo

一、SQOOP Job 使用方法查看sqoop job --helpusage: sqoop job [GENERIC-ARGS] [JOB-ARGS] [-- [] [TOOL-ARGS]]Job management arguments: --create Create a new saved job --delete

一、HDFS上的数据查看[root@hadoop001 opt]# hadoop fs -text emp.txt /data/emp.txt1250 yangyamei doctor1251 zhangzhenxing doctor1261 zhangjun nurse1265 Bob doctor二、MySQL数据库创建接收数

一、导入Hive表时自动创建表 1、执行sqoop语句sqoop import \--connect jdbc:mysql://hadoop001:3306/sqoop \--username root \--password 123456 \--table emp_etl \-m 1 \--hive-import \--create-hive-table \--hive-tab

目标将MySQL的数据拿到Hive进行分析统计，将统计结果返回到MySQL。分析： 1) 在hive中创建一个emp_etl对应的表 2) 使用sqoop将mysql中的emp_etl表导入到hive表中 3) 在hive中进行统计分析(每个部门多少人)，然后结果写入到hive结果表中 4) 将hive结果表通过sqoop导出到mysql表中 5)shell封装整个过程，通过调度工具定时调