hbase与sqoop集成

HBase与 Sqoop整合

将mysql中的数据导入到HBase

## 在mysql中创建一张表

create database demo;

use demo;

//导入全部数据到MySQL 在mysql命令行

source /home/bigdata/so_detail.sql

//验证数据是否导入成功

select * from so_detail limit 5;

##修改sqoop-env.sh配置 sqoop/conf

export HBASE_HOME=/opt/modules/cdh/hbase-0.98.6-cdh5.3.6

#set the path to where bin/hbase is available

export HBASE_HOME=/opt/modules/cdh/hbase-0.98.6-cdh5.3.6

##执行sqoop导入数据

bin/sqoop import \

--connect jdbc:mysql://apache.bigdata.com:3306/demo \

--username root \

--password root123 \

--table so_detail \

--columns "id,order_id,product_id,price" \

--column-family "cf" \

--hbase-create-table \

--hbase-row-key "id" \

--hbase-table "so_detail_hbase" \

--num-mappers 1 \

--split-by id

so_detail_hbase是在hbase创建的表名称

##验证导入数据是成功

//查询前2行数据

scan 'so_detail_hbase',LIMIT => 2

//查询从'295837'这一行开始的5行数据

scan 'so_detail_hbase',LIMIT => 5,STARTROW => '295837'

//查询从'295837'开始到'393066'之间的数据

scan 'so_detail_hbase',STARTROW => '295837',STOPROW => '393066'