mysql数据导入hbase

最新推荐文章于 2022-03-03 20:19:30 发布

原创最新推荐文章于 2022-03-03 20:19:30 发布 · 1.7k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#mysql #hbase

本文介绍如何安装配置Sqoop，并通过Sqoop将MySQL数据库中的数据导入到HBase表中。包括环境变量设置、JDBC配置、MySQL服务启动及权限设置、HBase表创建等步骤。

下载sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
解压
//配置环境变量
export SQOOP_HOME=/home/hadoop/software/sqoop-1.4.6.bin__hadoop-2.0.4-alpha
export SQOOP_SERVER_EXTRA_LIB=$SQOOP_HOME/lib
export PATH=$SQOOP_HOME/bin:$PATH

//cd ./conf
//cp sqoop-env-template.sh sqoop-env.sh
//./conf/sqoop-env.sh修改
export HADOOP_COMMON_HOME=/home/hadoop/software/hadoop-2.6.4
export HBASE_HOME=/home/hadoop/software/hbase-1.2.4
export HIVE_HOME=/home/hadoop/software/apache-hive-2.1.0-bin

//导入jdbc的jar包到./lib mysql-connector-java-5.1.32-bin.jar

//开启mysql服务，进入mysql,mysql -u root -p123456
//Access denied for user 'root'@'localhost' (using password:YES)
// 问题解决
1、打开MySQL目录下的my.ini文件，在文件的最后添加一行“skip-grant-tables”，保存并关闭文件。
2、重启MySQL服务。
3、在命令行中输入“mysql -uroot -p”(不输入密码)，回车即可进入数据库。
4、执行，“use mysql;”使用mysql数据库。
5、执行，“update user set password=PASSWORD("123456") where user='root';”（修改root的密码）
6、打开MySQL目录下的my.ini文件，删除最后一行的“skip-grant-tables”，保存并关闭文件。
7、重启MySQL服务。
8、在命令行中输入“mysql -uroot -prootadmin”，问题搞定！

//mysql赋权限
grant all privileges on *.* to root@'%' identified by '123456';
flush privileges;

//测试连接
sqoop list-databases --connect jdbc:mysql://slave2:3306/sqoop --username root -password 123456

//mysql建表
create table student(id INT NOT NULL AUTO_INCREMENT,title VARCHAR(100) NOT NULL,author VARCHAR(40) NOT NULL,date DATE,PRIMARY KEY(id));

INSERT INTO student ( id, title,author,date )VALUES( 1, "q","qq","2015-09-03");
INSERT INTO student ( id, title,author,date )VALUES( 2, "w","ww","2015-09-04");

//hbase建表
create 'student2','info'

//mysql导入hbase
sqoop import --connect jdbc:mysql://slave2:3306/mysql --username root --password 123456 -m 1 --table student --hbase-table student2 --column-family info --hbase-row-key id