sqoop 的安装 及将mysql数据库中的数据用sqoop导入到hdfs/hive中 和将hdfs中的数据导出到mysql数据库中

sqoop 的安装 及将mysql数据库中的数据用sqoop导入到hdfs/hive中 和将hdfs中的数据导出到mysql数据库中

首先上传 sqoop 安装包；
tar -zxvf 包
mv 改名
到 cd/export/server/sqoop/conf
改名 为 sqooq.env.sh
1.vi sqoop.env.sh

export HADOOP_COMMON_HOME=/export/servers/hadoop
export HADOOP_MAPRED_HOME=/export/servers/hadoop
export HIVE_HOME=/export/servers/hive

2.上传mysql -connect 包到lib
到 sqooq 目录下 执行命令 连接 mysql
bin/sqoop list-databases --connect jdbc:mysql://localhost:3306/ –
username root --password hadoop

mysql -u root -p
hadoop

hadoop 安装完成。

一 首先 介绍一下 sqooq的导入【将mysql 表数据导入到 hdfs/hive上】
准备mysq 数据操作:
DROP TABLE IF EXISTS emp;
CREATE TABLE emp (
id int(11) DEFAULT NULL,
name varchar(100) DEFAULT NULL,
deg varchar(100) DEFAULT NULL,
salary int(11) DEFAULT NULL,
dept varchar(10) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

---

– Records of emp

---

INSERT INTO emp VALUES (‘1201’, ‘gopal’, ‘manager’, ‘50000’, ‘TP’);
INSERT INTO emp V