
sqoop
一世为仁
要是有来生,做一棵树可好?
展开
-
2.sqoop安装配置与基本使用
1.配置 mkdir /opt/cdh-5.3.6 chown -R username:username /opt/cdh-5.3.6/ sqoop 的配置很简单,只需要配置sqoop安装目录下:sqoop_home/conf/sqoop.sh 2.基本使用 对于RDBMS中数据进行操作,少不了类似JDBC等的驱动, rdbms/mysql * jbdcurl\username原创 2017-04-29 11:06:12 · 724 阅读 · 0 评论 -
1.sqoop概念,功能,架构,版本
1.sqoop概念 sqoop(SQL TO HADOOP),是hadoop的协作框架之一 2.功能 对于hadoop进行大数据处理的数据来源主要有两部分 (1)关系数据库,RDBMS(Oracle,MySQL,DB2…) (2)文件(apache,nginx日志数据) hadoop 对于大数据的处理,是将数据存储在HDFS上,sqoop的功能就是将R原创 2017-04-29 10:37:46 · 6248 阅读 · 0 评论 -
3.sqoop 导入到HDFS,导出到RDBMS
1.普通导入数据 bin/sqoop list-databases \ –connect jdbc:mysql://hostname:3306 \ –username root \ –password 123456 —————————————— mysql中创建表:CREATE TABLE my_user ( id tinyint(4) NOT NULL AUTO_INCREMEN原创 2017-04-29 11:26:18 · 2121 阅读 · 0 评论 -
4.sqoop RDBMS与Hive数据互导
1.从RDBMS导入到Hive 其实是先将RDBMS数据导入到HDFS,然后在load到Hive表中。 对于parquet格式数据在sqoop1.4.6版本以后可以导入Hivebin/sqoop import \--connect jdbc:mysql://hadoop-CDH:3306/test \--username root \--password 123456 \--table原创 2017-04-29 16:35:13 · 604 阅读 · 0 评论 -
5.sqoop --options-file
For example, the following Sqoop invocation for import can be specified alternatively as shown below:$ sqoop import –connect jdbc:mysql://localhost/db –username foo –table TEST$ sqoop –options-file /us原创 2017-04-29 16:56:19 · 2248 阅读 · 1 评论