- 博客(3)
- 收藏
- 关注
RSS订阅原创 sqoop数据的导入和导出
一、sqoop使用导入 1、链接MySQL，查看有哪些表，换行语句必须有（空格+\） bin/sqoop list-databases \ --connect jdbc:mysql://hadoop-senior.ibeifeng.com:3306 \ --username root \ --password 123456 2、导入数据到HDFS 在MySQL创建一张表，并准备一些数据 ...
2018-04-10 20:31:24
670
原创 cdh版本集群快速搭建
1、解压hadoop2、配置hadoop-env.sh mapreduce yarn 三个文件的：JAVA_HOME3、core-site.xml：配置 （默认端口和临时目录） <property> <name>fs.defaultFS</name> <value>hdfs://hadoop-se...
2018-04-09 13:27:48
469
原创 Hive中数据压缩（企业优化）
二 、配置mapreduce和hive中使用snappy压缩 将snappy解压，将Lib下的native复制到hadoop下的lib 1、 实际就是对mapreduce过程中数据进行压缩2、hadoop支持的压缩格式3、在mapreduce中设置压缩4、在hive中设置压缩5、数据文件格式 数据存储 * 按行存储数据：TEXTFILE * 按列存储数据: ...
2018-04-06 14:33:29
567
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人