liangzelei的博客

Zookeeper正常部署首先保证Zookeeper集群的正常部署，并启动之：$ ~/modules/zookeeper-3.4.5/bin/zkServer.sh startHadoop正常部署Hadoop集群的正常部署并启动：$ ~/modules/hadoop-2.7.2/sbin/start-dfs.sh$ ~/modules/hadoop-2.7.2/sbin/start-yarn.sh...

import java.io.IOException;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Map.Entry;import org.apache.hadoop.conf.Configuration;...

通过HBase的相关JavaAPI，我们可以实现伴随HBase操作的MapReduce过程，比如使用MapReduce将数据从本地文件系统导入到HBase的表中，比如我们从HBase中读取一些原始数据后使用MapReduce做数据分析。1) 查看HBase的MapReduce任务的所需的依赖$ bin/hbase mapredcp2) 执行环境变量的导入$ export HBASE_HOME=/h...

HBase版本 1.3.1Hive版本 1.2.1环境准备$ exportHBASE_HOME=/home/admin/modules/hbase-1.3.1$ exportHIVE_HOME=/home/admin/modules/apache-hive-1.2.2-bin$ ln -s$HBASE_HOME/lib/hbase-common-1.3.1.jar $HIVE_HOME/lib/h...

导入数据在 Sqoop 中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用 import 关键字。、RDBMS 到 到 HDFS1) 确定 Mysql 服务开启正常2) 在 Mysql 中新建一张表并插入一些数据$ mysql -uroot -p123456mysql> create database company;...

常用命令列举序号命令类说明1importImportTool将数据导入到集群2exportExportTool将集群数据导出3codegenCodeGenTool获取数据库中某张表数据生成Java并打包Jar4create-hive-tableCreateHiveTableTool创建 Hive 表5evalEvalSqlTool查看 SQL 执行结果6import-all-tablesImpor...

以下的步骤都是我实验成功后的记录下来的，只记录了大体的步骤，由于环境的差异，可能导致你的操作并不一定会成功！不要机械的式的复制，要结合你本机的环境去处理。对于配置选项，有些我也不抬理解，待理解之后再来补充。实验环境：Linux 16.04.3hadoop-2.8.1hbse-1.2.6hive-2.2.0sqoop-1.4.6.bin__hadoop-2.0.4-alpha一、...