樱缘之梦

1.hbase和hive结合（1）hbase建表添加数据#test是表名，name是列族#hbase可以一个列族里边多个字段create 'test','name'#添加数据put 'test','1','name:t1','1'put 'test','1','name:t2','2'#查询scan 'test'#查询 get 表名，row-key，列族get 'test','1','name:t1'#删除表disable 'test'drop 'test'#

需要配置多台服务器，实验环境：master和data两台服务器，已安装好hadoop，可参考前文！！！1.spark安装master安装（1）下载scala和spark（2）解压并配置环境变量export SCALA_HOME=/usr/local/scalaexport PATH=$PATH:$SCALA_HOME/binexport SPARK_HOME=/home/spark-2.4.5-bin-hadoop2.6export PATH=$PATH:$SPARK_HOME

1.sqoop安装（1）下载CDH版本的sqoop（2）解压并进行环境配置环境变量为：export SQOOP_HOME=/home/sqoop-1.4.6-cdh5.15.1export PATH=$PATH:$SQOOP_HOME/bin在sqoop安装目录/conf/下：#新建sqoop-env.sh文件cp sqoop-env-template.sh sqoop-env.sh#增加环境变量1、hadoop_home2、hive_home3、hbase_hom

1.配置环境版本资料上传百度云，自取：（之前安装的是apache版本的Hadoop2.6.4,在启动hive的时候，报错，无奈又统一换成CDH）2.安装前的配置工作2.1 安装jdk（1）下载jdk（2）解压，然后在/etc/profile文件配置环境变量export JAVA_HOME=/home/jdk1.8.0_131export PATH=${JAVA_HOME}/bin:${PATH}2.2 ssh免密登录ssh-keygen根据文件的路径更改