Hadoop 生态圈各个模块的启动命令 以及 简单配置 的配置要点(CentOS 6.9)

一、Hadoop

1.1 hadoop 的启动命令

在 /etc/profile 里面自己配好环境变量

start-dfs.sh    	  # 启动hdfs
start-yarn.sh	  # 启动yarn
start-all.sh  		  # 启动HDFS 和 yarn

web上可以通过 50070  和 8088 两个端口访问 hdfs 和 yarn 。

1.2 hadoop 的配置要点

1. hadoop-env.sh编辑里面的JAVA_HOME，给出真实路径，不要用$JAVA_HOME
2. slaves 在这个文件里面配置datenode 的ip 或者域名
3. core-site.xml 确定default:FS, 应该就是namenode 的意思
4. hdfs-site.xml 备份数
5. yarn-site.xml 确认 resourcemanager，配置shuffle
6. mapred-site.xml 这个文件要 cp 一下mapred-queues.xml.template 文件

二、redis

2.1 redis 的启动

• 首先。redis 的默认安装目录在 /usr/local/ 进入到bin 目录里

./redis-server   启动前台的redis 服务，要是修改了配置文件就会直接后台启动
./redis-server  1>/dev/null 2>&1 &  后台启动redis 服务

./redis-cli   启动客户端服务 

./  也可以不写

2.2 redis 配置的要点

1. 解压redis 的tar 包
2. 成功后进入安装目录，输入make 命令，会发现报一些乱七八糟的异常
3. 先删除安装不成功的目录 make distclean ;
4. 然后在yum -y install gcc gcc-c++ kernel-devel ，安装gcc ;
5. 成功后再 make 一次
6. 成功后make install
7. 都成功就可以进入 /usr/local 目录下查看安装的redis 了
8. 记得要把备份一个 redis.conf 文件 ，再将备份文件配置改下，设置成为后台启动

三、hbase

自己先在 /etc/profile 里面配好 HBASE_HOME 的环境变量

3.1 hbase 的启动命令

start-hbase.sh 	  # 这个是服务端的
hbase shell 		 # 这个是进入客户端的

web端可以通过 16010 端口来访问hbase，
不过hbase 是建立在hdfs 基础上的，要先启动hdfs，才能进入这个页面

3.2 hbase 的配置要点

（和hadoop 有些类似）
配置conf 文件夹下的：

1. hbase-env.sh

- 修改java_home
- 修改  export HBASE_MANAGES_ZK=false  ，将值修改为 flase

2. hbase-site.xml
   • 指定自己的hdfs
   • 指定zookeeper
   • 指定自己是分布式的
3. regionservers
   • 配置的都是自己的region server， 和 datanode 类似
4. 注意 这里的 hbase 分布式集群 的机器时间要同步，不然会启动不起来 region server 。可以用 ntpdate 插件来实现
   

四、zookeeper

4.1 zookeeper 的启动命令

/home/hbase/apps/zookeeper-3.4.5/bin/zkServer.sh start     # 启动单个zk服务
/home/hbase/apps/zookeeper-3.4.5/bin/zkServer.sh status  # 查看zk是flower还是leader
/home/hbase/apps/zookeeper-3.4.5/bin/zkCli.sh   start         # 启动客户端服务

4.2 zookeeper 的安装要点

1. zk 安装最少需要三台服务器 （因为半数机制）
2. zk 也需要 jdk
3. 在conf 目录下 cp zoo_sample.cfg zoo.cfg ，然后修改zoo.cfg 里面的配置，例如: server.1=zookeeper1:2888:3888
   
4. 然后修改这个文件里面的dataDir 的 路径，自己随便设，设完了保存，然后在自己设的路径下创建目录 和 myid 文件。
5. zookeeper 是没有一键启动集群的，需要我们自己写shell 脚本来启动
6. 写shell 脚本时，在 ssh 之后准备启动zk 之前我们需要 source /etc/profile 确保JAVA_HOME 能够被识别出来
7. 可以将这个 .sh 文件放在 root目录下，可以直接使用，就不需要在配置/etc/profile 了

五、hive

5.1 hive 的启动命令

hive的启动方式有三种：

1. 交互式的 hive

hive  

2. 启动hive 的服务来启动

nohup hiveserver2 1>/dev/null 2>&1 &  		# 后台启动hive 服务
hiveserver2 -hiveconf hive.root.logger=DEBUG,console  # 前台启动

启动好之后开始客户端连接

beeline

!connect jdbc:hive2://localhost:10000   #本地连接
!connect jdbc:hive2://hive1:10000  # 远程连接，这个要设置mysql 的远程连接才能成功

然后输入账号密码

5.2 hive 的配置要点

hive 有两种安装方式，一是 最简安装（Derby 做元数据库） 二是标准安装（mysql 做元数据库）

1. hive-env.sh 修改一下HADOOP_HOME 的路径 和 conf 的路径；
2. 配置HIVE_HOME and HADOOP_HOME(hive 要用到hadoop)；
3. hive 的元数据配置 hive-site.xml ，就是连接mysql 的配置
4. 上传一个mysql 的 jdbc驱动的 jar 到 lib 目录下

六、frume

6.1 frume 的启动命令 及 配置要点

• 首先要进入到sqoop的安装目录
• 然后就是配置文件自己配置，可以就放在安装目录下，方便使用

# 前台启动
bin/flume-ng agent -c conf/ -f dir_hdfs.conf -n ag1 -Dflume.root.logger=DEBUGE.console

# 后台启动
bin/flume-ng agent -c conf/ -f dir_hdfs.xonf -n ag1 1>/dev/null 2>&1 &

七、sqoop

7.1 sqoop的启动命令

• mysql 导入到 hdfs 的命令

bin/sqoop import \
--connect jdbc:mysql://hbase1:3306/userdb \
--username root \
--password 123456 \
--target-dir /qphone_sqoop4 \
--fields-terminated‐by ',' \
--table emp \
--split-by id \
--m 2

• mysql 导入到 hive 的命令
  （这个命令里要有 --hive-import ）

bin/sqoop import \
--connect jdbc:mysql://hbase1:3306/userdb \
--username root \
--password 123456 \
--fields-terminated‐by ',' \
--hive-import \
--hive-table t_emp \
--hive-database myhive \
--table emp \
--split-by id \
--m 2

• 也可以带条件（自己看着插到上面的命令行中）

#where
-- where "id > 1205 " \

#或者query ,(这个不支持 hive 的功能 )
--query 'select id,name,deg from emp WHERE id>1207 and $CONDITIONS' \   

#导入增量
--incremental append \
--check-column id \
--last-value 1208

• 数据导出到hive 中

bin/sqoop import \
--connect jdbc:mysql://hbase1:3306/userdb \
--username root \
--password 123456 \
--table emp \
--hive-import \
--fields-terminated‐by ',' \
--hive-database myhive \
--hive-table xxoo \
--split-by id \
--m 2

• 数据导出到mysql 中

bin/sqoop export \
--connect jdbc:mysql://hbase1:3306/userdb \
--username root \
--password 123456 \
--table emp \
--input-fields-terminated‐by ',' \
--export-dir /user/hive/warehouse/myhive.db/xxoo/

7.2 sqoop的配置要点

1. sqoop-env.sh 里面修改三个配置

export HADOOP_COMMON_HOME=/home/hbase/apps/hadoop‐2.8.1
export HADOOP_MAPRED_HOME=/home/hbase/apps/hadoop‐2.8.1
export HIVE_HOME=/home/hbase/apps/hive‐1.2.1

2. 测试是否安装成功的命令

./sqoop‐list‐databases \
‐‐connect jdbc:mysql://localhost:3306 \
‐‐username root \
‐‐password 123456

3. 需要将mysql 的连接驱动jar 包导入到 lib 中