大数据学习18：HUE、Zookeper

最新推荐文章于 2019-11-01 20:50:09 发布

weixin_44804248

最新推荐文章于 2019-11-01 20:50:09 发布

阅读量204

点赞数

分类专栏：大数据学习

本文链接：https://blog.youkuaiyun.com/weixin_44804248/article/details/89361192

版权

大数据学习专栏收录该内容

19 篇文章

订阅专栏

本文介绍了大数据管理工具HUE及其在Hadoop、HBase、Hive中的使用，包括启动组件和搭建环境的步骤。同时，探讨了ZooKeeper的基本概念、功能，如分布式锁和数据同步，并阐述了其在实现大数据高可用性中的作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

管理工具：HUE

一、Hadoop中的管理工具
HDFS: NameNode网页 http://ip:50070
SecondaryNameNode网页: http://ip:50090

Yarn:  http://ip:8088
 
HBase:  http://ip:16010
Hive    http://ip:9999/hwi/
Spark   http://ip:8080

二、演示HUE Demo
1、启动各个组件
Hadoop start-all.sh
HBase start-hbase.sh
hbase-daemon.sh start thrift
Hive hiveserver2
hive --service metastore

    HUE     目录/root/training/hue/build/env
            bin/supervisor
            URL:  http://ip:8888

三、搭建自己的HUE的环境: bigdata111（Hadoop、HBase、Hive）
1、配置Linux
（）挂载光盘（rhel-server-7.4-x86_64-dvd.iso）：mount /dev/cdrom /mnt
（）创建rpm源文件 vi /etc/yum.repos.d/rhel7.repo ：
[rhel-yum] 标签
name=rhel7 名称
baseurl=file:///mnt rpm包所在的目录（库所在的目录）
enabled=1 启用库
gpgcheck=0 不检查库

    （*）执行下面的语句：
        yum install gcc g++ libxml2-devel libxslt-devel cyrus-sasl-devel cyrus-sasl-gssapi mysql-devel python-devel python-setuptools sqlite-devel ant ibsasl2-dev libsasl2-modules-gssapi-mit libkrb5-dev libtidy-0.99-0 mvn openldap-dev libffi-devel gmp-devel openldap-devel

ZooKeeper

一、什么是ZooKeeper？
1、当成一个”数据库“
2、体系架构

二、搭建ZooKeeper环境
tar -zxvf zookeeper-3.4.10.tar.gz -C ~/training/
环境变量
ZOOKEEPER_HOME=/root/training/zookeeper-3.4.10
export ZOOKEEPER_HOME

    PATH=$ZOOKEEPER_HOME/bin:$PATH
    export PATH
     
配置文件： conf/zoo.cfg
12行 dataDir=/root/training/zookeeper-3.4.10/tmp
     
1、单节点的ZK（standalone）:  bigdata111
    31行 server.1=bigdata111:2888:3888
     
    在/root/training/zookeeper-3.4.10/tmp上创建文件:  vi myid  输入一个1
 
2、集群:3台（leader、follower）: bigdata112  bigdata113  bigdata114
 
 
 
启动：zkServer.sh start
客户端: zkCli.sh    (localhost:2181)

三、ZooKeeper的特点和功能
1、分布式锁：实现秒杀
2、数据同步：端口：2888
3、选举机制: 当leader死掉了，选择一个新的leader
端口：3888

四、利用ZK实现大数据的HA的功能