
hadoop生态
华山拎壶冲
不积跬步,无以至千里。。。
面试必备:https://www.jianshu.com/u/c3be0f69940b
展开
-
Hadoop生态系统概述
首先我们先了解一下Hadoop的起源。然后介绍一些关于Hadoop生态系统中的具体工具的使用方法。如:HDFS、MapReduce、Yarn、Zookeeper、Hive、HBase、Oozie、Mahout、Pig、Flume、Sqoop。 Hadoop的起源 Doug Cutting是Hadoop之父 ,起初他开创了一个开源软件Lucene(用Java语言编写,提供了全文检索引擎的架构,...转载 2019-02-02 11:39:00 · 461 阅读 · 0 评论 -
分布式Apache ZooKeeper-3.4.6集群安装
Apache ZooKeeper是一个为分布式应用所设计的开源协调服务,其设计目的是为了减轻分布式应用程序所承担的协调任务。它可以为用户提供同步、配置管理、分组和命名等服务。在这里,对ZooKeeper的完全分布式集群安装部署进行介绍。 一、基本环境 JDK :1.8.0_11 (要求1.6+) ZooKeeper:3.4.6 主机数:3(要求3+,且必须是奇数,因为ZooKeeper的选举...转载 2019-03-07 10:27:30 · 216 阅读 · 0 评论 -
Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境
一、环境说明 个人理解: zookeeper可以独立搭建集群,hbase本身不能独立搭建集群需要和hadoop和hdfs整合 集群环境至少需要3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以相互ping通,下面举例说明,配置节点IP分配如下: IP 角色 10.10.50.133 master 10.10.125.156 slave1 10.10...转载 2019-03-07 20:04:00 · 267 阅读 · 0 评论