Hadoop系列之八:Hadoop集群

Hadoop系列(一)Docker部署Hadoop集群 搭建一个Hadoop集群环境时需要多台服务器,对于我们个人,这通常是个门槛,需要使用虚拟机,安装操作系统,然后运行起来多个虚机。 安装操作系统是个不太轻松的任务,并且运行多个虚机对个人电脑性能也有一定要求,这些门槛影响了很多小伙伴的实践积极性 使用Docker的话就简单了,不用安装操作系统,直接下载一个镜像,如centos,这样操作系统就有了,基于这个系统镜像运行多个容器,就相当于起了多个虚机... 阅读详情
版权声明:原创作品,如需转载,请与作者联系。否则将追究法律责任。

学习咨询QQ:1660809109,1661815153、2813150558

更多资讯:www.magedu.com


1、合并MapReduce集群与HDFS集群

在调度运行一个作业时,将map任务等直接运行于要处理的数据所存储的HDFS的数据节点上,可避免大量的数据传输,实现数据处理的本地性,进而大大提高整个过程的完成效率,这也正是Hadoop集群的部署方式。如下图所示。

在一个小于50个节点的小规模集群中,可以将NameNode与JobTracker合并于同一个节点上运行。而整个集群共有5类运行的核心进程,它们是MapReduce集群的JobTracker和TaskTracker,以及HDFS集群的NameNode、DataNode和SecondaryNameNode。

2、Hadoop项目

Hadoop是ASF(Apache Software Foundation)的著名开源项目之一,由Doug Cutting创建,早期的主要目的是为他的Nutch搜索引擎提供分布式功能,后来才成为一个独立的项目。Hadoop的核心组件为MapReduce和HDFS,HDFS提供大数据的存储能力,而MapReduce则为程序员开发处理大数据的程序提供了一个开发和运行环境。鉴于前文讲述的HDFS及MapReduce的特性可以得知,Hadoop是一个批处理系统,它不保证对请求提供实时响应;因此,Hadoop不是一个关系型数据库系统,不提供在线事务处理功能,也不是一个结构化数据存储系统。


Hadoop提供的强大的大数据存储及分析能力受到了很多著名公司的青睐,如Yahoo!、Facebook、LinkedIn、Twitter、Rackspace、Baidu、eBay、taobao等,它们根据需要分别部署了规模不同的Hadoop集群来实现诸如推荐系统、金融分析、自然语言处理、数据挖掘、影像处理、市场预测及日志分析等功能。

 

3、Hadoop的版本

                           Hadoop的各分支及发行版(图片来源:Hadoop operations)

Hadoop各版本对比说明:

0.20.0-0.20.2:非常稳定的版本,有多个组织在生产环境中部署;
0.20-append:支持对HDFS中的文件进行“附加”操作的版本;HDFS文件系统中的文件一旦建立就无法修改,但此版本支持对文件进行内容追加的操作,HBase依赖于此功能;
0.20-security:支持Kerberos实现用户认证的版本,由Yahoo!提供;
0.20.203-0.20.205:在0.20-security的基础上,修复了大量bug,并增进了性能的版本;现已经发展为1.0版;
0.21.0:基于主分支的版本,支持append,但不支持kerberos认证;开发版本,不建议生产环境使用;
0.22.0:基于主分支的版本,对HDFS文件系统支持kerberos认证;不过,有些诡异的是,其创建时间晚于0.23版本;
0.23.0:基于主分支的版本,支持append、security、YARN和HDFS联合(HDFS federation);现已经发展为2.0版;
1.0.0:基于0.20.205衍生的版本,因此不支持0.21、0.22和0.23的新增功能;属于目前的主流的稳定版本;
2.0.0:基于0.23.0衍生的版本,仅支持2.0版本的MapReduce(YARN),但兼容MRv1的API;目前,还需要对其进行更多的测试才能部署于生产环境;

                    Hadoop的各版本支持的特性对比(图片来源:Hadoop operations) 

4、Hadoop商业发行版

Hadoop的发行版除了ASF的Hadoop外,还有cloudera、hortonworks、MapR、intel、EMC等提供的商业支持版本,分别以自己的附加产品及应用经验为Hadoop应用提供专业的技术支持。

2008年成立的Cloudera是最早将Hadoop商用的公司,为合作伙伴提供Hadoop的商用解决方案,主要是包括技术支持、咨询服务和培训等。2009年hadoop的创始人Doug Cutting也任职于Cloudera公司。Cloudera产品主要为CDH,Cloudera Manager,Cloudera Support。CDH是Cloudera的hadoop发行版,完全开源,比Apache hadoop在兼容性,安全性,稳定性上有增强。Cloudera Manager是集群的软件分发及管理监控平台,可以在几个小时内部署好一个hadoop集群,并对集群的节点及服务进行实时监控。Cloudera Support即是对hadoop的技术支持。

2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建的公司。公司成立之初吸纳了大约25名至30名专门研究Hadoop的雅虎工程师,上述工程师均在2005年开始协助雅虎开发Hadoop,这些工程师贡献了hadoop 80%的代码。雅虎工程副总裁、雅虎Hadoop开发团队负责人Eric Baldeschwieler出任Hortonworks的首席执行官。Hortonworks 的主打产品是Hortonworks Data Platform (HDP),也同样是100%开源的产品,HDP还包含了一款开源的安装和管理系统Ambari以及一个元数据管理系统HCatalog。

cloudera和hortonworks都在通过自己的努力不断地提交代码修复及完善着Apache Hadoop。如果对其它商业版本有兴趣,请分别参照其官方的说明。本书后面选用的Hadoop会以CDH或HDP为主。

5、Hadoop生态圈


 


参考文献:
Hadoop Operations
http://www.xiaohui.org/archives/795.html

 

本文出自 “马哥教育Linux运维培训” 博客,转载请与作者联系!

学习咨询QQ:1660809109,1661815153、2813150558

更多资讯:www.magedu.com


Hadoop系列-01 Hadoop入门与集群实战:从环境搭建到架构解析全指南 本文详细介绍了Hadoop集群的安装部署流程。首先进行环境准备,包括服务器配置、防火墙关闭、时钟同步设置、创建普通用户hadoop并配置sudo权限。然后配置SSH免密登录,安装JDK环境。接着下载Hadoop安装包并解压,检查本地库支持情况。最后修改hadoop-env.sh等配置文件,为后续Hadoop服务启动做准备。文中提供了完整的命令操作步骤和服务器角色规划表(NameNode、DataNode、ResourceManager等),适合初学者快速搭建Hadoop集群环境。 阅读详情

相关推荐

《Hadoop系列》Docker安装Hadoop集群

1.安装docker 2.docker安装Hadoop集群

https://blog.datasource.space 2053

马哥Linux系列七:实战大数据技术专题(Hadoop、NoSQL、Zookeeper、MapReduce)课程分享...

我这里有个马哥的linux课程和大家分享,需要的可以留下qq。我放到你们邮箱里。 以下是介绍: 1、MapReduce基础概念、运行框架、调度模型等; 2、HDFS基础概念、命令行接口、数据序列化、数据流等; 3、Hadoop伪分布式及完全分布式模型的构建、测试及应用; 4、生产环境中Hadoop多种常用属性的调优及其注意事项等; 5、Hadoop生态系统及常用组件说明...

各研发管理 489

Hadoop系列 (八):Hbase搭建

Hbase搭建及shell简介

Eric Ray的博客 2210

马哥Hadoop系列链接汇总

马哥教育Hadoop博客系列 Hadoop系列之一:大数据存储及处理平台产生的背景 Hadoop系列之二:大数据、大数据处理模型及MapReduce Hadoop系列之三:函数式编程语言和MapReduce Hadoop系列之四:MapReduce进阶 Hadoop系列之五:MapReduce进阶(2) Hadoop系列之六:分布式文件系统HDFS Hadoop系列之七:分布式文件系统HDFS(2...

weixin_33827731的博客 231

Linux中Hadoop 集群搭建

零、下载Hadoop: http://archive.cloudera.com/cdh5/cdh/5/?tdsourcetag=s_pctim_aiomsg 一、集群规划: 搭建的 hadoop 集群由 3 台服务器组成,分别叫做 master,salve1 和 slave2。其中 master 作为主节点,slave1 和 slave2 作为从节点。 二、网络配置: 1.查看 3 个节点的主机名...

白墨的小白博客 3994

Wireshark时间分析实战:精准调试网络延迟与时间同步问题

本文深入探讨了Wireshark在网络延迟与时间同步问题分析中的核心应用。通过实战案例,详细讲解了如何设置时间显示格式、利用时间参考点量化关键路径延迟,以及运用时间平移功能校正错位时间轴。掌握这些时间分析技巧,能帮助网络工程师精准定位隐藏于数据包时序中的性能瓶颈与故障根源。

weixin_29290963的博客 263

关于Hadoop系列文章

原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。 学习联系QQ:1660809109、1661815153、2813150558 更多资讯:www.magedu.com Hadoop整个系列文章还要涉及到以下话题: 1、HDFS命令行接口的使用; 2、完全分布式Hadoop; 3、Hadoop硬

马哥教育Linux运维培训 913

H3C无线控制器AC与第三方认证系统集成实现企业级Portal短信认证方案

本文详细阐述了如何将H3C无线控制器(AC)与第三方认证系统集成,构建企业级Portal短信认证方案。该方案通过手机号作为临时凭证,实现了访客网络的实名追溯、权限控制与专业体验。文章深入解析了方案原理、H3C AC的关键配置步骤、第三方系统对接要点及短信网关选型避坑指南,为企业提升网络安全管理与访客服务质量提供了完整、可行的实战指导。

a3b4c5的博客 196

CentOS7搭建Hadoop集群

10、部署完成可以通过start-all.sh和stop-all.sh控制Hadoop-HA所有节点的启停。-- 配置该user(superUser)允许通过代理访问的主机节点 -->-- 把多个NameNode的地址组装成一个集群mycluster -->-- 配置该user(superUser)允许通过代理用户所属组 -->-- 配置该user(superUser)允许通过代理的用户-->-- 指定hadoop运行时产生文件的存储目录 -->-- 配置HDFS网页登录使用的静态用户为user -->

指针先生 3837

无人机基本组成部件

无人机基本组成部件

qq_37410522的博客 1万+

2025年12月11日 Coherent收发器下沉到数据中心:调研

技术可行性已基本具备。随着3nm DSP技术的成熟和Coherent-Lite等低功耗方案的推出,Coherent技术与IMDD的功耗差距在800G及以上速率节点快速缩小。特别是在1.6T及更高速率,两种技术的功耗开始趋于收敛。同时,通过系统级优化,如将DSP功能从可插拔模块转移到ASIC芯片,可实现30%以上的功耗降低。在成本方面,硅光技术的进步使得单通道硅光引擎BOM成本降至18美元,较2020年下降62%,逼近InP方案的经济临界点。光学系统机会丰富多样。

weixin_51184047的博客 1168

Hadoop集群搭建系列教程(八)—— 启动集群

现在NameNode是HDFS需要用户在web界面上访问,不需要操作命令行,即也需要对外暴露一个接口hadoop102:9870。NameNode 和 SecondaryNameNode 和 ResourceManager 不要安装在同一台服务器。之前核心配置文件中NameNode地址hdfs://hadoop102:8020相当于是hadoop内部通讯地址,这三个都很消耗内存,所以最好分属不同服务器。该文件中添加的内容结尾不允许有空格。文件中不允许有空行。

wyp106343873的博客 1259

关于MII、RMII、GMII、RGMII、PHY、网络变压器、RJ45的硬件总结

文章目录前言一、网络传输结构及原理1.以太网的工作原理2.TCP/IP协议3.数据链路层(MAC)二、介质独立接口MII,RMII,GMII,RGMII1.MII(Media Independent interface)2.RMII(Reduced Media Independent Interface)3.GMII(Gigabit Medium Independent)4.RGMII(Reduced Gigabit Media Independent Interface)三、物理层芯片(PHY)二、使用步

weixin_44415816的博客 3万+

Hadoop——实验三:Hadoop集群安装部署

文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 安装Hadoop集群 1.1 网络配置 1.2 SSH无密码登录配置 1.3 集群分布式环境配置 1.4 配置文件传输至节点 1.5 启动Hadoop集群 2. 完成分布式实例 2.1 在HDFS上创建用户目录 2.2 运行MapReduce作业分布式实例 一. 实验目的   掌握Hadoop集群集群安装部署技术。 二. 实验内容   参考:http://dblab.xmu.edu.cn/blog/install-hadoop-cluste

maochaofei的博客 3203

PowerDesigner16.5下载和安装教程

一、软件下载 1.下载地址(不用复制,直接点击下载链接即可):链接:https://pan.baidu.com/s/1MSnWHWt3SO2Uz5dt9AANAg提取码:z9kk 二、软件安装 1.下载安装包(包含安装文件、汉化包、注册文件) 2.下载后文件内容如下 3....

cicong2374的博客 10万+

FPGA以太网接口设计避坑指南:GMII与RGMII时序转换的三种实现方案对比

本文深入解析FPGA以太网接口设计中GMII与RGMII时序转换的三种实现方案,包括Xilinx官方IP核、手工原语逻辑和开源方案gmii_to_rgmii。通过对比分析各方案的优缺点和适用场景,为工程师提供技术选型指南,帮助避免常见设计陷阱,提升高速网络设备开发的效率和可靠性。

weixin_42570484的博客 395

Hadoop集群的配置

Hadoop集群的配置,克隆机的配置,免密登录,启动集群等

qq_54542910的博客 5847

YOLO26改进策略【损失函数篇】| AAAI 2025 SD Loss,基于目标尺度动态调整尺度损失和位置损失的影响系数,减少 IoU 标签波动

在红外小目标检测任务里,基于交并比的损失存在波动问题,像边界框(BBox)标签的IoU损失波动最高可达86%,较小目标的IoU损失稳定性更差,严重影响模型稳定性和回归效果。同时,现有损失函数没有充分考虑不同目标尺度下对尺度和位置的敏感度差异,,并且掩码标签的位置损失在处理漏检物体时难以收敛,容易产生误报。这些问题限制了模型在不同尺度目标上的检测性能,为解决这些问题,提出了损失函数。

Limiiiing的博客 400

利用ubuntu搭建高可用的hadoop集群系列之五——hadoop集群搭建

利用ubuntu搭建高可用的hadoop集群系列之五——hadoop集群搭建 1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了

wyj1986的专栏 8863

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

上一篇: Hadoop系列之七:分布式文件系统HDFS(2)
下一篇: Hadoop系列之九:Hadoop集群伪分布式模式的实现详解
magedu_Linux
博客等级 码龄11年 16粉丝 11原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值