Hadoop 2.x 四层架构

最新推荐文章于 2025-10-11 18:20:56 发布
原创 最新推荐文章于 2025-10-11 18:20:56 发布 · 1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了Hadoop生态系统的主要组件，包括存储层的HDFS和HBase，资源管理层面的YARN和Sentry，计算引擎如MapReduce、Impala、Spark等，并提到了用于数据导入导出的工具如Sqoop和Flume。


一、存储层：文件系统HDFS，NoSQL Hbase

二、资源及数据管理层：YARN以及Sentry等

三、计算引擎：MapReduce、Impala、Spark等

四、基于MapReduce、Spark等计算引擎的高级封装及工具：Hive、Pig、Mahout等


Sqoop (Sql to Hadoop) 被设计为支持批量从结构化数据存储导入数据到HDFS，如关系数据库，企业级数据仓库和NoSQL系统。

Flume 用于移动大规模批量流数据到 HDFS 系统。从Web服务器收集当前日志文件数据到HDFS聚集用于分析
Hadoop3.x 之 Yarn资源调度器 (第十一章)
小坏说Java，一个专注Java微服务架构的实战，Java全栈教程，SpringBoot, SpringCloud微服务到分布式、高并发架构，大数据开发，运维实战，K8S、Docker容器为一体的教程，结合企业级内部的技术栈学习
08-02 1415
我孤零零的写代码,成为了除了CRUD啥都不会,为了过上好生活拿我一月的饭钱买个服务器、想让别人成为我这样的CRUD的大老、微服务、架构、容器、资源、不在发愁如何学习了、网站：https://www.e404e.cn
深入学习Hadoop之第一篇——HDFS架构解析
每天进步一点点...
09-16 1491
HDFS：Hadoop distributed file system，Hadoop的分布式文件系统； 图1 HDFS架构图 HDFS是一个主从架构(master/slave)，namenode被称作master，datanode被称作slave； master管理整个HDFS的命名空间namespace以及控制客户端对文件的存取； 一个Hadoop集群中，即一个HDF
大数据学习笔记：Hadoop 2.x的版本架构模型介绍
01-20
大数据学习笔记：Hadoop 2.x的版本架构模型介绍 第一种：NameNode与ResourceManager单节点架构模型 文件系统核心模块： NameNode：集群当中的主节点，主要用于管理集群当中的各种元数据 secondaryNameNode：主要能用于hadoop当中元数据信息的辅助管理 DataNode：集群当中的从节点，主要用于存储集群当中的各种数据 数据计算核心模块： ResourceManager：接收用户的计算请求任务，并负责集群的资源分配 NodeManager：负责执行主节点APPmaster分配的任务   第二种：NameNode单节点与ResourceManag
Hadoop 2.x 架构
Amazingjadewu
08-31 1755
Hadoop2.0产生背景 一、Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 1、HDFS存在问题 NameNode单点故障，难以应用于在线场景 NameNode压力过大，且内存受限，影响系统可扩展性 2、MapReduce存在的问题 JobTracker访问压力大，影响系统可扩展性 难以支持除MapReduce计算框架之外的计算框架、比如spar
大数据相关技术（二）总结
最新发布
AlbenXie的博客
10-11 809
架构选择：简单离线场景用 “离线批处理架构”，纯实时场景用 “实时流处理架构”，复杂业务优先选 “批流融合架构”（Flink+Spark 组合）。技术选型：采集用 Flume/Kafka，存储用 HDFS/HBase/Redis，计算用 Spark（离线）+Flink（实时），应用用 Tableau/Grafana，这套组合是企业最通用、性价比最高的方案。业务驱动：所有设计和开发都围绕业务价值，避免技术炫技。分层清晰：严格按 ODS→DWD→DWS→DM 分层，每层职责单一。数据质量优先。
Hadoop2.x高可用架构
小白有个大牛梦
04-01 2686
Hadoop2.x
hadoop 2.x版本的结构架构
weixin_43363407的博客
03-12 1297
hadoop主要有两个系统组成。文件存储系统，资源调度系统。 文件存储系统HDFS：namenode 主节点 主要用于维护元数据信息。 secondaryNamenode 辅助namenode 管理元数据信息。 datanode 存储各种各样的数据。 资源调度系统 yarn平台 resourceManager 主要两个作用，接受用户的计算任务请求，分配资源。 nodeManager 主要用...
hadoop2.X配置详解和mapreduce详解
10-21
hadoop2.X配置详解和mapreduce详解
大数据原生集群 (Hadoop3.X为核心) 本地测试环境搭建一
别人笑我太疯癫，我笑他人看不穿。
08-16 1181
搭建前说明：本篇开始围绕Hadoop3.x大数据组件做集群搭建，将会直接从各组件开始搭建，至于集群的准备工作都是一样的，直接去Hadoop2.x集群搭建一和二里面去看。总体上来讲较新的版本和老版本只是在搭建上有些地方不一样，使用上差别不大。当然本篇用于搭建的3.x集群为了防止影响，使用了一套新的环境，节点任然是三台本篇安装软件版本JAVAJDK1.8 这里不再演示，直接准备就行。
Hadoop 1.x：体系结构，主要组件以及HDFS和MapReduce的工作方式
从零开始的教程世界
07-09 1244
Before reading this post, please go through my previous post at “Introduction to Hadoop” to get some Apache Hadoop Basics. 在阅读这篇文章之前，请仔细阅读我在Hadoop简介上的文章，以获取一些Apache Hadoop基础知识。 In this post, we are g...
Hadoop2.X特性及发行版深度解析
### Hadoop 2.X 特性及发行版深度解析 #### 1. Hadoop 2.X 的新特性 Hadoop 2.X 相较于 1.X 有诸多显著的改进。在 HDFS 访问方面，Hadoop 1.X 通过 HDFS 客户端访问，而 2.X 为 NFS 网关组件引入了对 NFSv3 的支持...
大数据系列-Hadoop 2.0
07-31
0103 高级Hadoop 2.x、0102 深入Hadoop 2.x这两部分可能涉及更深层次的Hadoop技术，如Hadoop生态系统的其他组件（如Hive、Pig、Spark），Hadoop的安全管理，以及高级优化技巧。 总之，Hadoop 2.0作为一个全面的...
多数据中心环境中的分层Hadoop架构研究
03-28
多数据中心环境中的分层Hadoop架构研究
详解Hadoop核心架构HDFS
11-01
详解Hadoop核心架构HDFS
Hadoop—数据仓库分层介绍
Andya_net的博客
02-19 2789
数据仓库 介绍 概念 1）DW, data warehouse,数据仓库，也称为数仓。2）数仓，就是存储数据的一个仓库。 数据分层 1）数据服务层：ADS, Application Data Service2）数据仓库层：DW, Data Warehouse，包含DWD,DWB,DWS3）数据运营层：ODS, Operational Data Store 优点 1）明确数据分层结构：使用分层机制，每层权责分明，使用表时便于定位排查，便于血缘追踪。同时，通过分层，将复杂任务拆解多个步骤处理，便于维护数据准确.
Hadoop架构基本介绍
oiupoiupga1的博客
04-07 1902
Hadoop基本介绍 Hadoop进程 伪分布式（每一个角色都是一个进程） NN:fsimage editlog 读写请求记录 HDFS: NN:NameNode SNN:Secondary NameNode （默认1小时checkpoint） DN：DataNode Yarn: RM:Resource Manager NM:Node Manager HA(高可用) 两个NN节点，实时的，任何时刻...
数据平台的4个阶段：从数据库到数仓再到中台，超详细的架构全解
白鸽
09-27 2422
在大数据时代，凡是AI类项目的落地，都需要具备数据、算法、场景、计算力四个基本元素，缺一不可。 处理大数据已经不能仅仅依靠计算力就能够解决问题，计算力只是核心的基础，还需要结合不同的业务场景与算法相互结合，沉淀出一个完整的智能化平台。 数据中台就是以云计算为数据智能提供的基础计算力为前提，与大数据平台提供的数据资产能力与技术能力相互结合，形成数据处理的能力框架赋能业务，为企业做到数字化、智能化运营。 目前，外界与业内很多人对于数据中台的理解存在误区，一直只是在强调技术的作用，强调技术对于业务的推动作用，但在
大数据之高并发下使用Nginx的四层架构（二）
weixin_40814263的博客
11-21 414
Ngix的四层架构 早期，客户端浏览器直接访问tomcat服务器，由于大量的访问可能集中在查询商品模块上，由于查询模块占用了并发使得整个服务不可用，于是考虑将服务进行模块化拆分，中间通过一台服务器将客户的请求转发到服务模块上。 请求转发服务器不同于lvs负载均衡，lvs不会跟客户端进行三次握手，而请求转发服务器会与客户端进行三次握手，连接建立后，再调用服务模块进行计算，获得返回的数据后转发给客户...
为什么选择这样的大数据平台架构？
weixin_34236497的博客
08-01 1518
当前BAT基本公开了其大数据平台架构，从网上也能查询到一些资料，关于大数据平台的各类技术介绍也不少，但在那个机制、那个环境、那个人才、那个薪酬体系下，对于传统企业，可借鉴的东西也是有限的。 技术最终为业务服务，没必要一定要追求先进性，各个企业应根据自己的实际情况去选择自己的技术路径。 与传统的更多从技术的角度来看待大数据平台架构的方式不同，笔者这次，更多...
Hadoop 2.X入门与大数据核心概念解析
资源摘要信息:"Hadoop学习笔记"是一份系统性极强的大数据入门学习资料，内容涵盖了从大数据的基本概念、技术背景到Hadoop核心技术体系的全面介绍，特别适合零基础的学习者逐步建立对分布式计算和大数据处理的认知...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值