Hadoop 学习笔记一：介绍

最新推荐文章于 2024-07-11 16:44:30 发布
最新推荐文章于 2024-07-11 16:44:30 发布
阅读量393 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： Hadoop 文章标签： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44626569/article/details/94473973
本文介绍了Hadoop的发展历程，从Lucene到Nutch再到Hadoop的诞生，详细阐述了Hadoop如何解决海量数据存储与分析的问题。涵盖了Hadoop的三大发行版本、核心优势、组成结构，以及HDFS、YARN和MapReduce的架构原理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hadoop 学习笔记一：介绍

Hadoop 是什么

  • Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构
  • 主要解决，海量数据的存储和海量数据的分析计算问题。
  • 广义上来说，Hadoop 通常是指一个更广泛的概念 —— Hadoop 生态圈

Hadoop 发展历史

  • Lucene 框架是 Doug Cutting 开创的开源软件，用 Java 书写代码，实现与 Google 类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎。
  • 2001 年年底 Lucene 成为 Apache 基金会的一个子项目
  • 对于海量数据的场景，Lucene 面对与 Google 同样的困难，存储数据困难，检索速度慢。
  • 学习和模仿 Google 解决这些问题的办法：微型版 Nutch。
  • 可以说 Google 是 Hadoop 的思想之源（Google 在大数据方面的三篇论文）
    GFS，Map-Reduce,BigTable
  • 2003 - 2004 年，Google 公开了部分 GFS 和 MapReduce 思想的细节，以此为基础 Doug Cutting 等人用了2年业余时间实现了 DFS 和 MapReduce 机制，使 Nutch 性能飙升。
  • 2005 年 Hadoop 作为 Lucene 的子项目 Nutch 的一部分正式引入 Apache 基金会。
  • 2006 年 3月份， Map-Reduce 和 Nutch Distributed File System （NDFS）分别被纳入称为 Hadoop 的项目中。
  • 名字来源于 Doug Cutting 儿子的玩具大象
  • Hadoop 就此诞生并迅速发展，标志着大数据时代来临。

Hadoop 三大发行版本

Hadoop 三大发行版本：Apache、Cloudera、Hortonworks。

  • Apache 版本最原始版本（最基础）的版本，对于入门学习最好。
  • Cloudera 在大型互联网企业中用的较多。
  • Hortonworks 文档较好

Hadoop 优势

  1. 高可用性：Hadoop 底层维护了多个数据副本，所以即使 Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
  2. 高扩展性：在集群键分配任务数据，可 方便的扩展数以千计的节点。
  3. 高效性：在 MapReduce 的思想下， Hadoop 是并行工作的，以加快任务处理速度。
  4. 高容错性：能够自动将失败的任务重新分配

Hadoop 的组成

  • Hadoop 1.x 组成 ： Common（辅助工具） 、HDFS（数据存储）、MapReduce（计算 + 资源调度）
  • Hadoop 2.x 组成 ： Common（辅助工具）、HDFS（数据存储）、MapReduce（计算）、YARN（资源调度）

HDFS 架构概述

  1. NameNode（nn）：存储文件和元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的 DataNode 等。
  2. DataNode（dn）： 在本地文件系统存储文件块数据，以及块数据的校验和。
  3. Secondary（2nn）： 用来监控 HDFS 状态的辅助后台程序，每个一段时间获取 HDFS 元数据的快照。

YARN 架构

  • ResourceManager （RM）主要作用如下
  1. 处理客户端请求
  2. 监控 NodeManager
  3. 启动或监控 ApplicationMaster
  4. 资源的分配与调度
  • NodeManager（NM）主要作用如下
  1. 管理单个节点上的资源
  2. 处理来自 ResourceManager 的命令
  3. 处理来自 ApplicationMater 的命令
  • ApplicationMaster （AM） 作用如下
  1. 负责数据的切分
  2. 为应用程序申请资源并分配给内部的任务
  3. 任务的监控与容错
  • Container：是 YARN 中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。

MapReduce 架构概述

MapReduce 将计算过程分为两个阶段：Map 和 Reduce

Map 阶段并行处理输入数据

Reduce 阶段对 Map 结果进行汇总

大数据技术生态体系

数据来源层：数据库（结构化数据）、文件日志（半结构化数据）、视频、ppt 等（非结构化数据）

数据传输层：sqoop 数据传递、Flume 数据收集、Kafka 消息队列

数据存储层：HDFS 文件存储 、HBase 非关系型数据库、Kafka 消息队列

资源管理层：YARN 资源管理

数据计算层：MapReduce 离线计算（Hive 数据查询、Mahout 数据挖掘）、Spark Core 内存计算（Spark Mlib 数据挖掘、Spark R 数据分析、Spark Sql 数据查询、Spark Streaming 实时计算）、Storm 实时计算、Flink

任务调度层：Oozie 任务调度、Azkaban 任务调度、crontab 任务调度

ZooKeeper 数据平台配置和调度

业务模型层：业务模型、数据可视化、业务应用

Hadoop 学习笔记二：安装与运行一
人在囧途的博客
07-04 626
Hadoop 学习笔记二：安装与运行搭建 Hadoop 运行环境虚拟机环境准备安装 JDK安装 HadoopHadoop 的目录结构Hadoop 运行模式本地运行模式官方 Grep 案例官方 WordCount 案例伪分布式运行模式启动 HDFS 并运行 MapReduce 程序启动 YARN 并运行 MapReduce 程序 搭建 Hadoop 运行环境 虚拟机环境准备 克隆虚拟机 修改克隆...
Hadoop学习笔记
weixin_45906989的博客
08-13 1699
Handoop学习笔记
深入理解Hadoop YARN中的Container概念
搬砖的鱼的博客
06-09 1037
深入理解Hadoop YARN中的Container概念 在学习Hadoop YARN—Hadoop 2.0新引入的通用资源管理系统过程中，总会遇到Container这一概念，由于中文资料的缺乏，很多人对Container这一概念仍非常的模糊。它与Linux Container是什么关系，它是否能像Linux Container那样为任务提供一个隔离环境?它代表计算资源，还是仅仅是一个任务处理进程？本文将尝试介绍Container这一概念。 步骤1：用户将应用程序提交到ResourceManager上；
浅析Yarn中的关键概念-Container
热门推荐
夜阑听风
06-20 1万+
初学Yarn的时候，对于Container的概念感觉非常陌生，即便是后期用了很长时间的Yarn平台，依旧觉得对于Container这个概念没有达到非常熟悉的程度：本文，从源码的角度上来说说，到底什么是Container：说起来非常容易，Container就是Yarn中的一个动态资源分配的概念，其拥有一定的内存，核数，由RM分配给ApplicationMaster或者MapTask或者ReduceT...
在Hadoop中Container是干什么的？
mark_to_win的专栏
05-15 2117
Container：马 克-to-win @ 马克java社区：前面我们总提资源分配。而资源分配的体现就要用到一个抽象概念“容器”（Container）表示，Container将内存、 CPU、磁盘、网络等资源封装在一起，这样可以起到限定资源边界的作用。比如给你一个Container的资源，里面包含3个G的内存，1G硬盘。当销毁 你的Container时，连带的内存，硬盘都没有了。 更多请看下节...
Hadoop学习笔记01：学习Linux常用操作命令
那人独钓寒江雪
10-09 2681
1>.ls （横向查看目录） ll（竖排查看目录）2>.mkdir （创建文件夹）3>.cd 文件夹名 （进入该文件夹） cd …（返回上一级目录）4>.rm 文件/夹名 （删除，可以接-f忽略不存在的文件，-i互动模式，-r递归删除会有危险。这是删除文件）（-rf才是删除文件夹）5>.mv 文件/夹名（移动文件,-f 强制移动直接覆盖文件，-i会询问，-u若存在且比目标文件新，才会覆盖）6>.pwd（查看当前工作目录,-p显示实际路径）7>.df -h (查看云服务器的内存)
Hadoop学习笔记一：HDFS
坏蛋呆呆的博客
08-05 1539
一、HDFS是什么？ HDFS是Hadoop Distributed File System的简称；源自于Google的GFS论文，是其开源实现。 基于流数据模式访问和处理超大文件的需求而开发的； 适合应用于大规模数据集上； 二、HDFS优缺点 优点： 处理超大文件，能用来存储管理Pb级数据。 流式数据访问数据。 运行于廉价的集群上 缺点 不适合处理低延迟数据访问 无法高效存储大量的...
hadoop学习笔记
Maggie_JK的博客
07-11 383
专为离线和大规模数据分析而设计的，可编写和运行分布式应用处理大规模数据。
hadoop学习笔记：运行wordcount对文件字符串进行统计案例
2401_85112710的博客
06-04 826
我第一次执行时，发生了一个异常，即执行完后，日志运行到INFO mapreduce.Job: Running job: job_1631618032849_0002这一行时，就直接卡在了这里，没有任何动静了——这行指令的大概意思是，分布式计算统计input目录底下的文件中的字符数量，将统计结果reduce到output当中，故而，最后若执行没问题，可以在output目录下获取到统计结果记录。接着，重启了hadoop集群，就正常了，日志信息就没有卡顿，而是一步执行完成，打印以下的日志记录——
神经网络预测反应堆燃耗深度
08-15
资源下载链接为： https://pan.quark.cn/s/8edf2c006d84 神经网络预测反应堆燃耗深度（最新、最全版本！打开链接下载即可用！）
【python毕业设计】声音识别青少年防沉迷系统(django)（完整项目源码+mysql+说明文档+PPT）.zip
08-15
本次开发的基于python的声音识别青少年防沉迷系统，其主要的功能有用户的注册登录，应用的声音录制识别，可以查看使用记录，查看个人消息，对注册的用户进行管理。 完整前后端源码，部署后可正常运行！ 环境说明 开发语言：python后端 python版本：3.7 数据库：mysql 5.7+ 数据库工具：Navicat11+ 开发软件：pycharm
一个自制的玩具级神经网络框架工具
08-15
资源下载链接为： https://pan.quark.cn/s/932c0ed03367 一个自制的玩具级神经网络框架工具（最新、最全版本！打开链接下载即可用！）
jna-platform-5.2.0.jar中文文档.zip
08-15
1、压缩文件中包含： 中文文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
A Toy Nerual Network Framework 自制神经网络框架
08-15
资源下载链接为： https://pan.quark.cn/s/aa1e0e63712c A Toy Nerual Network Framework 自制神经网络框架（最新、最全版本！打开链接下载即可用！）
XAPP888 例程、文档 Xilinx FPGA 动态重新配置频率
08-15
Xilinx MMCM and PLL Dynamic Reconfiguration FPGA MMCM PLL 动态重新配置频率 DRP动态调整MMCME2时钟频率 示例程序xapp888 XAPP888 文档
验证码识别 深度学习 tensorflow 神经网络（初学者 练习）
最新发布
08-15
资源下载链接为： https://pan.quark.cn/s/bc5f9ff860d1 验证码识别 深度学习 tensorflow 神经网络（初学者 练习）（最新、最全版本！打开链接下载即可用！）
spring-webflux-5.3.30.jar中文文档.zip
08-15
1、压缩文件中包含： 中文文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
Hadoop学习笔记：环境搭建和配置详解
"Hadoop学习笔记" Hadoop是一个基于Java的开源分布式计算框架，主要用于处理大数据。Hadoop的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce。HDFS是一个分布式文件系统，用于存储大规模数据，而...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值