Hadoop 2.0(YARN/HDFS)学习资料汇总

最新推荐文章于 2024-02-01 15:46:07 发布
转载 最新推荐文章于 2024-02-01 15:46:07 发布 · 1.3k 阅读 · 0
文章标签：

#Hadoop #YARN #HDFS #学习资料 #汇总

本文档汇集了Hadoop2.0的学习资源，包括文档、技术博客及书籍等，涵盖YARN和HDFS2等内容，适合初学者及进阶用户参考。
本文档整理了迄今为止Hadoop 2.0（包括YARN和HDFS2）相关的一些学习资料，包括文档、技术博客、Hadoop书籍等，欢迎大家补充，我将持续更新这个页面。

1. PDF资料

（1）“Apache Hadoop YARN：Moving beyondMapReduce and Batch Processing” ,YARN  leader Arun Murthy写的一本关于YARN的书籍，目前只有前两章试读（还在编写中，预定明年12月份出版），下载地址。

（2）“Hadoop 0.23 MRv2分析”，由百度工程师编写，他的新浪微博：@大数据的wm，邮箱： infcollector@gmail.com，这个文档介绍是国内非常早的介绍YARN的资料，我也是从这份资料开始学习的。

（3）“Architecture of Next Generation Apache Hadoop MapReduceFramework”，这份资料来自Hadoop jira，系统全面的介绍了MRv2/YARN的来源、架构和一些内部实现细节。

（4）“Hadoop Security Analysis”， Hadoop 2.0安全机制介绍文档，来自: https://issues.apache.org/jira/browse/HADOOP-9621

这些资料都给出了微盘下载链接，也欢迎大家关注我的新浪微博：西成懂。

2. Hadoop 2.0书籍

《Hadoop技术内幕：深入解析YARN架构设计与实现原理》，该书从基本原理到内部实现，全方位介绍了Hadoop 2.0中资源管理系统YARN。具体介绍可登陆官方宣传网站：http://hadoop123.com/。

3. 技术博客

（1）Hortonworks中关于YARN的几篇深入分析文章：

Introducing Apache Hadoop YARN

Apache Hadoop YARN – Background and an Overview

Apache Hadoop YARN – Concepts and Applications

Apache Hadoop YARN – ResourceManager

Apache Hadoop YARN – NodeManager

（2）HDFS2剖析方面相当不错的博客：

http://www.sizeofvoid.net/

（3）我的博客，呵呵，主要专注于YARN以及YARN上的计算框架：

http://dongxicheng.org/recommend/

4. Hadoop jira

Hadoop jira是最好的学习资料，里面有大量的PDF文档、栩栩如生的对话和探讨，建议每天都读Hadoop jira，养成习惯，并参与讨论。

HDFS jira：https://issues.apache.org/jira/browse/HDFS

MapReduce jira： https://issues.apache.org/jira/browse/MAPREDUCE

YARN jira：https://issues.apache.org/jira/browse/YARN

原创文章，转载请注明： 转载自董的博客

本文链接地址: http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-hdfs-material/

Tensorflow 2.0 学习资料
会说话的机器狗
10-07 511
A machine learning platform from the future. A core principle of Keras is “progressive disclosure of complexity”: it’s easy to get started, and you can gradually dive into workflows where you write mo...
HDFS2.0的新特性——联邦机制、HA高可用以及高可用的实现方式
SunRains
01-26 1185
联邦 当说起联邦，很容易想起例如美国这样的国家，由州组成了一个联合统一的国家，每个州都有各自的宪法和法律，自己行使自己的权利。我们这里的联邦也是类似这种，有了这种机制HDFS集群中可以使用多个独立的NameNode来进行管理以满足HDFS命名空间的水平扩展，这些NameNode分别管理一部分数据，且共享所有的DataNode的存储资源。 通俗的讲就是，一个NameNode管理文件系统命名空间的一部分。例如NameNode1管理/usr目录下的所有文件，NameNode2管理/share目录下的所有文件。
YARN学习书籍及注解
10-08
YARN学习书籍及注解
HDFS框架学习资料
u012230451的专栏
09-22 421
HDFS学习资料: 百度文库-HDFS入门 百度文库-Hadoop框架之HDFS的shell操作 分布式文件系统HDFS入门指南: http://os.51cto.com/art/201306/399379.htm HDFS的架构: http://www.admin10000.com/document/1537.html HDFS架构简介: http://asyty-cp.blog....
hadoop2.x学习资料
zhubing10061210的博客
09-03 498
http://blog.itpub.net/30089851/cid-179583-list-1/
Cannot create directory /tmp/hadoop-yarn/staging/root/.staging. Name node is in safe mode.
ForestCat的专栏
07-28 4756
利用 sqoop从mysql导入数据到hadoop 中出现以下错误: 19/07/28 07:47:43 ERROR tool.ImportTool: Import failed: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot cr...
dolphinscheduler配置hadoop后执行脚本报错ERROR:Cannot execute /opt/soft/hadoop/libexec/hadoop-config.sh
LZX的博客
03-23 4227
问题描述： 根据文档正常配置完dolphinscheduler后启动执行shell命令，而shell命令为sqoop脚本抽取mysql数据到Hdfs上。 一开始报找不到$HADOOP_HOME $HADOOP_CONF_DIR后添加如下环境变量 vim /etc/profile export HADOOP_HOME=/usr/hdp/3.1.4.0-315/hadoop export HADOOP_CONF_DIR=/usr/hdp/3.1.4.0-315/hadoop/etc/hadoop expor
Hadoop搭建的顺序(/usr/local/src)
weixin_50838407的博客
11-28 3463
一：配置VM中的网络环境 1.以管理员形式运行VMware 2.打开虚拟网络编辑器，对VMnet8进行NAT模式链接 3.记住其IP地址 4.计算机—网络—更改适配器—右键VMnet8属性—Internet协议4配置IP地址 5.禁用VMnet8，启用VMnet8 二：在VM中配置虚拟机的网络环境:（改名和配置环境顺序可以不一样） 1. vi /etc/sysconfig/network-scripts/ifcfg-ens33 BOOTPROTO=static ONBOOT=yes 并在文本最后一行下面添
hadoop-yarn-hdfs
09-19
java开发领域标准文档，适合初级，中级，高级，架构师学习观看
hadoop：hdfs/yarn启动停止
不花的花和尚的博客
05-29 3299
本人环境： 3台虚拟机分别为 sparkproject1 192.168.124.110 sparkproject2 192.168.124.111 sparkproject3 192.168.124.112 linux（vi /etc/hosts）和windows配置hosts文件（C:\Windows\System32\drivers\etc） ： # Copyri...
Apache Hadoop YARN清晰完整版电子书.zip
09-03
软件介绍: mobi格式的清晰版Apache Hadoop YARN，这个是高清版不是扫描版的，请使用calibre电子书阅读器进行阅读，具体效果可以查看上面的书籍截图。本书深入讲解hadoop2的原理，很详细值得一读。
HDFS学习笔记
IT小浣熊的博客
07-18 957
Hadoop—HDFS学习笔记 引言 — Big Data Big Data特点 Big Data（大数据），或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。Big Data大数据，谈的不仅仅是数据量，其实包含了数据量(Volume)、时效性(Velocity)、多样性(Variety)、可疑性(V...
hdfs2.0
load2006的专栏
09-28 1598
昨天跟做技术预研的同事讨论下hdfs2.0的新架构。因为我并没仔细看hdfs2.0的文档，这里简单总结下对于2.0 framework的初步理解，有不对的地方欢迎指出。 1.元数据服务器（mds metadata server，在hdfs叫name node）集群，hdfs2.0中称其为federation。举个例子，有三个元数据服务器mds1、mds2、mds3组成一个federation。h
HDFS2.0
ShadowAJ
04-18 305
文章目录NameNode HA NameNode HA • 什么问题：Hadoop 1.0中NameNode在整个HDFS中只有一个，存在单点故障风险，一旦NameNode挂掉，整个集群无法使用 • 解决方法：HDFS的高可用性将通过在同一个集群中运行两个NameNode （Active NameNode & Standby NameNode ）来解决 • 在任何时间，只有一台机器处于Ac...
从零开始学Hadoop----浅析HDFS（一）
追梦
05-10 7798
之前，我们简单介绍了一下Hadoop，知道他是一个处理大数据的框架。今天我们来看看Hadoop的核心构成之一—-HDFS. 这次我们知道了HDFS是一个分布式的文件存储系统，它的一些基本的概念和优缺点我们已经知道了，下次我们将给大家分享一下HDFS的运行原理。
大数据学习笔记-HDFS（一）
zhang_232的专栏
11-21 1687
Hadoop Distributed File System，意为Hadoop分布文件存储系统，是Hadoop和核心组件之一，作为大数据生态圈最底层的分布式存储服务而存在，之解决存储问题，不解决计算和分析。解决大数据如何存储的问题，横跨在多台机器上(可以是普通的廉价的已有的计算机)高容错，适用于大数据集存储提供统一的访问接口。
hdfs学习指南详解
马明智的博客
08-05 280
今天来点不一样的，前几天写的博客都没有目录，不知道大家看的效果怎么样，反正自己在手机上看的效果不是很好。先不谈排版的原因，本人天生没有美观设计优化的本领。那么今天为了方便大家也为了自己回顾可以看的更加明朗，今天来加点目录（也可以叫它思维导图）！ 目录## 什么是hdfs？ hdsf相关概念？（块，名称节点，数据节点） hdfs的shell命令？ hdfs的Java API? 大家准备好，接下来就...
Hadoop：学习HDFS，看完这篇就够了！
Liu_y_xin的博客
02-01 1671
HDFS（Hadoop Distributed File System）是Apache Hadoop生态系统中的，用于存储和处理大规模数据集。由于其具有等特点，因此广泛应用于大数据处理和分析场景。
<name>yarn.application.classpath</name> <value>/opt/hadoop-3.4.0/etc/hadoop:/opt/hadoop-3.4.0/share/hadoop/common/lib/*:/opt/hadoop-3.4.0/share/hadoop/common/*:/opt/hadoop-3.4.0/share/hadoop/hdfs:/opt/hadoop-3.4.0/share/hadoop/hdfs/lib/*:/opt/hadoop-3.4.0/share/hadoop/hdfs/*:/opt/hadoop-3.4.0/share/hadoop/mapreduce/*:/opt/hadoop-3.4.0/share/hadoop/yarn:/opt/hadoop-3.4.0/share/hadoop/yarn/lib/*:/opt/hadoop-3.4.0/share/hadoop/yarn/*
最新发布
03-16
### Hadoop YARN 中 `yarn.application.classpath` 配置项的作用 在 Hadoop YARN 中，`yarn.application.classpath` 是一个重要的配置参数，用于定义应用程序可以访问的类路径（classpath）。此配置项的主要作用是确保 YARN 上运行的应用程序能够找到所需的库文件和依赖项。具体来说： - **作用**: 此配置项指定了一组默认的类路径，这些路径会被添加到所有提交给 YARN 的应用程序的类加载器中[^1]。这使得用户无需手动提供所有的依赖库即可正常运行作业。 - **值的组成**: 类路径通常由多个目录或 JAR 文件路径组成，通过逗号分隔。常见的路径包括但不限于以下内容： - `$HADOOP_CONF_DIR`: 存储 Hadoop 和 YARN 配置文件的目录。 - `$HADOOP_COMMON_HOME/share/hadoop/common/*`: 包含通用模块的 JAR 文件。 - `$HADOOP_HDFS_HOME/share/hadoop/hdfs/*`: 包含 HDFS 相关模块的 JAR 文件。 - `$HADOOP_YARN_HOME/share/hadoop/yarn/*`: 包含 YARN 相关模块的 JAR 文件。 - `$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*`: 包含 MapReduce 相关模块的 JAR 文件。 以下是典型的 `yarn.application.classpath` 值示例： ```properties $HADOOP_CONF_DIR, $HADOOP_COMMON_HOME/share/hadoop/common/*, $HADOOP_COMMON_HOME/share/hadoop/common/lib/*, $HADOOP_HDFS_HOME/share/hadoop/hdfs/*, $HADOOP_YARN_HOME/share/hadoop/yarn/*, $HADOOP_YARN_HOME/share/hadoop/yarn/lib/* ``` 上述路径中的通配符 (`*`) 表示该目录下的所有 JAR 文件都会被包含在类路径中[^4]。 --- ### 如何验证配置是否生效？ 可以通过以下方式确认 `yarn.application.classpath` 是否正确设置并生效： 1. 使用命令 `yarn classpath` 查看当前有效的类路径列表。 2. 提交一个简单的测试任务（如 WordCount），观察日志中是否有找不到依赖的错误提示。 如果发现某些必要的库未被加载，则可能需要调整 `yarn-site.xml` 文件中的 `yarn.application.classpath` 参数，并重新启动 YARN 服务以使更改生效。 --- ### 示例代码：修改 `yarn-site.xml` 并重启 YARN 编辑 `yarn-site.xml` 文件，添加或更新如下属性： ```xml <property> <name>yarn.application.classpath</name> <value>$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/share/hadoop/common/*,$HADOOP_COMMON_HOME/share/hadoop/common/lib/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/*,$HADOOP_YARN_HOME/share/hadoop/yarn/*,$HADOOP_YARN_HOME/share/hadoop/yarn/lib/*</value> </property> ``` 保存后执行以下操作以应用新配置： ```bash # 刷新 YARN 配置 sudo systemctl restart hadoop-yarn-resourcemanager.service sudo systemctl restart hadoop-yarn-nodemanager.service ``` 或者直接使用脚本停止再启动 YARN： ```bash stop-yarn.sh start-yarn.sh ``` --- ### 注意事项 - 如果集群中有自定义开发的任务或第三方工具集成需求，需额外将相关依赖加入到 `yarn.application.classpath` 中[^3]。 - 当前版本为 Hadoop 3.4.0，不同版本间的默认类路径可能会有所差异，请根据实际环境进行适配。 --- ####
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值