Hadoop权威指南学习笔记：总章（未完结）

最新推荐文章于 2021-01-23 18:32:45 发布

原创最新推荐文章于 2021-01-23 18:32:45 发布 · 273 阅读

0 ·

CC 4.0 BY-SA版权

hadoop权威指南学习笔记专栏收录该内容

16 篇文章

订阅专栏

本文深入解析Hadoop2.6.0版本的实战应用，涵盖HDFS概念与设计、Java API接口、数据一致性模型及高级特性；探讨YARN运行机制与调度器设计；并详解Hadoop中的数据完整性保证、压缩与序列化类，为读者提供全面的技术指导。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在写本系列博客之前，我已经将本书的第Ⅰ部分、第Ⅱ部分读了一遍。读第一遍是探索，读第二遍便是总结。我会结合我的理解、书本的知识及其学习过程中遇到的问题，对本书前两章所涉及到的内容进行总结。本篇博客主要记录了这一系列文章的索引，方便日后统一查阅。本系列所有代码基于Hadoop2.6.0版本，皆使用新API。除部分功能性脚本外，皆使用java开发。

Hadoop的简要介绍
Hadoop环境搭建
- 基础环境搭建
- HA环境搭建
NCDC数据集准备
HDFS
- HDFS中的概念及设计（基础理论篇）
- HDFS中的Java API接口
- HDFS的其他接口
- HDFS的数据一致性模型
- HDFS的高级特性
YARN
- YARN的运行机制及相关概念
- YARN的三种调度器及其设计
Hadoop IO
- Hadoop的数据完整性保证
- Hadoop中使用压缩
- Hadoop中的序列化类