Hadoop伪分布式

最新推荐文章于 2025-04-17 09:50:19 发布

YuBingbai

最新推荐文章于 2025-04-17 09:50:19 发布

阅读量531

点赞数

分类专栏：大数据学习日记

本文链接：https://blog.youkuaiyun.com/wangwangshuibingbing/article/details/102454652

版权

本文详细介绍了Hadoop的分布式数据存储HDFS、计算框架MapReduce以及Hadoop生态圈中的其他产品如Hive、HBase。文章还涵盖了安装首台Hadoop主机的步骤，包括配置文件、目录介绍及遇到的问题和解决方案。通过对Hadoop的学习，理解了分布式文件存储的原理和备份策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

什么是Hadoop

Hadoop是一个产品产品的功能是
分布式的数据存储能力 HDFS
分布式的计算能力 MapReduce
版本介绍
1.x(没人用了)
2.x

a) 2.x以后提供了Yarn平台。（规则，有没有更好的规则，编写手法
b) YARN平台提供一个接口规范。

Hadoop的核心模块：

The project includes these modules:
Hadoop Common: The common utilities that support the other Hadoop modules.
Hadoop Distributed File System (HDFS™): A distributed file system that provides high-throughput access to application data.
Hadoop YARN: A framework for job scheduling and cluster resource management.
计算平台：支持不同的分布式计算框架（MapReduce、Spark、tez….）
Hadoop MapReduce: A YARN-based system for parallel processing of large data sets.
内置的分布式计算框架（数据分析软件包，可直接在hadoop集群上执行，也可以基于YARN平台执行）

Hadoop 一系列产品（生态圈）

 Ambari：基于Web的管理监控配置工具。对整个Hadoop 生态圈产品提供自动化安装、管理、监视、维护性工作的模块。（生态圈套件产品）
一般情况，初期，大家会选择性的安装自己所需要的大数据产品，但这个安装周期与维护成本比较高。
Ambari：自动化安装、动态添加主机结点、服务管理、监视图表。
 Avro：基于JSON的数据序列化的系统。
 Cassandra：分布式非关系型存储系统，类似Google BigTable。
非关系型数据库：（关系型数据库）