Hadoop源码分析-综述

最新推荐文章于 2025-06-09 11:53:50 发布

原创

最新推荐文章于 2025-06-09 11:53:50 发布 · 468 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

本文主要介绍Hadoop的MapReduce部分，包括其在分布式系统中的作用、MapReduce的工作原理，以及在Hadoop生态系统中的重要地位。作者将负责MapReduce的代码分析，探讨映射和缩减任务的执行过程，并简要概述了Hadoop的其他核心模块。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2021SC@SDUSC
本学期分析的项目为hadoop，我将会围绕hadoop部分核心源码展开为期一学期的详细分析。下面将粗略介绍hadoop的基本信息以及小组内的具体分工。

综述目录

一、什么是hadoop

在这里插入图片描述

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

二、hadoop可以做什么

hadoop擅长日志分析，facebook就用Hive来进行日志分析，2009年时facebook就有非编程人员的30%的人使用HiveQL进行数据分析；淘宝搜索中的自定义筛选也使用的Hive；利用Pig还可以做高级的数据处理，包括Twitter、LinkedIn 上用于发现您可能认识的人，可以实现类似Amazon.com的协同过滤的推荐效果。在Yahoo！的40%的Hadoop作业是用pig运行的，包括垃圾邮件的识别和过滤，还有用户特征建模。

Hadoop框架允许用户快速编写和测试分布式系统