Hadoop源码包结构<转>

最新推荐文章于 2014-07-09 18:04:59 发布
转载 最新推荐文章于 2014-07-09 18:04:59 发布 · 812 阅读 · 0

本文深入探讨了Hadoop的Map/Reduce实现、文件系统、文件缓存等关键组件，并介绍了与之相关的命令行工具、文件系统抽象、HTTP访问日志等功能。

Package

Dependences

tool

提供一些命令行工具，如DistCp，archive

mapreduce

Hadoop的Map/Reduce实现

filecache

提供HDFS文件的本地缓存，用于加快Map/Reduce的数据访问速度

fs

文件系统的抽象，可以理解为支持多种文件系统实现的统一文件访问接口

hdfs

HDFS，Hadoop的分布式文件系统实现

ipc

一个简单的IPC的实现，依赖于io提供的编解码功能

参考：http://zhangyu8374.iteye.com/blog/86306

io

表示层。将各种数据编码/解码，方便于在网络上传输

net

封装部分网络功能，如DNS，socket

security

用户和用户组信息

conf

系统的配置参数

metrics

系统统计数据的收集，属于网管范畴

util

工具类

record

根据DDL（数据描述语言）自动生成他们的编解码函数，目前可以提供C++和Java

http

基于Jetty的HTTP Servlet，用户通过浏览器可以观察文件系统的一些状态信息和日志

log

提供HTTP访问日志的HTTP Servlet

Hadoop配置信息处理（源码解析）
m0_47130698的博客
09-05 356
一、配置文件简介 配置文件是一个系统灵活不可缺少的一部分 1.1windows配置文件 1 windows系统广泛使用一种特殊化ASCII文件（以“ini”为文件扩展命）作为它的主要配置文件标准。以下为INI文件片段。 应用程序可以拥有自己的配置文件，来存储应用的设置信息。INI文件将配置信息分为一部分一部分“节”，上图[info]就是节标题。 每一节就是对各个项进行赋值。 ro 1. 2 Java配置文件 JDK提供了java.util.Properties类，他继承于Hashtable，
Hadoop源码解析
m0_67991849的博客
05-11 1023
Hadoop源码解析
Hadoop安装包
10-11
Linux环境下的Hadoop安装包，http://blog.youkuaiyun.com/zp8126可以查询安装步骤
Hadoop工具包
07-05
Hadoop工具包 Hadoop工具包 Hadoop工具包 Hadoop工具包 Hadoop工具包
Windows系统Hadoop包
08-26
该压缩包是在官方包的基础上进行修改的,将Windows运行hadoop所需配置文件和部分插件已经导入,电脑只需安装64位java环境,修改hadoop-env.cmd配置即可使用
Hadoop源代码分析（二）
09-13 770
下面给出了Hadoop的包的功能分析。   Package Dependences tool 提供一些命令行工具，如DistCp，archive mapreduce Hadoop的Map/Red
Hadoop源码结构
ruanjiana051的博客
12-31 231
    Hadoop项目已经得到社区以及行业内很多大牛的贡献，现在版本已经推进到了1.0.0版本，本人以后将就当前1.0.0版本进行源码分析，如有重大特性更新的版本发布，会有相关的源码增补分析，多谢！     首先我们需要对hadoop解压包的目录结构有个大概了解，解压下载的hadoop1.0.0版本压缩包到文件系统，目录如下： bin： 此目录下为进行hadoop配置、运行以及管理的shel...
Hadoop源码包
05-20
5. Hadoop源码学习价值： - 了解内部实现：源码可以帮助开发者深入理解Hadoop的工作机制，如数据分布、任务调度、容错策略等。 - 二次开发：源码可作为基础进行定制化开发，满足特定业务需求。 - 性能优化：通过...
hadoop2.7.3源码包，hadoop2.7.3zip源码包
07-11
在Hadoop 2.7.3的源码包中，"org"目录通常是源代码的主要组织结构，它按照包的层次结构存放了所有的Java源文件。在这个目录下，你可能会找到如下的子目录： 1. `apache`: 这个目录通常包含Apache项目的通用代码和...
Hadoop源码分析（完整版）
06-06
Hadoop源码分析是深入理解Hadoop分布式计算平台原理的起点，...通过对Hadoop源码的分析，开发者可以深入理解分布式系统的内部结构，掌握数据处理和存储的高级技巧，以及学习如何构建一个可靠、可扩展的分布式计算平台。
hadoop的相关包
04-15
hadoop的相关包导入eclipse中 编译程序使文档上传到hdfs本地文件
hadoop压缩包
12-15
此资源为在window上安装hadoop所需要的压缩包，通过将其解压，安装hadoop，此版本为2.7.2喔！
Hadoop的jar包
08-30
涵盖所有Hadoop所需要的jar包，希望对大家有帮助！
hadoop-2.7.3.tar.gz 下载 hadoop tar 包下载
05-17
hadoop-2.7.3.tar.gz 下载 目前相对比较稳定的版本 hadoop tar 包下载hadoop-2.7.3.tar.gz 下载 hadoop tar 包下载
hadoop的各种jar包
10-26
使用ecplice操作hadoop所需要的各种jar包。包括hdfs,maprudce,yarn,httpfs,kms。
Hadoop源代码组织结构
RYP_S 的专栏
07-09 838
直接解压Hadoop压缩包后，可看到图1-11所示的目录结构，其中，比较重要的目录有src、conf、lib、bin等。下面分别介绍这几个目录的作用： src：Hadoop源代码所在的目录。最核心的代码所在子目录分别是core、hdfs和mapred，它们分别实现了Hadoop最重要的三个模块，即基础公共库、HDFS实现和MapReduce实现。 conf：配置文件所在目录。Hadoo
hadoop-源码目录结构
weixin_34406796的博客
03-27 175
由于版本的不同,可能部分目录有些不同. http://clearity.iteye.com/blog/1331489 首先我们需要对hadoop解压包的目录结构有个大概了解，解压下载的hadoop1.0.0版本压缩包到文件系统，目录如下： bin： 此目录下为进行hadoop配置、运行以及管理的shell命令集合 c++：此目录下为linux下amd64-64位系统以及i386-...
[hadoop源码阅读][1]-源码目录结构
dragon_fire的专栏
12-17 534
转自 ：http://www.cnblogs.com/xuxm2007/archive/2012/06/15/2550982.html   由于版本的不同,可能部分目录有些不同. http://clearity.iteye.com/blog/1331489 首先我们需要对hadoop解压包的目录结构有个大概了解，解压下载的hadoop1.0.0版本压缩包到文件系统，
hadoop2包结构及包功能大致介绍
专注海量数据
10-19 8400
一、概述 hadoop2的设计细想比hadoop1进步了很多，毕竟hadoop1是几年前的东西了。软件设计的理论在这几年中发展很快，出现了很多的软件设计理论 如：领域驱动模型、事件驱动模型、状生命周期管理等，也出现了很多的开源的解决方案，当然开源的方案很多都是起源apache社区。在hadoop2中，采取了maven的工程管理结构，把以前的单一工程换成了多工程结构模式，现在估计有45个（po
<?xml version="1.0" encoding="UTF-8"?> 4.0.0 <groupId>org.example</groupId> <artifactId>scala_tutorial</artifactId> <version>1.0-SNAPSHOT</version> <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <scala.version>2.12.11</scala.version> <spark.version>3.1.1</spark.version> <hadoop.version>3.2.4</hadoop.version> </properties> <dependencies> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.33</version> </dependency> <!-- Scala Library --> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>${scala.version}</version> </dependency> <!-- Spark Core --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>${spark.version}</version> </dependency> <!-- Spark SQL --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.12</artifactId> <version>${spark.version}</version> </dependency> <!-- Spark Hive Support --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.12</artifactId> <version>${spark.version}</version> </dependency> <!-- Hadoop Client --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>${hadoop.version}</version> </dependency> </dependencies> <build> <plugins> <!-- Scala Compiler Plugin --> <plugin> <groupId>net.alchim31.maven</groupId> <artifactId>scala-maven-plugin</artifactId> <version>4.8.1</version> <executions> <execution> <goals> <goal>compile</goal> <goal>testCompile</goal> </goals> </execution> </executions> <configuration> <scalaVersion>${scala.version}</scalaVersion> </configuration> </plugin> <!-- Maven Compiler Plugin --> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>3.11.0</version> <configuration> <source>8</source> <target>8</target> </configuration> </plugin> <!-- Maven Assembly Plugin for creating fat JAR --> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-assembly-plugin</artifactId> <version>3.6.0</version> <configuration> <descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs> </configuration> <executions> <execution> <id>make-assembly</id> <phase>package</phase> <goals> <goal>single</goal> </goals> </execution> </executions> </plugin> </plugins> </build> 版本不变，给我调整个能用的
最新发布
11-22
<hadoop.version>3.2.4</hadoop.version> <main.class>MySQLToHiveIncremental2</main.class> <!-- 主类名 --> </properties> <dependencies> <!-- MySQL Connector --> <dependency> <groupId>mysql</...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值