cyy2learn的博客

转自：http://hadoop.apache.org/docs/r1.0.4/cn/mapred_tutorial.html Hadoop Map/Reduce教程 目的先决条件概述输入与输出例子：WordCount v1.0 源代码用法解释 Map/Reduce - 用户界面 核心功能描述 MapperReducerPartitionerReport

主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。 从2011年开始，中国进入大数据风起云

DistCp 概述使用方法 基本使用方法选项 选项索引更新和覆盖 附录 Map数目不同HDFS版本间的拷贝Map/Reduce和副效应 概述 DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源

Hadoop Shell命令 FS Shell catchgrpchmodchowncopyFromLocalcopyToLocalcpdudusexpungegetgetmergelslsrmkdirmovefromLocalmvputrmrmrsetrepstattailtesttexttouchz FS Shell 调用文件系统(FS)Shell命令应

命令手册 概述 常规选项 用户命令 archivedistcpfsfsckjarjobpipesversionCLASSNAME 管理命令 balancerdaemonlogdatanodedfsadminjobtrackernamenodesecondarynamenodetasktracker 概述 所有的hadoop命令均由bin/ha

转自：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_permissions_guide.html HDFS权限管理用户指南 概述用户身份理解系统的实现文件系统API变更Shell命令变更超级用户Web服务器在线升级配置参数 概述 Hadoop分布式文件系统实现了一个和POSIX系统类似的文件和目录的权限模型。每个文

转自：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_user_guide.html Hadoop分布式文件系统使用指南 目的概述先决条件Web接口Shell命令 DFSAdmin命令 Secondary NameNodeRebalancer机架感知（Rack awareness）安全模式fsck升级和回滚文件权限和安全性可

转自：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html Hadoop分布式文件系统：架构和设计 引言前提和设计目标 硬件错误流式数据访问大规模数据集简单的一致性模型“移动计算比移动数据更划算”异构软硬件平台间的可移植性 Namenode 和 Datanode文件系统的名字空间 (namespace)数据

转自：http://hadoop.apache.org/docs/r1.0.4/cn/cluster_setup.html Hadoop集群搭建 目的先决条件安装配置 配置文件集群配置 配置Hadoop守护进程的运行环境配置Hadoop守护进程的运行参数Slaves日志 Hadoop的机架感知启动Hadoop停止Hadoop 目的 本文描述了如

转自：http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html Hadoop快速入门 目的先决条件 支持平台所需软件安装软件 下载运行Hadoop集群的准备工作单机模式的操作方法伪分布式模式的操作方法 配置免密码ssh设置执行 完全分布式模式的操作方法 目的 这篇文档的目的是帮助你快速完成单机

Hadoop Streaming Hadoop StreamingStreaming工作原理将文件打包到提交的作业中Streaming选项与用法 只使用Mapper的作业为作业指定其他插件Hadoop Streaming中的大文件和档案为作业指定附加配置参数其他选项 其他例子 使用自定义的方法切分行来形成Key/Value对一个实用的Partitioner类 （二次

Hadoop本地库 目的组件使用方法支持的平台构建Hadoop本地库 注意 使用DistributedCache 加载本地库 目的 鉴于性能问题以及某些Java类库的缺失，对于某些组件，Hadoop提供了自己的本地实现。 这些组件保存在Hadoop的一个独立的动态链接的库里。这个库在*nix平台上叫libhadoop.so. 本文主要介绍本地库的使用方法以

转自：http://blog.youkuaiyun.com/lifuxiangcaohui/article/details/39698273 Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，H