Simon的博客

1、下载Hadoop安装包hadoop-2.7.0.tar.gz2、用命令进入放置目录，解压，tar xzvf hadoop-2.7.0.tar.gz解压会打印出明细信息，中间信息略.......解压完成3、配置hadoop环境变量/myFile/04.BigData/hadoop-2.7.0/etc/hadoop/hadoop-env.shexport JAV

1、要使用 HDFS，首先需要在 HDFS 中创建用户目录，也可以使用默认根目录：zhaojunyandeMacBook-Pro:~ zhaojunyan$ hdfs dfs -mkdir -p /usr/hadoop默认根目录是hdfs://localhost:9000/user/zhaojunyan2、创建input目录，并拷贝文件zhaojunyandeMacBook-Pro

1、修改只读readonly文件修改/etc/profile文件，强制保存后面加"!"，用":wq!"2、DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the hdfs commandHadoop命令变更之前格式化hdfs，用hadoop namenode

框架名称-启动守护进程的用户名-守护进程名称-运行守护进程的名称-日志格式如：hadoop-zhaojunyan-datanode-zhaojunyandeMacBook-Pro.local.loghadoop-zhaojunyan-datanode-zhaojunyandeMacBook-Pro.local.outyarn-zhaojunyan-nodemanager-z

1、MapReduce系统架构图对于节点数超过4000的大型集群，该系统面临着扩展性的瓶颈。Yarn应运而生。待后续更新

一、五大守护进程hadoop1.xNameNodeDataNodeSecondaryNameNodeTaskTrackerJobTrackerhadoop2.xSecondaryNameNodeResourceManagerNodeManagerNameNodeDataNode二、三种启动与关闭方式1、sbin/start-a

NameNode负责管理所有NataNode，b保存着元数据信息，包括名字、副本数、对应的block、路径等信息。详情可见官方文档http://itm-vm.shidler.hawaii.edu/HDFS/ArchDocOverview.html#_Toc291720190