KNIFE_PAN的专栏

部署环境：Centos7.0 三台（）

命令 hdfs dfs -du -h   /data/结果 102.3 M  307.0 M  /data/第一列标示该目录下总文件大小第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，我的副本数是3 ，所以第二列的是第一列的三倍 （第二列内容=文件大小*副本数）第三列标示你查询的目录

压缩考虑第一压缩率      第二压缩/解压缩时间（cpu开销）第三是否支持切分对以上三个问题说明BZip2的压缩率最高，消耗的cpu资源也最多，支持分割Gzip 的压缩率和压缩速度都还可以，如果磁盘利用率和和I/O开销都要考虑的话，是不错的选择，但是不支持分割LZO和snappy压缩率比请两个要小，但是速度很快        其中Snappy不支持分割

1.创建归档文件(会执行maprreduce)hadoop archive -archivename test.har /test/vot/  /test/har/2.查看归档文件hdfs dfs -ls -R har:///test/har/vot.harhdfs dfs -ls -R har://hdfs-dns:9000/har/vot.har（外部访问）3.说明1创

先说一下架构1.Hadoop搭建的是伪分布 版本2.5.02.Hadoop搭建在linux平台下3.Windows8 平台下安装eclipse 通过mapreduce插件链接到linux平台下的hadoophadoop 伪分布配置文件说明 (注意这是linux机器上的，windows上可以将其配置拷贝过来覆盖，也可以不配置)1.core-site.xml

生产环境中部署hadoop集群与测试环境中部署的区别主要是：1.使用DNS而不是hosts来解析主机名2.使用NFS共享秘钥文件，而不是手工拷贝配置3.复制hadoop时使用脚本批量操作，而不是单个复制第一。安装环境和节点地址划分1.节点规划主机名IP地址Hadoop其他服务CLI192.168.80.100无

机器：Centos7.0 64bit 软件 hadoop: hadoop-2.5.0-cdh5.2.11.安装Linux 系统包> yum install autoconf automake libtool cmake>yum install  ncurses-devel>yum install openssl-devel>yum install lzo-devel

这里仅仅列出部分配置文件信息，供自己记录使用。1.core-site.xml hadoop.tmp.dir /home/hadoop/tmp Abase for other temporary directories. fs.defaultFS

第一。安装JDK配置，jdk环境变量（这里不再赘述）第二

第一，首先确定你的windows也安装ant （在）

1.yarn-site.xml<property> <name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value></property><property>