Jackie_ZHF的博客

MapReduce的调优总结 Mapreduce服务器调优 1. mapreduce.task.io.sort.factor:   mr程序进行合并排序的时候，打开的文件数量，默认为10个. 2. mapreduce.task.io.sort.mb:   mr程序进行合并排序操作的时候或者mapper写数据的时候，内存大小，默认100M. 3. mapreduce.map.sort.spill.p...

HDFS优化之实战经验                 Linux系统优化一、禁止文件系统记录时间 Linux文件系统会记录文件创建、修改和访问操作的时间信息，这在读写操作频繁的应用中将带来不小的性能损失。在挂载文件系统时设置noatime和nodiratime可禁止文件系统记录文件和目录的访问时间，这对HDFS这种读取操作频繁的系统来说，可以节约一笔可观的开销。可以修改/etc/fstab文件中...

HDFS完全分布式搭建[Hadoop1.X]一、环境准备【如果没有准备好 请查阅然后准备以下环境】1、 JDK (前面已经安装好了)2、 Linux（前面已经安装好了）3、 准备至少3台机器,我们用的是4台（通过克隆虚拟机；配置好网络JDK 时间 hosts，保证节点间能互ping通）4、 时间同步  (ntpdate time.nist.gov)5、 ssh免秘钥登录   (两两互通免秘钥)二、...

                                                              Source、Channel、Sink有哪些类型       Flume Source     Source类型                    | 说明     Avro Source                   | 支持Avro协议（实际上是Avro R...

Cloudera Manager离线部署CDH文档 目录： Cloudera Manager离线部署CDH文档 1 目录： 1 一、说明 2 二、系统环境搭建 3 1、网络配置(所有节点) 3 2、SSH免密码登录 3 3、关闭防火墙 3 4、关闭SELINUX 4 5、安装JDK 4 6、设置NTP 5 7、安装配置MySql 6 8、下载依赖包 7 三、Clo...