独家记忆

操作系统：windows 32位开发工具：eclipse 4.3Hadoop版本：hadoop2.2.0自行编译或者去网上下载相应的插件 hadoop-eclipse-plugin-2.2.0.jar​拷贝到eclipse的plugins目录下。​重启eclipse，打开windows->open perspective->other->map/redu

安装完hadoop集群之后，跑了一些数据，然后format了

问题1: Hadoop的家族如此之强大，为什么还要结合R语言？a. Hadoop家族的强大之处，在于对大数据的处理，让原来的不可能（TB,PB数据量计算），成为了可能。b. R语言的强大之处，在于统计分析，在没有Hadoop之前，我们对于大数据的处理，要取样本，假设检验，做回归，长久以来R语言都是统计学家专属的工具。c. 从a和b两点，我们可以看出，hadoop重点是全量数

发现一个很好的博客，主要讲R与hadoop的结合的文章RHadoop实践系列文章

Mapper类有四个方法：（1）protected void setup(Context context)（2）protected void map(KEYIN key,VALUEIN value,Context context)（3）protected void cleanup(Context context)（4）public void run(Context context)setup()方法一般是在实例化时用户程序需要做的一些初始化工作（如打开一个全局文件，建立数据库链接等等）clean

zookeeper是一个为分布式应用所设计的开源协调服务。设计目的是为了减轻分布式应用程序所承担的协调服务。zookeeper的设计目标：（1）简单化。（2）健壮性。（3）有序性。（4）速度优势。zookeeper安装步骤如下。

kafka数据保存时间问题。 Kafka删除检查主要有两种，任一达到要求即执行。（1） 按时间粒度，可设置分钟或者小时。达到时间进行处理。（2） 按文件大小限制，设置最大文件大小，达到上限即进行处理。可设置文件大小检查周期。kafka的性能测试kafka中有自带的性能测试代码，测试结果均来自kafka自带的测试代码 ，位于bin/kafka-producer-perf-test.sh。

kafka介绍，安装以及简单的java调用kafka代码