huangrunqing的专栏

1、安装hadoop的简单方法。直接下载较高版本，并解压到linux一个目录中。具体步骤参见：http://blog.youkuaiyun.com/aalbertini/article/details/46647582、安装完成之后启动hadoop，检查几个进程是否都已正常启动 。jps一下，如果正常，单机模式至少存在namenode、secondaryNamenode、dataNode、JobTrack

【说在前面的话】：这篇文章是由BI Research的Colin White所著，我觉得是对MapReduce的介绍比较好的文章，所以翻译出来帮助学习，如果有碍版权，当即使删除，仅供个人学习使用。【正文】大数据和分析大数据是一项重大的新闻。分析大数据的技术演进得非常快速，一些新的分析方法引起了众多的关注，例如Hadoop MapReduce和Hive以及在RDBMS上扩展MapReduce

1.输入文件:    文件是MapReduce任务的数据的初始存储地。正常情况下，输入文件一般是存在HDFS里。这些文件的格式可以是任意的；我们可以使用基于行的日志文件，也可以使用二进制格式，多行输入记录或其它一些格式。这些文件会很大—数十G或更大。2. 输入格式:    InputFormat类定义了如何分割和读取输入文件，它提供有下面的几个功能：选择作为输入的文件或

本文是酷狗音乐的架构师王劲对酷狗大数据架构重构的总结。酷狗音乐的大数据架构本身很经典，而这篇讲解了对原来的架构上进行重构的工作内容，总共分为重构的原因、新一代的大数据技术架构、踩过的坑、后续持续改进四个部分来给大家谈酷狗音乐大数据平台重构的过程。眨眼就新的一年了，时间过的真快，趁这段时间一直在写总结的机会，也总结下上一年的工作经验，避免重复踩坑。酷狗音乐大数据平台重构整整经历了一年时间，大

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookee