
Hadoop
ITrue的天空
这个作者很懒,什么都没留下…
展开
-
动手实现第一个Hadoop程序(VMware)
测试Hadoop环境:版本 2.6.0 本篇文章主要侧重于亲自实践一个Mapreduce程序在Hadoop上运行,如果需要详细了解测试用到的MapReduce程序的详细内 容,建议翻阅《HADOOP权威指南》。 第一步:确保HADOOP环境已经搭建成功 HADOOP环境的搭建不是本篇的重点,实际上独立(或本地)模式的环境还是比较好搭建的,可以用如下命令测试:hadoop...原创 2018-03-27 22:58:08 · 357 阅读 · 0 评论 -
动手实现第一个Hadoop程序的扩展
上篇文章简单总结了一下,在独立模式下实现测试第一个MapReduce程序,下面算是对上篇文章的一个补充吧。主要 分为 Hadoop横向扩展、combiner函数、Hadoop Streaming 三个部分。1 Hadoop横向扩展 前面介绍了 MapReduce针对少量数据是如何工作的,当我们有大量的输入数据流时,为了实现横向扩展,我们需要把数据存储在分布式分拣系统中(典型的是HDFS),...翻译 2018-03-28 16:20:32 · 547 阅读 · 0 评论