winfield821的博客

这样做的目的是笔者要开发一个spark程序，将来移植到用CDH5.3.0部署的集群上，但是笔者的开发环境并没有这样的集群。由于网上搜索的结果很不准确（不同版本的Hadoop安装方式不一），所以作者经过一番尝试成功安装后，将安装步骤总结如下。 操作系统：Red Hat Enterprise Linux Server release 6.2 (Santiago) 一、安装Java 由于Had

这篇博客实际上是http://blog.youkuaiyun.com/gyflyx/article/details/16831015的修改版。因其部分语句不通，且说得较为繁琐，所以将其做部分修改。 MapReduce是一个非常流行的分布式计算框架，它被设计用于并行计算海量数据。第一个提出该技术框架的是Google 公司，而Google 的灵感则来自于函数式编程语言，如LISP，Scheme，ML 等

以下内容若无特殊指明，针对的对象默认是集群中每台机器。 一、操作系统和hdp版本 Windows 10专业版（64位），hdp-2.4.0.0（http://hortonworks.com/downloads/#data-platform） 二、准备工作 1、设置首选IPv4 单击网络和共享中心-本地连接-属性，清除Internet协议版本6（TCP/IPv6）复选框，确定。 2、

在上篇博客中，笔者提到曾经在Windows上编译Hadoop源码。这里将具体