luoyanqing119的专栏

Spark学习笔记(一)之基础篇2019-11-11Spark学习笔记333Spark简介Spark是美国加州大学伯克利分校的AMP实验室(主要创始人lester和Matei)开发的通用的大数据处理框架.Spark有4中运行模式:local模式,适用于测试 standalone,并非是单节点,而是使用spark自带的资源调度框架 yarn,最流行的方式,使用yarn集群调度资源 mesos,国外使用的多Spark比MapReduce快的原因Spark基于内存迭...

一、 Hadoop准备篇：Hadoop运行软件环境：1. SSH及 SSHD服务正常运行2. JDK如果没装，可以自己安装一下：Sudo yum –y install jdk –b current二、 Hadoop基础篇（安装完成单节点Hadoop）1. 源代码下载1.1 下载Hadoop 源码压缩包至服务器wget http://mirro

Mapreduce是一种模式。Hadoop是一种框架。Hadoop是一个实现了mapreduce模式的开源的分布式并行编程框架。    所以，你现在，知道了什么是mapreduce，什么是hadoop，以及这两者之间最简单的联系，而本文的主旨即是，一句话概括：在hadoop的框架上采取mapreduce的模式处理海量数据。下面，咱们可以依次深入学习和了解mapreduce和hadoop这两