阳哥的博客

不管是伪分布式搭建，还是完全分布式搭建的集群，都会存在单点故障的问题。如何解决单点故障？那就是HA高可用一、概述1）所谓HA（highavailable），即高可用（7*24小时不中断服务）。2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。4）NameNode主要在以下两个方面影响HDFS集群...

Hadoop都是在Linux上安装、配置、操作的，那么Hadoop可以在Windows上安装、运行吗？答：我们知道Hadoop官网只提供了Hadoop的tar.gz安装包，显然是属于Linux系统的。但其实Windows系统也可以安装Hadoop，如果想在Windows上安装，我们将linux上的tar.gz这个安装包解压缩一下就可以了。（使用软件7-zip）一、Windows上安装hadoop步骤第一步 将linux上的tar.gz安装包解压缩需要解压缩两...

上次的文章中，我们使用Java代码实现了MapReduce，这次我们正式的来做MapReduce编程运行三个实例进程：分布式计算程序的时候 先分map后合reduce* MapTask----将计算程序分布的运行在多台电脑上 并且是并行运行 互相之前不干扰* ReduceTask----将不同电脑上map计算出来的结果汇总起来 也可以有个reduce 并且* 多个reduce之前是并行运行 互不干扰的*...

HTTP协议：超文本传输协议我们随便去一个网页中去看看HTTP协议包含些什么？可看出有Request、Response这两个东西，分别是请求和响应。请求：HTTP 协议中共定义了九种方法或者叫“动作”来表明对 Request-URI 指定的资源的不同操作方式，具体介绍如下：序号 方法 描述 1 GET 请求指定的页面信息，并返回实体主体。 2 HEAD 类似于 GET 请求，只不过返回的响应中没有具体的内容，用于获取报头 3 P.

一、我们为什么要用MapReduce？1）海量数据在单机上处理因为硬件资源限制，无法胜任2）而一旦将单机版程序扩展到集群来分布式运行，将极大增加程序的复杂度和开发难度3）引入mapreduce框架后，开发人员可以将绝大部分工作集中在业务逻辑的开发上，而将分布式计算中的复杂性交由框架来处理。4）mapreduce分布式方案考虑的问题（1）运算逻辑要不要先分后合？（2）程序如何分配运算任务（切片）？（3）两阶段的程序如何启动？如何协调？（4）整个程序运行过程中的监控？容错？重试？

1

描述：我们在大数据学习的起初，会写到WordCount这样的程序，对文档内单词的重复次数进行统计。文档内容：hadoop hivehive sparkflume flinkhbase hivehadoop spark flink我们使用java代码实现这一功能，代码如下：public class WordCountJava { public static void main(String[] args) { //第一步 连接HDF...