zhangkai's blog

*安装centos 7 字符界面*打开VM虚拟,创建新的新的虚拟机 这里选择自定义，也可以按照自己的意愿选择典型。 下一步~ 下一步~ 选择你要创建虚拟机的名和位置，可以默认。 根据自己的意愿，可以设定处理器的数量 对于内存是8G的可以分配3G或4G~，

一、 读文件 操作步骤： 1.连接HDFS系统Configuration configuration = new Configuration();configuration.set("fs.defaultFS","hdfs://hadoop.skedu.com:9000");2.获得文件系统FileSystem fileSystem = FileSystem.get(confi

基本配置： 三台机器名分别是zhangkai,zhangkai2,zhangkai3,并且都是在zzxb普通用户下进行搭建。 hadoop-2.7.4、jdk8步骤： 1.在各个节点opt目录下创建app目录，用来存放集群相关的软件。$ sudo mkdir /opt/app赋予zzxb用户对app目录的读权限。sudo chown -R zzxb:skhadoop app2.将hadoop安

1、ZooKeeper简介　　ZooKeeper是一个为分布式应用所设计的开源协调服务。可以为用户提供同步、配置管理、分组和命名等服务。ZooKeeper提供一个易于编程的环境，它的文件系统使用了我们熟悉的目录树结构,ZooKeeper是使用Java编写的，但是它支持Java和C两种编程语言接口。2、ZooKeeper的设计目标　　分布式环境下的程序和活动为了达到协调一致的目的，通常具有某些共同的特

1、基本定义 HA：High Available,译为：高可用性。 　　Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。对于只有一个NameNode的集群，若NameNode机器出现故障，则整个集群将无法使用，直到NameNode重新启动。NameNode主要在以下两个方面影响HDFS集群： 　　１、NameNode机器发生意外，如宕机，集群将无法使用，直到管

1、Mapreduce简介 　1)Mapreduce是一种分布式计算模型，是google提出的，主要用于搜索领域，解决海量数据的计算问题。 　2)Mapreduce有两个阶段：map和reduce，需要实现map()和reduce()两个函数，即可实现分布式计算。２.、mapreduce执行流程３、mapreduce执行原理４、执行步骤 　1)Ma

Int ——>IntWritable Long——->LongWritable String——>Text Double—->DoubleWritable Float——->FloatWritable Null——–>MullWritable开发步骤 　1、创建属性和以及getter、setter和构造方法//创建一个PariWritable的类//属性private