darkness0604的博客

HDFS 简单JAVA-API实例POM引入代码部分 本案例是以已经搭建好HDFS环境的基础上进行API调用。 POM引入 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2...

MapReduce学习03-client端开发POM准备配置文件准备代码实现任务的提交方式 本节的目标是通过java的client端完成需求：对一段目标文本里统计每个单词出现的次数。 POM准备 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" ...

MapReduce学习02-环境搭建 在hadoop2.x中，mapreduce使用的yarn模型，也就是mapreduce on yarn来实现了计算系统的解耦。 本次搭建的节点如下所示，除了HDFS的节点外，我们分别在2,3,4搭建NodeManager，在3,4搭建ResourceManager 架构： RM NM 搭建： NN NN JN ZKFC ZK DN R...

MapperReduce入门笔记小记 小记 MapReduce可以拆分为：Map和Reduce，其中Map以一行为单位，Reduce以一组为单位。 当一个文件通过HDFS进行拆分后，会被分为多个block块。 块是一种物理切割单位，而split是一种逻辑切割单位。 其中split的数量可以一个split对应1个块，，可以一个split对应多个块，也可以多个split对应多个块。 每一个spil...

HADOOP HA版搭建前言1.环境搭建 前言 本文仅用来记录个人搭建HADOOP高可用版本 1.环境搭建 在已搭建好4台虚拟机节点的基础上，进行环境搭建。 在高可用版本中，namenode升级为两台节点主备模式部署，啊 ...

Permission Owner Group Size Replication Block Size Name drwxr-xr-x root supergroup 0 B 0 0 B user -rw-r--r-- root supergroup 8.61 KB 2 128 MB install.log hdfs是一个文件系统 类unix、linux 有用户概念 hdfs...

HDFS HA版搭建伪分布式(单机)完全分布式 伪分布式(单机) 伪分布式： 在一个节点启动所有的角色： NN,DN,SNN hadoop 安装： centos 6.5 jdk 1.8 hadoop 2.6.5 1基础设施： 设置网络： 设置IP * 看看自己的vm的编辑->虚拟网络编辑器->观察 NAT模式的地址 vi /etc/sysconfig/network...