darkness0604的博客

HDFS 简单JAVA-API实例POM引入代码部分本案例是以已经搭建好HDFS环境的基础上进行API调用。POM引入<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2...

MapReduce学习03-client端开发POM准备配置文件准备代码实现任务的提交方式本节的目标是通过java的client端完成需求：对一段目标文本里统计每个单词出现的次数。POM准备<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" ...

MapReduce学习02-环境搭建在hadoop2.x中，mapreduce使用的yarn模型，也就是mapreduce on yarn来实现了计算系统的解耦。本次搭建的节点如下所示，除了HDFS的节点外，我们分别在2,3,4搭建NodeManager，在3,4搭建ResourceManager 架构： RM NM 搭建： NN NN JN ZKFC ZK DN R...

MapperReduce入门笔记小记小记MapReduce可以拆分为：Map和Reduce，其中Map以一行为单位，Reduce以一组为单位。当一个文件通过HDFS进行拆分后，会被分为多个block块。块是一种物理切割单位，而split是一种逻辑切割单位。其中split的数量可以一个split对应1个块，，可以一个split对应多个块，也可以多个split对应多个块。每一个spil...

HADOOP HA版搭建前言1.环境搭建前言本文仅用来记录个人搭建HADOOP高可用版本1.环境搭建在已搭建好4台虚拟机节点的基础上，进行环境搭建。在高可用版本中，namenode升级为两台节点主备模式部署，啊...

Permission Owner Group Size Replication Block Size Namedrwxr-xr-x root supergroup 0 B 0 0 B user-rw-r--r-- root supergroup 8.61 KB 2 128 MB install.loghdfs是一个文件系统 类unix、linux 有用户概念 hdfs...

HDFS HA版搭建伪分布式(单机)完全分布式伪分布式(单机)伪分布式： 在一个节点启动所有的角色： NN,DN,SNNhadoop 安装：centos 6.5jdk 1.8hadoop 2.6.51基础设施： 设置网络： 设置IP * 看看自己的vm的编辑->虚拟网络编辑器->观察 NAT模式的地址 vi /etc/sysconfig/network...