hangoer的博客

伪分布式模式介绍1.特点 - 在⼀台机器上安装，使⽤的是分布式思想，即分布式⽂件系统，⾮本地⽂件系统。 - Hdfs涉及到的相关守护进程(namenode,datanode,secondarynamenode)都运⾏在⼀台机器上，都是独⽴的java进程。2. ⽤途 ⽐Standalone mode 多了代码调试功能，允许检查内存使⽤情况，HDFS输⼊输出，以及其他的守护进程交互伪分布式搭建环境准备总纲1. 确保防⽕墙是关闭状态。2. 确保NAT模式和静态IP的确定 （19

为什么要⽤hadoop数据⼤⼩单位：Byte,KB,MB,GB,TB,PB,EB,ZB,YB,DB,NB⼀些数据集的⼤⼩更远远超过了1TB，也就是说，数据的存储是⼀个要解决的问题。同时，硬盘技术也⾯临⼀个技术瓶颈，就是硬盘的传输速度(读数据的速度)的提升远远低于硬盘容量的提升。我们看下⾯这个表格:可以看到，容量提升了将近1000倍，⽽传输速度才提升了20倍，读完⼀个硬盘的所需要的时间相对来说，更⻓更久了(已经违反了数据价值的即时性)。读数据都花了这么⻓时间，更不⽤说写数据了。对于如何提⾼读取数据的

本地模式介绍- 特点: 本地模式，即运⾏在单台机器上，没有分布式思想，使⽤的是本地⽂件系统。- ⽤途: 本地模式主要⽤于对MapReduce程序的逻辑进⾏调试，确保程序的正确。由于在本 地模式下测试和调试MapReduce程序较为⽅便，因此，这种模式适宜⽤在开发阶段。**1.2. 搭建过程**平台软件说明环境搭建: JDK的安装检查是否已经安装过或是否有内置的JDK，如果有，将其卸载# 卸载之前的原因，主要是需要保证安装的JDK版本的正确性。[root@qianfeng01 ~