大爵爷

hadoop概述 hadoop的应用：大数据解决的是海亮的存储和海量数据的分析计算问题。 hadoop1.x 和2.x的区别 h1的napreduce负责了计算和资源调度，在h2里面，新增yarn负责资源调度，进行解耦，模块化。mapreduce只负责运算。 ...

入门 HADOOP环境搭建以及测试案例 HDFS

hadoop的安装分为三种模式： 1. 本地模式 2. 伪分布式模式 3. 完全分布式模式 本地模式： 本地模式安装 一 官网下载hadoop安装包 ,选择二进制的。 下载 wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz 解压 解压到当前目录 tar -zxvf hado...

Hadoop安装完后，启动时报Error: JAVA_HOME is not set and could not be found. 解决办法：在/etc/hadoop/hadoop-env.sh中加入JAVA_HOME的值，应当使用绝对路径。 正确方式是：export JAVA_HOME=/usr/java/jdk1.80_45 ...

集群有2个角色， 一个是namenode，一个datanode； datanode启动之后向namenode注册；只要是包含了哪些块，哪些数据； namenode会将信息添加到元数据中； 这些信息按周期上报一次， 默认1小时； namenode和datanode之间还有心跳，每三秒一次，心跳的返回结果带有namenode给datanode的命令； 超过10分钟没有datanode的心跳，就认为节...

mapreduce是一个分布式运算程序的编程框架；是给予hadoop的数据分析应用的基础框架。 优点： 易于编程；简单的实现一些接口就能完成一个分布式的任务。 良好的扩展性；通过增加机器就能提高性能。 高容错性；其中一台挂了， 会自动的转移到另一个节点上运行，不需要人为操作。 适合pb级别的海量离线数据处理。 缺点： 不是实时计算；不能像mysql一样在毫秒或者秒内返回结果。 不擅长流式计算。 ...

本文系统性的整理了hdfs相关的内容，包含概念，架构，原理，shell操作等知识点。