IronmanJay

系列博客1、大数据技术之Hadoop完全分布式集群搭建+Centos7配置连通外网和主机2、大数据技术之Hadoop编译源码3、大数据技术之Hadoop分布式文件系统HDFS系统知识整理（从入门到熟练操作）4、大数据技术之Hadoop分布式计算框架MapReduce系统知识整理（从入门到熟练操作）文章目录一、MapReduce概述1.1 MapReduce定义1.2 MapReduce优缺点1.2.1 优点1.2.2 缺点1.3 MapReduce核心思想1.4 MapReduce进程1.5 .

文章目录一、HDFS概述1.1 HDFS产生背景1.2 HDFS定义1.3 HDFS使用场景1.4 HDFS优缺点1.4.1 优点1.4.2 缺点一、HDFS概述1.1 HDFS产生背景  随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种1.2 HDFS定义  HDFS（Hadoop Dis

文章目录一、前期准备工作二、jar包安装2.1 安装JDK2.2 安装Maven2.2 安装Ant一、前期准备工作配置CentOS能连接外网，保证Linux虚拟机ping www.baidu.com是畅通的全程使用root用户编译，减少文件夹权限出现问题jar包准备①：hadoop-2.7.2-src.tar.gz（Hadoop源码）②：jdk-8u144-linux-x64.tar.gz（JDK8）③：apache-ant-1.9.9-bin.tar.gz（build打包工具）④：apa

一、Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决，海量数据的存储和海量数据的分析计算问题。Hadoop并不只是单单一个技术，而是一个生态圈，里面包括Spark、Flume、HBase、Kafka、Sqoop、Hive、Oozie、Azkaban、Zookeeper。二、Hadoop组成1、Hadoop1.x  &n...