sinat_37316828的博客

HDFS概述HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。HDFS定义HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的使用场景：适合一次写入，

Hadoop基础环境搭建(TODO)个人学习记录说明个人学习记录基于虚拟机搭建，需要提前准备虚拟机环境搭建版本：hadoop-3.1.3搭建HDFS和yarn提前准备Hadoop安装包：hadoop-3.1.3.tar.gzHadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/提前准备JDK安装包：jdk-8u212-linux-x64.tar.gz环境准备准备3台虚拟机，最低要求：内存4G，硬盘

Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决,海量数据的存储和海量数据的分析计算问题广义上来说, Hadoop通常是指一个更广泛的概念-Hadoop生态圈Hadoop三大发行版本Hadoop三大发行版本：Apache、Cloudera、Hortonworks。Apache版本最原始（最基础）的版本，对于入门学习最好。Cloudera内部集成了很多大数据框架。对应产品CDH。Hortonworks文档较好。对应产品HDP。Hadoop的优势