lt5227的博客

Hadoop Docker容器化部署我们学习Hadoop的过程中基本使用的是虚拟机，如果能用Docker来部署我们的Hadoop要比安装虚拟机方便多了，而且也便于我们移植我们的Docker镜像。所以这里我就想自己实现一个Hadoop的Docker镜像，通过配置可以在本地搭建一套基于Docker部署的Hadoop单机版本或者是Hadoop集群版本。废话不多说，首先要做的就是写一个Hadoop的Dockerfile出来，而且Hadoop我们使用的是Hadoop 3.2.2，截止到本文的编写该版本还是最新的版本

CentOS 设置 Hadoop 单节点集群（Hadoop 单节点环境搭建）关于Hadoop单节点环境的搭建可以参看官方文档：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html本文基于 CentOS 8 搭建 Hadoop 单节点集群。下载HadoopApache Hadoop的下载地址是：http://www.apache.org/dyn/closer.cgi/had

Hadoop HTTP WEB-控制台认证我们安装完hadoop后，默认情况下我们访问UI界面是没有任何安全验证的。现在我想要的是对Hadoop的Web控制台界面加入一些安全机制，最好是能设置用户名和密码，通过用户名密码的方式来访问我们的Hadoop Web控制台。在做之前，我首先想看看官方有没有类似的这样的功能。下面的文档是官方的 《Hadoop HTTP web-控制台认证》 的说明文档：https://hadoop.apache.org/docs/stable/hadoop-project-dis

大数据概述1. 大数据的4V特征什么是大数据？这个问题对于不同的行业来说答案有可能不同，其就如盲人摸象一般，不同的人所接触不同行业对于大数据的理解都不一样，大数据的特征还存在一定的争议，但按照普遍被接受的有4个特征：数据量（Volume）速度（Velocity）多样性，复杂性（Variety）基于高度分析的新价值（Value）这四个特征称之为大数据的4V特征。2. 大数据带来的技术变革技术驱动存储方式：文件存储 => 分布式存储大数据有数据量大的特点，对应的我们的存储

初识HadoopHadoop概述Hadoop起源于Apache Nutch项目，始于2002年，是Apache Lucene的子项目之一。2004年，Google在“操作系统设计与实现”（Operating System Design and Implementation，OSDI）会议上公开发表了题为MapReduce：Simplified Data Processing on Large Clusters（Mapreduce：简化大规模集群上的数据处理）的论文之后，受到启发的Doug Cutting