AidenBrett7的博客

Hadoop——基础介绍一、Hadoop介绍二、Hadoop特性优点一、Hadoop介绍​Hadoop是一个用java语言实现的开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储MAPREDUCE（分布式运算编程框架）：解决海量数据计算YARN（作业调度...

Hadoop——安装与部署一、安装前提1. 配置好各虚拟机的网络（采用NAT联网模式）2. 修改各个虚拟机主机名3. 修改主机名和IP的映射关系4. 关闭防火墙5. 配置ssh免登陆6. 同步集群时间7. 安装jdk 1.8二、CDH版本Hadoop重新编译三、修改Hadoop配置文件四、对NameNode进行初始化五、Hadoop启动关闭方式1. 单节点逐个启动2. 脚本一键启动六、hadoop...

Hadoop——HDFS垃圾桶机制HDFS的垃圾桶机制1. 基本介绍2. 配置操作3. shell操作4. java操作HDFS的垃圾桶机制1. 基本介绍每一个文件系统都会有垃圾桶机制，将删除的数据回收到垃圾桶里面去，避免某些误操作删除一些重要文件。回收到垃圾桶里里面的资料数据，都可以进行恢复。HDFS同样拥有垃圾桶机制，但默认为禁用状态，若要开启垃圾桶机制，需要手动配置。如果启用垃圾桶...

Hadoop——JobHistoryJobHistory1. 修改mapred-site.xml配置文件2. JobHistory 的启动 & 关闭3. 显示聚合功能JobHistoryJobHistory是用来记录已经运行完成的MapReduce作业日志信息，并将其存放在指定的HDFS目录下。默认情况下是没有启动，需要修改mapred-site.xml配置文件后手工启动服务。1. ...

Hadoop——HDFS 基础介绍

Hadoop——HDFS Shell 客户端一、Shell 命令行客户端二、配置默认访问文件系统三、Shell 命令选项四、Shell常用命令介绍五、HDFS文件限额操作1. 数量限额2. 空间大小限额3. 查看hdfs文件限额数量一、Shell 命令行客户端Hadoop提供了文件系统的shell命令行客户端，使用方法如下：hadoop fs <args>文件系统shell包...

Hadoop——HDFS 工作机制

Hadoop——Hadoop机架感知

Hadoop——HDFS Java API

Hadoop——HDFS Snapshot快照功能一、概述二、具体操作一、概述快照snapshots是HDFS文件系统的只读的基于某时间点的拷贝，可以针对某个目录，或者整个文件系统做快照。快照比较常见的应用场景是数据备份，以防一些用户错误或灾难恢复。快照的高效性实现：（1） 快照可以即时创建。（2） 只有当涉及到快照目录的修改被执行时，才会产生额外的内存消耗。（3） 创建快照时，blo...

Hadoop——MapReduce基础介绍一、MapReduce思想二、一、MapReduce思想先分再合，分而治之二、

Hadoop——MapReduce编程规范及示例编写一、编程规范二、WordCount示例编写1. Maven依赖2. Mapper3. Reducer4. Client一、编程规范用户编写的程序分成三个部分：Mapper，Reducer，Driver(提交运行mr程序的客户端)Mapper的输入数据是KV对的形式（KV的类型可自定义）Mapper的输出数据是KV对的形式（KV的类型可自...