大数据生态
关注
分享
扫一扫
文章平均质量分 92
系统概括大数据Hadoop生态圈里的各个组件，学习大数据的绚丽多彩
火航
这个作者很懒，什么都没留下…
展开
-
Hadoop学习笔记：二、Hadoop环境安装配置
Hadoop学习笔记：二、Hadoop环境安装配置目标1 VMware安装CentOS71.1 安装VMware151.2 Centos7安装2 Hadoop集群搭建（完全分布式）2.1 Hadoop2.7.7安装2.2 配置Hadoop2.3 疑难解决3 总结目标掌握VMware安装Centos7系统掌握Hadoop集群搭建掌握相关软件的安装知道常见问题的处理1 VMware安装CentOS71.1 安装VMware15关注公众号：EZ大数据，回复VM获取VMware15安装包及激活原创 2021-06-09 08:28:31 · 234 阅读 · 0 评论 -
Hadoop学习笔记：六、资源调度器Yarn
Hadoop学习笔记：六、资源调度器Yarn目标：1 Yarn的基本架构2 Yarn的工作机制3 Yarn的作业提交过程4 Yarn的资源调度器目标：了解Yarn的基本架构掌握Yarn的工作机制重点：掌握Yarn的作业提交过程了解Yarn的资源调度器1 Yarn的基本架构Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于操作系统之上的应用程序架构示意图：2 Yarn的工作机制工作机制详解：原创 2021-06-08 22:24:39 · 93 阅读 · 0 评论 -
Hadoop学习笔记：五、MapReduce
Hadoop学习笔记：五、MapReduce目标：1 MapReduce概述1.1 MapReduce定义1.2 MapReduce优缺点1.3 MapReduce核心思想1.4 MapReduce编程规范2 Hadoop序列化2.1 序列化概述3 MapReduce框架原理3.1 InputFormat数据输入3.2 FileInputFormat切片机制3.3 CombineTextInputFormat切片机制3.4 自定义InputFormat4 MapReduce工作流程4.1 流程示意图4.2原创 2021-06-08 22:22:37 · 364 阅读 · 1 评论 -
Hadoop学习笔记：四、HDFS高级部分
Hadoop学习笔记：四、HDFS高级部分目标：1 HDFS的数据流1.1 HDFS读数据流程1.2 HDFS写数据流程2 NN和SNN2.1 NN和SNN工作机制2.2 FsImage和Edits详解2.3 NN故障处理3 DN3.1 DN工作机制3.2 数据完整性4 HDFS2.x新特性4.1 小文件存档4.2 快照5 HDFS的HA（高可用）5.1 HA概述5.2 HDFS-HA工作要点5.3 HDFS-HA自动故障转移机制小结目标：重点：HDFS的数据流（读写操作）重点：NameNode和S原创 2021-06-08 22:20:23 · 273 阅读 · 0 评论 -
Hadoop学习笔记：三、初步认识HDFS
Hadoop学习笔记：三、初步认识HDFS目标：1 HDFS概述1.1 背景及定义1.2 优缺点2 HDFS组成架构2.1 组成架构2.2 文件块大小3 HDFS的Shell操作3.1 基本语法3.2 常用命令目标：了解HDFS背景及定义掌握HDFS的优缺点掌握HDFS的组成架构掌握HDFS的Shell操作1 HDFS概述1.1 背景及定义背景在现实情况下，随着数据量增大，一个操作系统存不下所有的数据，那么久分配到更多的操作系统的磁盘中，但是不方便管理和维护，所以就需要一个系统来管原创 2021-06-08 22:18:14 · 155 阅读 · 0 评论 -
Hadoop学习笔记：一、认识大数据生态体系
Hadoop学习笔记：一、认识大数据生态体系目标1 大数据认知1.1 部门业务流程1.2 部门组织架构2 Hadoop-->大数据生态2.1 Hadoop是什么2.2 Hadoop的发展2.3 Hadoop优势2.4 Hadoop组成3 大数据技术生态体系3.1 生态体系示意图3.2 相关技术解释目标认识大数据从Hadoop框架来看大数据生态1 大数据认知略过概念性的大数据特点、前（钱）景、优势等，直接看点工作实际相关的1.1 部门业务流程1.2 部门组织架构2 Hadoo原创 2021-06-08 20:31:07 · 286 阅读 · 0 评论