
HADOOP
文章平均质量分 91
HADOOP系列组件:HDFS,MapReduce,HBase,从搭建到源码解析!
小林玩大数据
专注大数据领域研究,包括 Hadoop、Spark、Flink、Kafka、Hive等。
展开
-
Hadoop 生态最牛逼的组件,HDFS 排第二,它排第一!
Yarn 是目前大数据领域最流行的资源管理系统,也是 Hadoop 2.0 版本改动最大的一个特性!YARN 必须要学会!原创 2021-10-10 15:43:22 · 1040 阅读 · 0 评论 -
HDFS 读写异常容错机制与调优技巧
HDFS 读写容错与调优!原创 2021-09-20 01:03:46 · 1782 阅读 · 0 评论 -
HDFS 底层交互原理,看这篇就够了!
HDFS 架构模型,源码级读写流程,故障转移切换!原创 2021-09-07 08:21:53 · 1141 阅读 · 1 评论 -
MapReduce 内部实现机制,你真的懂吗?
微信公众号:小林玩大数据作者:林中鸟如果你觉得此文对你有帮助,欢迎点赞!1. MapReduce 简介2. MapReduce 的处理特点3. MapReduce 内部实现机制 3.1 MapReduce 执行流程 3.2 Map阶段 3.3 Reduce 阶段1. MapReduce 简介MapReduce 编程范式将数据处理拆分成了两个基本阶段:Map 阶段与 Reduce 阶段。每个阶段的输入和输出均为键值对。Map 阶段对应的进程为Ma...原创 2020-05-24 17:53:34 · 1545 阅读 · 1 评论 -
实战 | 史上最详细Hadoop大数据集群搭建,不看后悔系列
这里写自定义目录标题搭建环境软件环境依赖部署jdk安装及配置ssh免密钥配置Hadoop部署合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入搭建环境实验环境本文基于HA分布式文件系统,搭建MapReduce on yarn大数据集群。原创 2020-05-15 19:29:32 · 1238 阅读 · 1 评论