Hadoop
关注
分享
扫一扫
HDFS、MapReduce
H_X_P
Vegetarian
展开
-
VM虚拟机 - Docker - CentOS 7 - 快速使用Docker从零搭建Hadoop完全分布式集群详细教程（亲测有效，※吐血推荐※）（内含快速启动容器脚本）
“想要用docker搭建Hadoop集群吗？想要的话可以看我这篇博客！我把好多坑都走了，尽情复制吧！”原创 2020-11-06 20:00:47 · 2475 阅读 · 3 评论 -
Hadoop-MapReduce优化方法
Hadoop-MapReduce优化方法原创 2020-05-18 20:55:28 · 1258 阅读 · 0 评论 -
Hadoop-MapReduce执行的全过程
Hadoop-MapReduce执行的全过程原创 2020-05-15 22:29:58 · 474 阅读 · 0 评论 -
Hadoop-MapReduce-数据压缩
Hadoop-MapReduce-数据压缩原创 2020-05-14 17:20:53 · 266 阅读 · 0 评论 -
Hadoop-MapReduce-MapJoin
Hadoop-MapReduce-MapJoin原创 2020-05-14 09:22:18 · 245 阅读 · 0 评论 -
Hadoop-MapReduce-自定义OutputFormat
Hadoop-MapReduce-自定义OutputFormat原创 2020-05-13 12:05:06 · 262 阅读 · 0 评论 -
Hadoop-MapReduce-Partitioner分区，WritableComparable全排序、区内排序、GroupingComparator分组排序，Combiner合并
Hadoop-MapReduce-Partitioner分区，WritableComparable全排序、区内排序、GroupingComparator分组排序，Combiner合并原创 2020-05-12 22:27:07 · 536 阅读 · 0 评论 -
Hadoop-MapReduce-Reduce阶段调用reduce()方法过程源码分析
Hadoop-MapReduce-Reduce阶段调用reduce()方法过程源码分析原创 2020-05-12 21:34:14 · 797 阅读 · 1 评论 -
Hadoop-MapReduce-CombineTextInputFormat，KeyValueTextInputFormat，NLineInputFormat，自定义InputFormat
Hadoop-MapReduce-CombineTextInputFormat，KeyValueTextInputFormat，NLineInputFormat，自定义InputFormat原创 2020-05-09 09:51:51 · 1000 阅读 · 0 评论 -
Hadoop-MapReduce-FileInputFormat切片getSplits()源码分析，MapReduce InputSplit（切片）与HDFS Block（块）对比
Hadoop-MapReduce-FileInputFormat切片getSplits()源码分析，MapReduce InputSplit与HDFS Block对比原创 2020-05-08 11:59:55 · 467 阅读 · 0 评论 -
Hadoop-MapReduce-WordCount示例及序列化
Hadoop-MapReduce-WordCount示例及序列化原创 2020-05-07 11:37:30 · 359 阅读 · 0 评论 -
Split Brain Scenario and HA pair（High Availability pair）
Split Brain Scenario是发生在HA pair（High Availability pair）（分布式系统）中，两个健康节点均认为自己是活动节点（Active node），另一个节点是备份节点（Standby node）的特殊情况。这种情况意味着这是个不健康的HA pair，如果想系统正常运行，必须解决这个问题。 一个HA对是两个由控制器（controller）直接相连的存储系统（节点）。在这种配置中，如果一个节点发生故障，另一个节点可以接管其伙伴节点的存储，并提供持续的数据服务（高可用）原创 2020-05-06 00:05:54 · 454 阅读 · 0 评论 -
Hadoop-分布式系统HDFS学习
Hadoop-分布式系统HDFS学习原创 2020-05-04 22:23:57 · 957 阅读 · 0 评论 -
Hadoop-HDFS的数据读写过程（详细过程与图解）
Hadoop-HDFS的数据读写过程（详细过程与图解）原创 2020-05-03 13:15:21 · 4606 阅读 · 0 评论 -
Windows下使用Java对HDFS集群进行操作（上传文件，下载文件，删除文件，查看文件信息）
Windows下使用Java对HDFS集群进行操作原创 2020-04-30 13:13:08 · 470 阅读 · 0 评论 -
Hadoop-Windows下HDFS客户端环境搭建，Eclipse连接HDFS的心酸历程（内附winutils.exe（hadoop-2.6.5~hadoop-3.2.1））
Hadoop-Windows下HDFS客户端环境搭建，Eclipse连接HDFS的心酸历程（内附winutils.exe（hadoop-2.6.5~hadoop-3.2.1））原创 2020-04-27 12:40:41 · 1794 阅读 · 2 评论 -
Maven3.6.3安装及eclipse配置Maven
Maven3.6.3安装及eclipse配置Maven原创 2020-04-27 09:30:42 · 1583 阅读 · 0 评论 -
maven报错Missing artifact jdk.tools:jdk.tools:jar:1.8，添加jdk.tools依赖依然报错
报错Missing artifact jdk.tools:jdk.tools:jar:**1.8和**The container 'Maven Dependencies' references non existing library ‘D:\maven3.6.3\Repository\jdk\tools\jdk.tools\1.8\jdk.tools-1.8.jar’，中间有警告The compiler compliance specified is 1.7 but a JRE 1.8 is used原创 2020-04-26 23:14:13 · 2346 阅读 · 0 评论 -
Linux-CentOS 7-集群时间同步
Linux-CentOS 7-集群时间同步原创 2020-04-25 16:22:17 · 264 阅读 · 0 评论 -
虚拟机-Linux-CentOS 7吐血安装Hadoop2.9.2搭建集群教程（详细图解）
虚拟机-Linux-CentOS 7吐血安装Hadoop2.9.2搭建集群教程（详细图解）原创 2020-04-24 21:30:34 · 1709 阅读 · 0 评论