qq_24271537的博客

map原理图: 流程: block数据: dear car bear car map处理数据:按照空格进行分割,输出key-value格式,key为分割得到的字符,value为1 map处理后的数据: (dear,1),(car,1),(bear,1),(car,1) shuffle:将相同的key放入到相同的reduce中 4个(Dear, 1)键值对，转换成[Dear, Iterable(1, 1, 1, )]，作为两个参数传入reduce() 在reduce()内部，计算De.

HDFS是什么？？ HDFS（Hadoop Distributed File System ），即hadoop的分布式文件系统 File System 文件系统：操作系统中负责管理和存储文件信息的软件 分布式文件系统 ：当数据集大小超出一台计算机的存储能力时，就有必要将它拆分成若干部分，然后分散到不同的计算机中存储 ；管理网络中跨多台计算机存储的文件系统称之为分布式文件系统 ...

Hadoop简介： 提供了一个可靠的且可扩展的存储和分析平台 ； 其与关系型数据库的区别在于：它们所操作的数据集的机构化程度，Hadoop对非结构化数据或半结构化数据非常有效。 https://mp.weixin.qq.com/s?src=11&timestamp=1575514273&ver=2015&signature=TUAkEUuEgEoDQvdwXo3TVA...