Ddds的博客

5. MapReduce计算模型的核心是Map函数和Reduce函数,试述这两个函数各自的输人、输出以及处理过程。6.试述MapReduce的工作流程(需包括提交任务、Map, Shuffle, Reduce的过程)7. Shufifle过程是MapReduce工作流程的核心,也被称为奇迹发生的地方,.试分析Shuffle过程的作用15.试画出使用Mapreduce来对英语句子“ Whatever is worth doing is wort...

试述HDFS中的名称节点和数据结点的具体功能名称节点负责管理分布式文件系统的命名空间，记录每个文件中各个块所在的数据节点的位置信息；数据节点是分布式文件系统HDFS的工作节点，负责数据的存储和读取，会根据客户端或者名称节点的调度来进行数据的存储和检索，并向名称节点定期发送自己所存储的块的列表。在分布式文件系统中，中心节点的设计至关重要，请阐述HDFS是如何减轻中心节点的负担的在客户端需要访问一个文件时，名称节点并不参与数据的传输，而是只将数据节点位置发给客户端，因此实现了一个文件的数据能够

《大数据处理技术》1.试述大数据的基本特征4V+1V中文解释Volume海量数据量大 根据IDC作出的估测， 数据一直都在以每年 50%的速度增长Velocity快速处理速度快 从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少Variety多样数据类型繁多 大数据是由结构化和非结构化数据组成的Value价值价值密度低，商业价值高Veracity准确全面而非抽样2.试述大数据的关键技术技术层面 数据采集 利用ETL工