qq_74234591的博客

1

如果让您设计Hive这款软件，要求能够实现1.用户只编写sql语句2.Hive自动将sql转换MapReduce程序并提交运行3.处理位于HDFS上的结构化数据。如何实现?

1. 什么是HDFS？HDFS全称：Hadoop Distributed File System是Hadoop三大组件（HDFS、MapReduce、YARN）之一可在多台服务器上构建集群，提供分布式数据存储能力2. HDFS中的架构角色有哪些？NameNode：主角色，管理HDFS集群和DataNode角色DataNode：从角色，负责数据的存储SecondaryNameNode：辅助角色，协助NameNode整理元数据。

1. 什么是计算、分布式计算？•计算：对数据进行处理，使用统计分析等手段得到需要的结果•分布式计算：多台服务器协同工作，共同完成一个计算任务2. 分布式计算常见的2种工作模式•分散->汇总 （MapReduce就是这种模式）•中心调度->步骤执行 （大数据体系的Spark、Flink等是这种模式）MapReduce概述MapReduce是“分散->汇总”模式的分布式计算框架，可供开发人员开发相关程序进行分布式数据计算。MapReduce提供了2个编程接口：•Map•Reduce其中。

从海量的高增长、多类别、低信息密度的数据中挖掘出高质量的结果可以实现大数据核心工作的存储和计算(另一个是传输)