weixin_45032905的博客

1.

总结，大数据背景下，hdfs看起来想一个无限大的存储空间，mapreduce的思想充分利用所有的cpu和内存。所以hive中的一个核心模块就是metastore， 用来存储结构化的信息，也就是“数据的数据”，其实也是借用了传统文件系统的“metaData”（元数据）的概念。是一种特殊的语法，主要搭配UDTF类型函数一起使用，用于解决UDTF函数的限制（也即是爆炸的虚表没有和原表进行连接）然后hive的执行引擎会将sql进行语法分析，生成语法树，然后生成mapreduce程序，进行数据的计算工作。