Big Data

apache的顶级项目【1.为什么MR的执行性能低？】1.map和reduce以一个进程来运行的，启动和销毁进程开销大；spark是线程级别的；2.当Map开始产生输出时，它并不是简单的把数据写到磁盘，因为频繁的磁盘操作会导致性能严重下降。它的处理过程更复杂，数据首先是写到内存中的一个缓冲区，并做了一些预排序，以提升效率。【2.Mapreduce的思想】map完成之后，为了确...

LoadLOAD DATA [LOCAL] INPATH'filepath'[OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2...)]create table dept(deptno int,dname string,location string) row format de...

为什么Hive SQL要分析过程sql执行非常慢sql执行的步骤Predicate Push Down 和MapJoin发生在逻辑执行计划还是物理执行计划？group by的过程mapreduce count过程：split ==> （word,1）shuffle:(word,1) partition ==> reducereduce:(word,可迭代的...

分类：UDF：一行对一行的映射(一行进来，一行出去)UDAF：many to one 多进一出UDTF：Table-generating 一进多出 如lateral view explode()UDF的临时函数只对当前session有效...