
Hadoop
文章平均质量分 88
sakulamartain
这个作者很懒,什么都没留下…
展开
-
Hive MapJoin原理
本文主要想讨论在Hive1.2.2环境中,以下三种情况下,2表做left join的执行原理:1. 2张相同大小的表做left join;2. 大表做主表,与临时表做left join;在进行试验之前,先说下官方对于 Map Join的原理说明:Hive MapJoin原理说明:MapJoin 就是在Map阶段将小表读入内存并生成HashTableFiles,然后顺序扫描大表完成Join。上图是Hive MapJoin的原理图,出自Facebook工程师Liyin T...原创 2021-10-29 14:04:06 · 1540 阅读 · 0 评论 -
Centos6 下 spark1.6.3_hadoop2.6 分布式集群环境搭建
Scala安装下载,解压下载Scala-2.11.8.tgz,修改环境变量文件/etc/profile添加以下内容export SCALA_HOME=/root/workspace/software/scala-2.10.4export PATH=$PATH:$SCALA_HOME/bin1source使之生效source /etc/profile验证Scala安装[root@racnode2 bin]# scalaWelcome to Scala ...原创 2021-10-29 14:02:23 · 879 阅读 · 0 评论