
spark
桸櫾桎栘
任何的限制都是从自己内心开始的
展开
-
Shark查询比Hive慢的原因分析
通常来,相同条件下,shark查询不会比Hive慢,但有时确实会发生Shark较慢的情况原因可能如下:1.内存设置不当或者数据倾斜,导致shark不可用或者大量任务失败或者长时间的Full GC.2.Hive 在物理执行上有很多优化,但是Shark并没有完全移植过来。比如在写数据表时,合并数据表的小数据块文件,根据输入文件大小动态改变marped.reduce.task等。3.SQL语原创 2015-04-14 17:16:26 · 1132 阅读 · 0 评论 -
Centos 安装R和sparkR
Centos 安装R和sparkR安装环境原创 2015-11-02 17:22:58 · 885 阅读 · 0 评论