
spark-sql学习
yala说
这个作者很懒,什么都没留下…
展开
-
spark-sql cli模式下的优化经验
在spark-sql cli模式下只能是纯sql ,这个对于执行过程中的一些操作基本没有操作的可能, 因此当出现执行速度很慢时优化难以入手原创 2020-05-26 23:39:21 · 712 阅读 · 0 评论 -
spark-sql cli客户端搭建
网上关于spark-sql的资料很少,刚开始用spark-sql cli时我也好奇怎么还能使用这样的方式?下面就自己试了一下, 如果你看到这个文章,你会发现跟不用搭建,可能你只是不知到入口,在集群上启动很简单,进到spark/bin目录下面执行spark-sql,和spark-shell完全相同,这个是在集群中的一台设备上执行的 但是有些公司是用spark-sql client模式开发的,不是...原创 2019-10-16 23:58:19 · 844 阅读 · 0 评论 -
测试环境一次spark-sql执行limit查询失败问题解决
问题描述 同事在执行sql查询直接用limit 查看几条数据时发现报错,但是用count或* 查询是显示有数据。第一感觉真的很奇怪,后面发现是马虎的锅; select * from tableName ; 正确显示数据; select * fromtableName limit 2; 查询报错(因为公司日志复制不出来,只好敲出来一部分,剩余上图了) java.lang.Unsupport...原创 2019-10-16 23:40:16 · 3293 阅读 · 0 评论