
spark
spark总结汇总,知识分享
bigDataShare
java,scala,linux,微服务和大数据分享平台.分享你我他
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
spark异常汇总(持续更新中~~)
目录 1 idea运行spark javaApi 异常 问题点: 问题再现: 解决方案: 1 idea运行spark javaApi 异常 问题点: idea不识别spark泛型,报异常但是能正常运行(maven clean) 问题再现: 入下图 incompatible types.required JavaRDD<String> but 'flatMap' was...原创 2020-02-28 10:31:50 · 881 阅读 · 0 评论 -
Spark SQL 入门应用 DataFrames
目录 一sparkSQL简介 二DSL风格应用 三SQL风格语法 一sparkSQL简介 什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 为什么要学习Spark SQL 我们已经学习了Hive,它是将Hive SQL转换成MapReduce然后提交到集群上执行,大大...原创 2019-12-03 11:39:28 · 199 阅读 · 0 评论