
Spark
monkey-jie
这个作者很懒,什么都没留下…
展开
-
Spark Streaming的基本思路和基本架构
一、基于 Spark 做 Spark Streaming 的思路Spark Streaming 与 Spark Core 的关系可以用下面的经典部件图来表述:在本节,我们先探讨一下基于 Spark Core 的 RDD API,如何对 streaming data 进行处理。理解下面描述的这个思路非常重要,因为基于这个思路详细展开后,就能够充分理解整个 Spark Streaming 的模块...原创 2018-11-17 11:57:29 · 533 阅读 · 0 评论 -
spark2.x版本RDD转SchemaRDD无法成功的解决方法
最近在学spark SQL,运行官方文档的最简单的一个例子,在import sqlContext.createSchemaRDD时,却出现了这个问题:error: value createSchemaRDD is not a member of org.apache.spark.sql.SQLContext当时就很纳闷,还以为是我的拼写或者大小写有误,但是我核对了几遍,发现并没有拼写错误,...原创 2018-11-21 22:49:30 · 564 阅读 · 0 评论