
spark
流浮影
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark官网补缺之SparkStreaming
Spark官网补缺之SparkStreaming 版本2.3.4 官网网址:http://spark.apache.org/docs/2.3.4/streaming-programming-guide.html 文章目录Spark官网补缺之SparkStreaming1.开篇简介1.1隐式转换1.2创建StreamingContext1.3pow依赖1.4一些注意点1.5DStreams1.6输入...原创 2019-12-25 19:09:25 · 1477 阅读 · 0 评论 -
Spark官网补缺
Spark官网补缺(2.3.4) RDD SparkSql 文章目录Spark官网补缺(2.3.4) RDD SparkSql1.RDD1.1文件格式1.2 shell操作1.3 惰性加载1.4 缓存(持久化)1.5shuffle有排序吗? sorted blocks.1.6调优策略之序列化1.7调优策略之内存调优1.8调优的其他配置2.Spark Sql2.1.1全局临时视图2.2.1spark...原创 2019-12-04 19:56:34 · 606 阅读 · 0 评论 -
spark本地提交集群运行踩过的坑
spark本地提交集群运行踩过的坑 1.本地提交,集群跑spark程序设置(scala) val conf = new SparkConf().setAppName("SparkWordCount") conf.setMaster("spark://hadoop-01:7077") conf.setJars(Array("D:\\hadoop\\spark\\target\\zb...原创 2019-11-02 21:21:41 · 2982 阅读 · 1 评论