转载
关注
分享
扫一扫
MrGrant
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
spark机器学习库之决策树分类
分类决策树代码import org.apache.spark.sql.SparkSessionimport org.apache.spark.sql.Datasetimport org.apache.spark.sql.Rowimport org.apache.spark.sql.DataFrameimport org.apache.spark.sql.Columnimport or转载 2017-08-10 15:04:59 · 865 阅读 · 0 评论 -
spark中的分片
本文基于Spark 2.1.0版本新手首先要明白几个配置：spark.default.parallelism：（默认的并发数） 如果配置文件spark-default.conf中没有显示的配置，则按照如下规则取值：本地模式（不会启动executor，由SparkSubmit进程生成指定数量的线程数来并发）：spark-shell ...转载 2019-01-28 16:47:11 · 2796 阅读 · 0 评论