
Spark
文章平均质量分 68
要努力啊要努力
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
GraphFrame 初试
GraphX基于RDD API,不支持Python API;但GraphFrame基于DataFrame,并且支持Python API。 “GraphFrames is a DataFrame-based external Spark package that provides performance optimizations and also additional functional原创 2018-01-07 21:44:02 · 5893 阅读 · 0 评论 -
SparkSQL UDF 两种方式:udf() 和 register()
1)调用sqlContext.udf.register()此时注册的方法 只能在sql()中可见,对DataFrame API不可见用法:sqlContext.udf.register("makeDt", makeDT(_:String,_:String,_:String))示例:def makeDT(date: String, time: String, tz: St原创 2016-09-04 16:11:25 · 13507 阅读 · 1 评论 -
Spark master local配置
local 本地单线程local[K] 本地多线程(指定K个内核)local[*] 本地多线程(指定所有可用内核)spark://HOST:PORT 连接到指定的 Spark standalone cluster master,需要指定端口。mesos://HOST:PORT 连接到指定的 Mesos 集群,需要指定端口。yarn-client客户端模式 连接到 YARN 集群。需要配置...原创 2016-09-03 15:08:43 · 5230 阅读 · 0 评论