
spark
汀桦坞
努力不是疲惫憔悴,而是眼里有光
展开
-
spark dataframe学习记录
文本数据id,name,balance1,Alice,1002,Bob,2003,Charlie,3004,Denis,4005,Edith,500定义case class, 参数名即为表的列名case class Account(id: Int, name: String, balance: Double)从hdfs上的文本创建rddval rdd = sc.textFi...原创 2018-10-26 17:35:00 · 328 阅读 · 0 评论 -
Spark on Mesos & YARN & Master提交任务的方式
说明:如下内容来自网络和相关书籍原创 2018-11-27 09:47:40 · 382 阅读 · 0 评论 -
Spark采用分区方式读取数据库时partitionColumn, lowerBound, upperBound, numPartitions的理解与验证
关键概念partitionColumn:分区字段,需要是数值类的(partitionColumn must be a numeric column from the table in question.),经测试,除整型外,float、double、decimal都是可以的 lowerBound:下界,必须为整数 upperBound:上界,必须为整数 numPartitions:最大分...原创 2018-12-10 18:58:24 · 9391 阅读 · 0 评论