dataastron的博客

// 先对employee进行过滤，只统计20岁以上的员工 emp.filter("age > 20") // 需要跟department数据进行join，然后才能根据部门名称和员工性别进行聚合 // 注意：untyped join，两个表的字段的连接条件，需要使用三个等号 .join(dep, $"depId" === $"id") ...

PySpark 的背后原理发表于 2017-07-05 | 分类于 spark | 阅读量 3462次spark pyspark 分布式计算Spark主要是由Scala语言开发，为了方便和其他系统集成而不引入scala相关依赖，部分实现使用Java语言开发，例如External Shuffle Service等。总体来说，Spark是由JVM语言实现，会运行在JVM中。然而，...

//s函数的应用val name=“Tom”s"Hello,$name"//Hello,Toms"1+1=${1+1}"//1+1=2

object TypedOperation { case class Employee(name: String, age: Long, depId: Long, gender: String, salary: Long) def main(args: Array[String]): Unit = { println("astron") val spark = Spar...

Cities, if unrestricted, tend to coalesce into bigger and bigger conurbations.如果不加限制，城市往往会联合发展成越来越大的集合城市。来自柯林斯例句3. Gas bubbles coalesce to grow as they rise.气泡在上升中聚集成长.来自辞典例句4. Particles do not...

ds df 转换

sparksql 查看物理执行计划

collect是将数据获取到driver端进行操作foreach是将计算操作推到集群上去分布式执行

在windows下搭建spark1.x开发环境尝试小记先说明安装的版本 idea20160204 jdk7 maven3.1.1 scala2.10.4 这里hadoop和spark的版本选了个较新2.6的：spark-1.6.3-bin-hadoop2.6； 因为spark2的用法出现了较大的变化，需要hadoop2.7。所以这次我们就用的是第一个等级的hadoop，选2.6。spar

spark dataframe

scala> "astron".toto toBuffer toDouble toInt toList toMap toShort toTraversable toArray toByte toFloat toIterable toLong toSeq to

查看错误日志yarn logs -applicationId application_1512098667219_5898489yarn logs -applicationId xxx执行方式spark-submit \--master yarn-cluster \--class com.jd.astron.jrdm.ClusterTest \--num-executors 1 \--

sdf.write.format("orc").mode("overwrite").saveAsTable("dev.astron_spark_test_result")

object AstronTest { def main(args: Array[String]): Unit = { println("hello,astron!") }}object定义类，用class没法运行。具体原因后面讲trait的时候一起说 跟java差不多，需要注意的是： 1、多了def 2、args的数组写法有变化。而且声明了string类型 3、void编