我的博客

rdd的reduce过程利用二元函数(如lambda x, y: x + y)对数据进行规约，首先将rdd的前两个元素应用于该二元函数，得到结果a，然后再将a和rdd的第三个元素应用于该二元函数，得到结果b，以此类推直到用完所有元素。rdd = sc.parallelize(range(10), 3)diff = rdd.reduce(lambda x, y: x - y)print('diff: %s' % diff)运行结果：diff: 21# 解释下为什么结果为21：>&gt

import org.apache.spark.sql.functions._val newDataFrame = dataFrame.withColumn("id", monotonically_increasing_id)这样只能添加id列，不能单调递增import org.apache.spark.sql.expressions.Windowimport org.apache...

保存dataframe到本地或hdfs df.write.csv(“1.csv”) df.write.csv(“file:/home/dir”) df.coalesce(1).write.csv(“1.csv”) df.coalesce(1).write.format(“com.databricks.spark.csv”).save(“/data/home/sample.csv”) df...

问题在跑spark任务的时候发现任务不能执行。在查看的时候发现spark work节点的/usr/ 目录满了。原因使用spark standalone模式执行任务，没提交一次任务，在每个节点work目录下都会生成一个文件夹，命名规则app-20160614191730-0249。该文件夹下是任务提交时，各节点从主节点下载的程序所需要的资源文件。 这些目录每次执行都会生成，且不会自动...

DataFrame如何写入MySQLval host = "localhost"val port = "3306"val user = "user"val password = "password"val database = "test"val table = "test"val saveMode = SaveMode.Overwrite // 支持4中写入方式Ap

前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速度更...

在Jupyter的官方github的kernel list里有一个sparkmagic，安装之后就可以直接在jupyter 中创建Spark、PySpark、PySpark3和SparkR这几种kernel的notebook了。下面介绍一下安装过程。安装Livysparkmagic是基于Livy的，必须先在集群的master上安装好Livy。Livy的安装很简单（在mast...

Win10+Hadoop2.7.5的环境配置参考如下链接： https://blog.youkuaiyun.com/xiligey1/article/details/79728152Java和Spark安装好了之后，就只剩下Scala和Spark了版本： - Scala2.11（Spark2.3与Scala2.11适配） - Spark2.31.官网下载scala2.11太慢，链接: h...