基咯咯

最近从MongoDB读取数据然后插入到Clickhouse中，存在数值类型不一致的问题。因此需要进行强制类型转换：df = df.select(dataset.col("cnt").cast(IntegerType).as("cnt"),dataset.col("amount"),dataset.col("rate"));

问题：为了将DataFrame中多列null值转换为0，采用na.fill方式，代码如下：_df.na.fill(0, Seq("col1", "col2", "col3"))在Spark2.1中运行该代码，发生报错Spark version 2.1.0 returns following error，报错信息如下：java.lang.NoSuchMethodError: org.apache.spark.sql.DataFrameNaFunctions.fill(JLscala/col

我们平时在写Spark项目代码时，有时候会需要查看spark相关函数的源码，此时我们可以按住Ctrl，然后点击相应函数，接着就能够跳转到spark源码中，不过这个前提条件就是需要首先在项目中导入spark相关源码。接下来就介绍下如何导入spark源码，并进行跟踪：1、下载spark源码在spark官网中，找到source code，并下载2、解压到指定目录将源码解压到指定目中：...