Love-Coding

【代码】Spark计算两列的编辑距离，先collect()一个列，再broadcast的方法，加速。

objectA调用了objectB里面的一个方法methodB。objectB也调了objectA里面的一个方法methodA。可能是有两个Object：objectA，objectB。

比如 这列的值有int也有float，就会报这个错。

【代码】【Spark】对array＜bigint＞类型的列里的null值填充。

然后insert数据。

配置参数：spark.hadoop.hive.exec.orc.default.stripe.size=78643200spark.hadoop.orc.stripe.size=78643200spark.hadoopRDD.targetBytesInPartition=78643200spark.hadoop.hive.exec.dynamic.partition.mode=nonstrictspark.sql.sources.partitionOverwriteMode=dynamicspa

【代码】hive表在HDFS的每个文件的大小。

【代码】【hive-SQL】多个column转成一个array_column。

【代码】【hive-SQL】string 转成 map＜＞

【代码】【hive SQL】string 转成 array＜bigint＞

【代码】pyspark drop_duplicates 报错 py4j.Py4JException: Method toSeq([class java.lang.String]) does not exist。

在scala文件里import一个java文件，报错。很可能是import的这个java文件里的。里的代码的初始化问题。

【代码】lambda expressions are not supported in -source 1.5 (use -source 8 to enable lambda expressions)

【代码】Spark，Scala，collect成一个string。

【代码】Spark 读excel报错，scala.MatchError。

Spark3需引入jar包。

排序的列里有NaN值（极大值），可能是 有除法里分母为0导致的。

【代码】Spark Count() OOM。

【代码】spark报错，Could not execute broadcast in 7200 secs。

要打的jar包太大了，打包失败了。

【代码】spark scala 训练 LogisticRegression。

【代码】spark scala 训练 XGBoost。

rate列里最大10%rate列里最小10%

【代码】spark group by sum。

原因：整个jar包文件太大了。

【代码】

注意这几个参数的大小要一个比一个大，是spark内部的限制。

【代码】pyspark把list转为dataframe。

内存溢出，OOM了。

【代码】Spark，union指定列名。

存在import嵌套的问题。

【代码】pyspark 读tsv文件。

concat_ws and collect_set

spark

.rdd

limit rows feed for each group

pyspark

pyspark

pyspark

spark3