qq_34335450的博客

import org.apache.spark.sql.functions._import org.apache.spark.sql.types._import org.apache.spark.sql._import org.apache.spark.rdd.RDD val schema: StructType = dataframeA.schema.add(StructField("id", LongType)) // DataFrame转RDD 然后调用 zipWithInde

df中想增加一列数据import org.apache.spark.sql.functions._df.withColumn("column_name", lit("content"))

insert into xxx on duplicate key update xxx=xxx语句可以优秀地解决插入数据时产生的重复主键问题，前提是设置了正确的unique key。但在大数据量情况下（超过1w条），在duplicate key较少的情况下仍表现良好，遇到duplicate key较多的场景下，执行效率出现断崖式降低。为了解决此问题，优化点1：可采用先update再进行in...