u012922485的博客

1.终端修改在spark-shell或者pyspark终端下可使用下面命令来改变日志级别sc.setLogLevel("WARN") # 或者INFO等2.修改日志设置文件通过调整日志的级别来控制输出的信息量.减少Spark Shell使用过程中在终端显示的日志切换当前路径到Spark安装路径 拷贝一份日志设置文件的模板文件cp log4j.properties.template log4j.properties.template 找到下面一行内容log4j.rootCategory=I

rdd dataframe dataset互转DataFrame/Dataset转RDD：val rdd1=testDF.rddval rdd2=testDS.rddRDD转DataFrame：import spark.implicits._val testDF = rdd.map {line=> (line._1,line._2) }.toDF(...