Wintersee的专栏

皮尔森、斯皮尔曼（pearson spearman）： import spark.implicits._ import org.apache.spark.mllib.stat.Statistics import spark.sql val df = sql(s"select * from xxxx ") val columns = List("xx",

Hadoop Hive Spark hive建表语句对表在hdfs上存储的file或block数量、以及后续spark读文件跑模型的影响 hive语句建的表在hdfs上存储的file个数（ 即`fs -ls`命令展示的items个数）等于语句执行时候的reducer个数，而spark又是根据file的读取文件。所以若数据表的数据量过大而文