少女秘封俱乐部

一、背景在使用spark开发分布式数据计算作业过程中或多或少会遇到如下的错误：Serialization stack:object not serializable (class:class: org.apache.hadoop.hbase.io.ImmutableBytesWritable, value: 30 30 30 30 30 30 32 34 32 30 32 37 37 ...

一、线性回归house.csv文件中根据面积预测房价import org.apache.spark.ml.feature.VectorAssemblerimport org.apache.spark.ml.regression.LinearRegressionimport org.apache.spark.sql.SparkSessionimport org.apache.sp...

下载安装包，添加环境变量不再赘述。注意spark和scala要对应版本。例如Spark使用官网下载的spark-2.4.4-bin-hadoop2.7，打开%SPARK_HOME%\jars文件夹，里面找到该版本的spark对应的scala为2.11.12，如果版本对应不上，在使用spark-submit时会报java.lang.BootstrapMethodError:java.lang.N...