sinat_38230425的博客

本地远程Spark1.5.22.4.3(不过现在还没提交到集群运行)Kafka0.8.2.10.8.Spark_Streaming:// 创建Receiver流的一个要点// “zookeeper.connect” -> “spark1:2181,spark2:2181,spark3:2181,spark4:2181”,val stream:ReceiverInputDStream[(String, String)] = KafkaUtils.creat...

单机安装spark 运行 好像本来是件很简单的事，难道我太蠢了。。算了，说说坑。首先windows用的scala2.13 spark-jar包2.11 编译通过，就没想太多，然后上虚拟机的ubuntu，下载，安装都没问题，配置spark-env.sh也没问题，最后跑程序出现问题，查询定位到scala spark版本不一，ubuntu上spark版本2.11-2.4.3，以为2.11.*的scal...