Tomas_White的博客

1.reduceByKey，只执行当前输入 package com.zpark.stu.sparkstream import org.apache.log4j.{Level, Logger} import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} obje...

1.将Hadoop的conf中的core-site.xml和Hive的conf中的hive-site.xml拷贝到Spark的conf目录下 2.将Mysql的驱动jar包放在Spark的jar目录中 3.启动命令，在spark的bin目录下，如果你配置了环境变量那就另当别论了 ./spark-sql \ --master spark://hdp-1:7077 \ --executor-...

数据源：person.log http://bigdata.edu360.cn/laozhao http://bigdata.edu360.cn/laozhao http://bigdata.edu360.cn/laozhao http://bigdata.edu360.cn/laozhao http://bigdata.edu360.cn/laozhao http://bigdata.edu...

1.编写数据源 val seq = Seq(("1","xiaoming",15),("2","xiaohong",18),("3","tom",19)) 2.将数据转换为RDD val rdd1 = sc.parallelize(seq) 3.匹配字段名 val df = rdd1.toDF("id","name","age") 4.查询数据 df.show DSL风格 ...

1.启动一个spark shell ./spark-shell --master spark://hdp-1:7077 --executor-memory 500m --total-executor-cores 1 2.启动在yarn上的spark shell ./spark-shell --master yarn --deploy-mode client 执行时会出现一个HADOOP_H...

1.将spark上传到虚拟机中，注意自己安装的hadoop的版本 2.解压spark到apps中 tar -zxvfspark-2.4.4-bin-hadoop2.7.tgz 3.修改配置文件 cd apps/spark-2.4.4-bin-hadoop2.7/conf 将spark-env.sh.template和slaves.template进行重命名 mvspark-env....