Peasmaster的博客

环境 apache-maven-3.3.9-bin.tar.gz scala-2.11.8.tgz jdk-8u91-linux-x64.tar.gz spark-2.2.0.tgz 编译 spark源码目录下的pom.xml vi pom.xml 添加如下内容： <!--CDH仓库cloudera社区--> <repository> <...

Spark术语概述： Application 用户提交的spark应用程序，由一些driver和executors组成。 Application jar 一个包含spark应用程序的jar，该jar不应该包含spark或Hadoop的jar，但是这些jar应该在运行时添加。 Driver program 运行应用程序的main(),并创建SparkContext。 Cluster ma...

Spark Streaming 获取Kafka的数据有两种方式：Receiver和Direct。Receiver是通过Zookeeper连接Kafka队列获取数据，Direct是直接连接Kafaka的节点获取数据。 Receiver Receiver是使用Kafka的高层次Consumer API来实现的。receiver从Kafka中获取的数据都是存储在Spark Executor的内存中...

spark-defaults.conf修改 vi spark-defaults.conf #开关开启 spark.eventLog.enabled true #日志记录的目录(需要提前创建目录) spark.eventLog.dir hdfs://192.168.92.900:9000/spark-logs spark-env.sh 修改 #展示目录 SPARK_HISTORY_...

报错信息如下： java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. java.lang.IllegalArgumentException: Error while instantiating ‘org.apache.spark.sql.hive.HiveSes...