Java_Road_Far的博客

#! /bin/bash status="RUNNING" programStatus=`yarn application -list |grep YARN-NAME| awk '{print $6}'` if [ "$status" == "$programStatus" ] then #"程序正在运行..." else echo `date "+%Y-%m-%d...

文章目录启动 master一、启动脚本: start-all.sh1.1 start-master.sh Master 脚本分析去到脚本: spark-daemon.sh1.2 start-slaves.sh Worker 脚本分析去到脚本：slave.sh 启动 master 一、启动脚本: start-all.sh #!/usr/bin/env bash # 如果配置了 SPARK_HOM...

Spark Streaming提供了窗口计算，可让您在数据的滑动窗口上应用转换 一些常见的窗口操作如下。所有这些操作都采用上述两个参数-windowLength(窗口长度)和slideInterval(滑动步长)。 窗口函数 描述 window（windowLength，slideInterval） Return a new DStream which is computed b...

一、 map：返回一个新的 RDD, 该 RDD 是由原 RDD 的每个元素经过函数转换后的值组成，就是对 RDD 中的数据做转换 /** * map: 返回一个新的 RDD, 该 RDD 是由原 RDD 的每个元素经过函数转换后的值组成, * 就是对 RDD 中的数据做转换 */ def main(args: Array[String]): Unit = { val conf: Sp...